Загружает на 100% процессор при "не использовать браузер"

[hago73]

Здравствуйте.
Не первый раз пишу шаблоны чисто на get запросах, но сейчас делаю что-то не так. При 10 потоках при выбранной настройке проекта "не использовать браузер" загружает процессор на 100%

 

[username666]

Попробовать убрать цикл и в шаблоне get запрос выполняется до бесконечности.

 

[hago73]

Не до бесконечности. Следующий кубик с regex при ошибке дает выход. Шаблон отрабатывает хорошо, но нагружает процессор.
У меня есть и более сложные шаблоны на get, но они почему-то не нагружают так сильно процессор

 

[username666]

Не до бесконечности. Следующий кубик с regex при ошибке дает выход. Шаблон отрабатывает хорошо, но нагружает процессор.
У меня есть и более сложные шаблоны на get, но они почему-то не нагружают так сильно процессор

У меня он не дал выход, постоянно возвращается на тот же самый гет запрос и делает тоже самое и так по кругу.

 

[hago73]

Попробуйте добавить какую-либо ссылку на категорию и подождать хотя бы 5 минут, пока не закончатся все страницы в категории. Только потом он запишет в файл.
Но это вообще ни как не влияет на нагрузку: get запрос очень слабо нагружает процессор, даже если он в бесконечном цикле, то он выполняется последовательно, а не увеличивается его одновременная работа в рамках одного процесса в ZP

 

[username666]

Попробуйте добавить какую-либо ссылку на категорию и подождать хотя бы 5 минут, пока не закончатся все страницы в категории. Только потом он запишет в файл.
Но это вообще ни как не влияет на нагрузку: get запрос очень слабо нагружает процессор, даже если он в бесконечном цикле, то он выполняется последовательно, а не увеличивается его одновременная работа в рамках одного процесса в ZP

Думаю, что в шабе нужно переделать regex и положить сразу все в список, а не 23 раза по совпадениям.

 

[hago73]

Как ни странно, это помогло. Не думал, что такой поиск по одному так сильно нагружает процессор
Спасибо!