Спад скорости работы

[LiMe]

Заметил такую тенденцию, при работе парсере, при старте проект выполняется 5-10раз в секунду (при 100 потоках), после этого как в файл ложиться более 100-300к строк, скорость постепенно спадает, и начинает делать то что делало за минуту, делать за 10-15 минут. В чем может быть проблема? Шаблон на get-запросах, браузер не использует.

 

[ZennoScript]

Чем больше файл, тем больше времени тратится на его обработку.
Тут может быть несколько выходов - формировать внутренний список и записывать в конечный файл реже.
Или же разделять конечный файл на части.

 

[LiMe]

Чем больше файл, тем больше времени тратится на его обработку.
Тут может быть несколько выходов - формировать внутренний список и записывать в конечный файл реже.
Или же разделять конечный файл на части.

Я пытался делать так, записывал в список без привязки к файлу, потом объединял данные с списка, и с помощью экшена "Файлы" записывал, но при таком варианте большая часть данных терялась, и я не знаю из-за чего. К примеру если когда оно обрабатывало 2.000 страниц, и записывала в привязанный список, я получил 300к спарсенной информации, то при втором варианте я получал 100к... И вот не знаю как решить эту проблему...

 

[ZennoScript]

1. Возможно Вы перезаписывали в файле старые данные.
2. Лучше использовать те же списки, но добавлять туда не построчно, а сразу большие тексты, или же внутренним циклом добавлять новый строки. Это зависит от того, как в дальнейшем Вы хотите использовать свои данные.

 

[LiMe]

1. Возможно Вы перезаписывали в файле старые данные.
2. Лучше использовать те же списки, но добавлять туда не построчно, а сразу большие тексты, или же внутренним циклом добавлять новый строки. Это зависит от того, как в дальнейшем Вы хотите использовать свои данные.

А вы бы не могли показать оптимальный вариант, с минимальной потеряй скорости работы.

 

[rostonix]

Сколько ссылок собирает одной выполнение шаблона?

 

[LiMe]

Сколько ссылок собирает одной выполнение шаблона?

50-150 примерно.

 

[rostonix]

может есть смысл каждому потоку собирать днные в свой собственный файл, а потом раз в сутки объединять файлы отдельным шаблоном?