Выше 1-3 потоков не поднимается

[Svyat]

Настроил я парсинг страниц.
Подгружаю списком страницы. через файл. В файле 27000 строк со страницами
Делаю гет запрос, потом выпаршиваю код. Вроде все гуд работает.

Запускаю на последней версии Zenno скрипт для парсинга, ставлю выполниться 27000 раз, и ставлю 15 потоков.

Но проблема в том что выше 3 потоков не поднимается. Постоянно бегает от 1 до 3 потоков но не выше.

В чем может быть проблема ? Тем же content downloader который в 10 потоков работает, потоки эти реально дают пользу. в Zenno же какие-то глюки с потоками.

Content Dowloader не могу спарсить там есть небольшая специфика при парсинге
Поэтому настроил зенно.

Может кто сталкивался с таким и как решить ? Может в настройках зенно поковыряться...

 

[Aleksandr]

Попробуйте увеличить время выполнения проекта, поставьте к примеру паузу в конце, но это плохая идея))) т.е бессмысленная хотя потоки должны подняться, но вот скорость выполнения не будет радовать.

Предполагаю наилучшем решением будет зациклить проект.

 

[nole]

надо делать цикл, чтобы каждый шаблон парсил штук 100 страниц, а не завершался после парсинга 1 страницы

 

[rostonix]

надо делать цикл, чтобы каждый шаблон парсил штук 100 страниц, а не завершался после парсинга 1 страницы

все верно.
ваши потоки просто отрабатывают быстрее, чем поднимаются новые.

 

[Lexicon]

А вообще, раз у вас инстанс не используется, отключите вообще его инициализацию - и тогда у вас и так все будет шустро работать)

 

[Svyat]

А вообще, раз у вас инстанс не используется, отключите вообще его инициализацию - и тогда у вас и так все будет шустро работать)

Это как отключить инциализацию ? Что это значит ? И почему у мен яне используется инстанс ? Я ведь гет запросом пользуюсь же.

 

[Svyat]

надо делать цикл, чтобы каждый шаблон парсил штук 100 страниц, а не завершался после парсинга 1 страницы

Спасибо, отличная идея, чето в голову не пришла!

 

[rostonix]

GET запросы не требуют браузер
Галку сюда)
http://www.evernote.com/shard/s128/sh/2254a120-bc2c-47ad-a00c-738d589ae63a/7205ed10e02fd1ed2b4b5c42d142323e

 

[Svyat]

GET запросы не требуют браузер
Галку сюда)
http://www.evernote.com/shard/s128/sh/2254a120-bc2c-47ad-a00c-738d589ae63a/7205ed10e02fd1ed2b4b5c42d142323e

Та уже когда поставил по 20 зацикливаний, работает просто ахуенно! Зенно просто зверь! 20-30К за час пробежалось проксями.

 

[Svyat]

Вопрос еще. У меня файл со ссылками весит 15Мб. Подгружается списком. Как это влияет на производительность ? Если например 50 потоков, то каждый поток грузит себе в память по 15Мб или как то все проще работает ?

 

[rostonix]

Если в свойствах списка стоят галки "загружать из файла" и "сохранять изменения", то все потоки используют одну копию файла в оперативке