Макс 3 потока

[Zubrjonok]

Простой проект на довольна мощном компьютере выполняется максимально в три потока! Из-за чего может быть?
http://prntscr.com/6bj4lp

Проект ГЭТом берёт содержание главной странице сайта, потом ищет VBulletin если есть то записывает в файл сайт, нету идёт лесом...
Но вот потоки скачут от 0 до 3
http://prntscr.com/6bj6wi

 

[LexxWork]

хотел написать что-то в помощь... типа, сделайте буферный список и работайте в цикле, но тут появилась возможность протестить про версию на малюсеньком шабчике без браузера...
Оказывается, что зенопостер для запросов нереально непродуктивен. Проверял на 100 потоках. Нагрузка на проц 100%!!!! На гилимые 10 запросов в одном потоке. Это дикий ужас!!! А памяти... Ужрало 1.5 гига (на чтооооо????????) и после остановки шаблона все так и осталось, мало того - память продолжила пожираться дальше и не остановилась (((
Для сравнения тот же grab на питоне в 1000 потоков жрет примерно 20% моего двухядерного проца и какие-то там мегабайты памяти которые даже не видно.

 

[rostonix]

По сабжу: скорее всего проекты выполняются гораздо быстрее чем поднимаются новые инстансы. в этом случае можно в рамках одного выполнения делать не 1 задачу, а ее же в 5 циклов, например. Или 10.

По ресурсам: кроме неиспользования браузера в проекте нужно поставить галку в свойствах списка "Не использовать браузер". Иначе инстанс браузера все равно будет запускаться.

 

[Zubrjonok]

"Пустил по кругу" всё ок
http://prntscr.com/6bo08j

 

[rostonix]

записать в файл замените на запись в список, если в многопотоке работаете

 

[Zubrjonok]

записать в файл замените на запись в список, если в многопотоке работаете

Спасибо. А в чём различие? Могут потеряться данные?

 

[Sergodjan]

Спасибо. А в чём различие? Могут потеряться данные?

да, при работае напрямую в файл не гарантирует того, что данные не потеряются..
если в 1 поток, то можно, если многопоточно, то лучше работать со списком привязанным к файлу..

 

[LexxWork]

По ресурсам: кроме неиспользования браузера в проекте нужно поставить галку в свойствах списка "Не использовать браузер". Иначе инстанс браузера все равно будет запускаться.

Если я пишу что не использую браузер, значит галочку я поставил. Если я пишу что жрется полтора гига, значит так и есть. Если я пишу, что проц неопрадванно нагружен, значет так и есть. Если я пишу что зенопостер - гавно c цветными кубиками, значит так и есть. Исправляйтесь!
Только последний критин будет думать, что я пишу такие вещи потому что хочу выделиться как-то или утвердиться на форуме. Я - клиент. Я не доволен продуктом. Сравнивая различные решения, и наблюдая такое вопиющее отношение к работе с ресурсом компьютера, хочется как минимум донести до остальных правду. А изменения я требую в первую очередь для себя!

 

[nuaru]

Мы, LexxWork, не в США, здесь у нас не принято лизать клиентам зад и терпеть такое отношение к себе.
А насчет сравнения с различными решениями - если нравится питон или какие-то другие системы используйте их, никто не мешает.

 

[Zubrjonok]

Мы, LexxWork, не в США, здесь у нас не принято лизать клиентам зад и терпеть такое отношение к себе.
А насчет сравнения с различными решениями - если нравится питон или какие-то другие системы используйте их, никто не мешает.

Одно из самых длинных посылания на йух клиента саппортом.
Ну если клиенту не доволен работой вашего ПО, а разработчику не нравится что ему делают замечания на недостатки в его ПО. То есть простое решение проблемы: возврат денег(всех или части) клиенту и жопа-к-жопе и разход.

 

[rostonix]

Вот только у 99% клиентов хватает культуры общения, чтобы нормально излагать свои мысли, а у нескольких человек нет. Это не повод давать возможность публично на форуме материться и выражаться как хочется. Как пройдет неделя бана никто не против создания в разделе Баги темы с подробным изложением своих проблем.

 

[Zubrjonok]

Вот только у 99% клиентов хватает культуры общения, чтобы нормально излагать свои мысли, а у нескольких человек нет. Это не повод давать возможность публично на форуме материться и выражаться как хочется. Как пройдет неделя бана никто не против создания в разделе Баги темы с подробным изложением своих проблем.

Ну тут периодически саппорт угрожает ) Я тут не часто, но почему-то запомнилось как пугали(может и не пугали ) парня не забанить а тупо лишить лицензии....
И оригинальный ответ "Мы не в США"...

 

[rostonix]

Не преувеличивайте.