Увеличение затраченного времени на парсинг

[VladP]

В общем парсит мой шаблон товары с крупного магазина. С каждым товаром увеличивается время затрачиваемое на парсинг.
К примеру за 10 минут в самом начале парсит 10 товаров.
Через час уже за 10 минут парсит 1 товар.

В чем может быть проблема? Как решить?

Спасибо

 

[bedl0]

Попробую с ванговать, что использование циклов снижает производительность. Решить можно путем перехода на post get запросы и отказа от циклов. Нужно больше деталей, так трудно что-то понят что там у вас )

 

[doc]

не нужно растягивать выполнение на часы. Спарсил шаблон 100 товаров, например, пусть закончит выполнение и запустится следующее, которое спарсит еще 100 товаров. Не надо пытаться спарсить все товары за присест

 

[masterLomaster]

В общем парсит мой шаблон товары с крупного магазина. С каждым товаром увеличивается время затрачиваемое на парсинг.
К примеру за 10 минут в самом начале парсит 10 товаров.
Через час уже за 10 минут парсит 1 товар.

В чем может быть проблема? Как решить?

Спасибо

а шаб как я понимаю зациклен )))
Наверное нужно перезагружать инстанс! Так как у вас это все в памяти скапливается и с каждым разом все медленнее и медленнее )

 

[masterLomaster]

не нужно растягивать выполнение на часы. Спарсил шаблон пусть 100 товаров, например, пусть закончит выполнение и запустится следующее, которое спарсит еще 100 товаров. Не надо пытаться спарсить все товары за присест

Ну к примеру мой парсер схавает и несколько лямов позиций за раз и не подавится даже!
Тоже заметил, после выхода последней версии зенка стала тормозить в выполнении шаба, по сравнению со старой версией зенка в 2 раза медленнее стала!

 

[doc]

Ну к примеру мой парсер схавает и несколько лямов позиций за раз и не подавится даже!
Тоже заметил, после выхода последней версии зенка стала тормозить в выполнении шаба, по сравнению со старой версией зенка в 2 раза медленнее стала!

через веб?

 

[masterLomaster]

через веб?

??? Имеешь ввиду через браузер? То да!

 

[doc]

??? Имеешь ввиду через браузер? То да!

значит парсишь несколько лямов страница за присест через браузер?

 

[masterLomaster]

значит парсишь несколько лямов страница за присест через браузер?

нет я про тормоза говорил )
А с сайтов собираю инфу другим очень хорошим софтом, так как зенка не может столько снять!

 

[doc]

нет я про тормоза говорил )
А с сайтов собираю инфу другим очень хорошим софтом, так как зенка не может столько снять!

тогда я вообще не понимаю, к чему был комментарий про твой парсер нескольких лямов позиций. Потратил своё время, моё время, время каждого, кто будет это читать

 

[Mikhail B.]

В общем парсит мой шаблон товары с крупного магазина. С каждым товаром увеличивается время затрачиваемое на парсинг.
К примеру за 10 минут в самом начале парсит 10 товаров.
Через час уже за 10 минут парсит 1 товар.

В чем может быть проблема? Как решить?

Спасибо

Перезагружай инстанс, и все будет нормально. Отключи картинки флеш, на крайний случай стили выруби.

 

[amyboose]

нет я про тормоза говорил )
А с сайтов собираю инфу другим очень хорошим софтом, так как зенка не может столько снять!

тогда я вообще не понимаю, к чему был комментарий про твой парсер нескольких лямов позиций. Потратил своё время, моё время, время каждого, кто будет это читать

И как тебе после этого не стыдно? Потратил целых 20 сек моей жизни на такую бесполезную инфу. А я ведь мог сделать столько всего полезного

 

[masterLomaster]

тогда я вообще не понимаю, к чему был комментарий про твой парсер нескольких лямов позиций. Потратил своё время, моё время, время каждого, кто будет это читать

к тому что он быстрее зенки работает во много раз!

 

[doc]

к тому что он быстрее зенки работает во много раз!

Невозможно передать ликование моего сердца, когда я узнал об этом

 

[amyboose]

к тому что он быстрее зенки работает во много раз!

У меня даже софтина 2010 г. (примерно), практически не предназначенная для парсинга работает быстрее и менее ресурсозатратнее зенки.
Недавно замутил в одной рукописной проге ради теста 300 000 потоков, которые ждут пару тысяч секунд и в итоге нагрузка на проц оказалась 0%. Если кто-то такое в зенке запустит, у него проц расплавится (даже шаблон, содержащий чисто паузы).

 

[masterLomaster]

Невозможно передать ликование моего сердца, когда я узнал об этом

doc сегодня с утра снова решил пошутить и проявить свое остроумие и у него как всегда это невышло ГГГ пойду позову
ssXXXss чтобы он тебя снова заткнул раз по делу нечего сказать)))

У меня даже софтина 2010 г. (примерно), практически не предназначенная для парсинга работает быстрее и менее ресурсозатратнее зенки.
Недавно замутил в одной рукописной проге ради теста 300 000 потоков, которые ждут пару тысяч секунд и в итоге нагрузка на проц оказалась 0%. Если кто-то такое в зенке запустит, у него проц расплавится (даже шаблон, содержащий чисто паузы).

Да я уже понял ))) это изза кучи тройных проверок через серваки зенки, разрабы переживают, чтобы их софт никто не взгрел вот и перестраховываются по 3 раза, в итоге получим зенку которая в 1 поток будет еле еле дышать!

 

[amyboose]

doc сегодня с утра снова решил пошутить и проявить свое остроумие и у него как всегда это невышло ГГГ пойду позову ssXXXss чтобы он тебя снова заткнул раз по делу нечего сказать)))

Ему нужно записаться на "курсы по юмору для чайников"

 

[VladP]

Перезагружай инстанс, и все будет нормально. Отключи картинки флеш, на крайний случай стили выруби.

Вроде помогло. Спасибо.

п.с. по поводу загрузки компа - на одном потоке на моей лайт версии еще терпимо. Но думаю в 3-5 потоков, когда возьму про версию - комп пошлет меня нахер если делать тоже что и делаю сейчас.
Правду говоришь товарищ bedl0 , пора переходить на запросы...