Можно ли посмотреть процесс выполнения проекта не в инстансе?

[Victor]

Всем привет!

Написал шаблон парсера сайта. На сайте 165 категорий и
в каждой категории от 50 до 10 000 статей. Парсятся ссылки на статьи.
Все ссылки закидываются в список и по итогу сохраняются в файл.

Парсер в зеннопостере удачно прошёл три категории, в которых в общем
было 951 статья (по времени примерно 20 минут). А после перехода в четвёртую категорию,
в которой 8 500 статей, он то ли застрял, то ли просто инстанс завис и я не вижу движений.
Уже висит на одной категории около 6 часов.

В логе никаких ошибок нет, и проект, вроде бы выполняется.

Можно ли как-то посмотреть, кроме инстанса, на каком этапе находится выполнение проекта?
И как проверить, выполняется ли он вообще?

 

[surrealmix]

Можно ли как-то посмотреть, кроме инстанса, на каком этапе находится выполнение проекта?
И как проверить, выполняется ли он вообще?

Нельзя посмотреть.
Можно проверить работает ли шаблон: открой файл куда сохраняются спаршеные ссылки и посмотри добавляются ли туда новые.

У меня есть подозрение что у тебя шаблон зациклен. Т.е. ты его запустил 1 раз в 1 поток и он собирает тебе мульён ссылок. Это так?

 

[Victor]

Нельзя посмотреть.
Можно проверить работает ли шаблон: открой файл куда сохраняются спаршеные ссылки и посмотри добавляются ли туда новые.

У меня есть подозрение что у тебя шаблон зациклен. Т.е. ты его запустил 1 раз в 1 поток и он собирает тебе мульён ссылок. Это так?

Да, именно так, мульён он и собирает. Я просто тупанул, и не сделал сохранение в файл после получения каждой ссылки, или хотя бы категории.
Он сохранит только тогда, когда будет пройден весь сайт и собраны все ссылки. А их более 300 000

 

[Victor]

А вообще теоретически может быть такое, что с проектом всё хорошо, и он делает своё дело? Просто инстанс завис.

 

[Sergodjan]

еще в папке Logs можно наверное движуху проследить - делается хоть что то или действительно зависло..

 

[rostonix]

Да, именно так, мульён он и собирает.

Это до добра не доведет)

 

[surrealmix]

Да, именно так, мульён он и собирает.

Неправильно построена логика шаблона.
Надо делать чтобы шаблон парсил, например 50 ссылок за одно выполнение.
И просто ставить 1000 выполнений в ZennoPoster'е.

 

[Jerard]

А гет запросами не пробовали парсить? С отключеным браузером в настройке.