Не могу спарсить большой список

[evgen5131]

Здравствуйте, не могу спарсить в ZennoPoster большой список ссылок анкет участников группы, в ProjectMaker все парсит нормально, а вот ZennoPoster пишет что "ничего не найдено", стоит вот такой экшен для парсинга

Подскажите в чем может быть проблема?
Заранее всем спасибо!

 

[Sergodjan]

Здравствуйте, не могу спарсить в ZennoPoster большой список ссылок анкет участников группы, в ProjectMaker все парсит нормально, а вот ZennoPoster пишет что "ничего не найдено", стоит вот такой экшен для парсинга

Подскажите в чем может быть проблема?
Заранее всем спасибо!

не подходит регулярка, видимо верстка отличается в рабочем прогоне..
регулярку нужно попробовать сделать более универсальной..
или использовать тот же юзер-агент (установить его принудительно через Профиль), что в ПМ при успешном проходе..

 

[rostonix]

сохраните Dom текст отдельным экшеном перед парсингом в файл, чтобы потом могли проверить работу регулярки вручную

 

[Mutant]

Столкнулся с той же проблемой.
Создал дополнительный Dom с сохранением в файл, до Dom с регуляркой. Вот что получается.
Паршу страницу с ФБ с пользователями по определенному запросу. PM с легкостью "переваривает" несколько десятков экранов вниз.
На выходе файл примерно 30-35 Мб. Переношу проект в ZP - файл пустой. Уменьшаю кардинально количество экранов с которых собираю пользователей. Итог - файл размером 6-7 Мб, шаблон в ZP отрабатывает нормально. Но меня не устраивает количество тех кого он собирает.
Добавляю пяток экранов - файл пустой, шаблон в ошибку. Убираю - все опять работает как нужно.
Знаю, что если кончается оперативка ZP может вести непредсказуемо. Смотрю - на машине 16Ггб, свободно 9Ггб
Кто то подскажет как обойти это ограничение?

 

[evgen_po]

Столкнулся с той же проблемой.
Создал дополнительный Dom с сохранением в файл, до Dom с регуляркой. Вот что получается.
Паршу страницу с ФБ с пользователями по определенному запросу. PM с легкостью "переваривает" несколько десятков экранов вниз.
На выходе файл примерно 30-35 Мб. Переношу проект в ZP - файл пустой. Уменьшаю кардинально количество экранов с которых собираю пользователей. Итог - файл размером 6-7 Мб, шаблон в ZP отрабатывает нормально. Но меня не устраивает количество тех кого он собирает.
Добавляю пяток экранов - файл пустой, шаблон в ошибку. Убираю - все опять работает как нужно.
Знаю, что если кончается оперативка ZP может вести непредсказуемо. Смотрю - на машине 16Ггб, свободно 9Ггб
Кто то подскажет как обойти это ограничение?

Попробуйте в настройках ZP увеличить размер буфера обмена
http://joxi.ru/v29415dSG9eMwm
У меня в идентичной ситуации это помогло!

 

[Mutant]

Спасибо, ваш совет помог.

Кроме того, развивая тему, был удивлен одной особенностью.
Как я писал ранее я "листал" экраны в ФБ, собирая пользователей. Ивот какая разница получается между PM и ZP
В PM "пролистываю" примерно 50 экранов вниз, Dom сохраненный в файл весит примерно 7Мб, и собирается примерно 250-300 пользователей.
Запускаю этот же шаблон в ZP, с теми же настройками, Dom сохраненный в файл весит уже 35Мб, и пользователей собирается за 2000 человек.
Вот такая странность.

 

[rostonix]

Там может несколько по разному отрабатывать загрузка страницы и состояние занятости, учитывая что браузер для PM немного отличается для его функционала от браузера в ZP
В ЯЗ В вашем случае даже лучше все выходит)