Не извлекаются прокси со многих источников

[Александр Николаевич]

Я пока еще новичок в этом деле, подскажите, почему у меня не получается собирать прокси со многих найденных мною самостоятельно источников, где для вывода данных на веб-страницу используется Ява-скрипт, например отсюда: http://spys.ru/proxies/ ?

При извлечении прокси из источников ПроксиЧеккер работает только с HTML кодом страницы, но не может парсить прокси из DOM модели?

Прошиу прощения за глупые вопросы...

 

[Solus]

Попробуйте при добавлении собственных источников, включить Выполнение JavaScript http://joxi.ru/D2PjBByfdvPVPr
возможно поможет

 

[Александр Николаевич]

Спасибо за совет. Я уже пробовал так делать - не помогает.

Однако, кажется, я начинаю понимать, в чем тут дело.

Сейчас все больше и больше сайтов с бесплатными списками прокси начинают устанавливать защиту от легкого спарсивания, фенита ля комедия! Воспоминания одни теперь остались.

Необходимо совершенствовать наши алгоритмы спарсивания и обучить Прокси Чеккер этим алгоритмам.

 

[rostonix]

Можно свои регулярки прописать http://prntscr.com/af0dx0

 

[Александр Николаевич]

Я смотрел эту опцию настроек. Боюсь, что одной единственной регуляркой не отделаешься так легко...
Там надо целый алгоритм городить, а в настройках парсинга источников можно указывать только одно единственное регулярное выражение, если я правильно понял?

 

[rostonix]

Да правильно

Для зубодробительный но хороших источников я всегда делал минишаблоны, чтобы собирали прокси в файл по расписанию.
И файл уже использовал в чекере как один из источников прокси

 

[Александр Николаевич]

Спасибо, я тоже об этом подумал: теперь надо делать свои собственные шаблоны для сбора прокси с разных сайтов.
Самые хорошие халявные прокси лежат именно на таких сайтах, которые Прокси Чеккер не в состоянии парсить самостоятельно.
А то, что он умеет парсить, это по большей части мусор, который только лишь засоряет базу данных прокси серверов в программе и тормозит ее работу.

 

[rostonix]

Тут как и во всем в жизни: чем больше усилий приложишь, тем выше теоретический выхлоп.