Проксичекер видит не все прокси в файле

[Danny]

Всем привет! )

Вот такая вот проблемка возникла:
Есть 5 файлов с прокси, из них в 2-х файлах Проксичекер видит все прокси, а в 3-х других файлах видит только по 4-7 прокси из 140.

Не могу понять, в чем может быть проблема?

Проверял на все непечатаемые символы - все одинаково во всех файлах. Кодировки менял и т.п.

Может кто сталкивался с похожей проблемой или может подсказать, в какую сторону смотреть нужно?

P.S.: Проверял на 2-х Зеннопостерах: в одном Постере видит 7 прокси из 140, в другом - 4 прокси из 140 При этом 2 другие файла - одинаково нормально отображаются из них прокси в Чекере.

Еще один файл попробовал - в одном постере видит 34 прокси из 130, в другом Постере 82 прокси из 130.

 

[VladZen]

Какой формат прокси? Стандартный? Проверьте структуры парсинга в настройках программы.

 

[Danny]

Да, формат стандартный: IP:порт

Проверьте структуры парсинга в настройках программы

Имеется в виду регулярные выражения для сбора?
Они у меня дефолтные стоят везде. Прописано стандартно под IP:порт.
Строка Прокси: (\d{1,3}\.){3}\d{1,3}:\d{2,5}
Строка IP: (\d{1,3}\.){3}\d{1,3}
Строка Порт: (?<=\d{2,5}
* вместо смайлика - двоеточие и скобка )))

 

[VladZen]

Пробовали проверить в настройках тест структуры на файле? И проверить эти же регулярки в Notepad на этом же файле.

 

[Danny]

Да, только что поверил - тест источника - все правильно выводится.
В Ноутпаде аналогично все ок.
Мистика какая-то ))

 

[VladZen]

Да, только что поверил - тест источника - все правильно выводится.
В Ноутпаде аналогично все ок.
Мистика какая-то ))

Значит надо с настройками источника разбираться. Как добавляете файл и что выставлено в настройках источника? (желательно скрины)

 

[rostonix]

Может дубли?

 

[Danny]

Не, дублей нет - чищу ZP файлы от дублей контрольно.

Какие-то чудеса:
после парсинга прокси с помощью шаблона Зенки кладу прокси в файл. Чекер не видит там прокси. Потом этот файл на всякий случай еще раз обрабатываю, взяв оттуда регуляркой прокси:
\d+\.\d+\.\d+\.\d+:\d+
Ну чтобы если есть мусор какой-то, то не добавлялся.

Сохраняю это во второй файлик. Чекер обнаруживает правильное кол-во прокси.

При этом в других источниках прокси такое уже не прокатывает и чекер их все равно не видит.

Теперь самое интересное! ))
Копирую эти прокси (из рабочего файлика, в котором Чекер нормально видит все прокси) вручную в другой файлик (пустой).
Добавляю в Чекер - и что?
Правильно - он не видит ни одной прокси )))))
WTF?

Вот 2 файла - Сокс4
Все прокси в них одинаковые. В первом файлике прокси скопированы вручную из рабочего файлика (здесь он 2-1 по списку).
В этом не видит Чекер прокси - ни одной:
https://mega.nz/#!RVBwQZ7Q!ZLs5SWt7i7sxOl_mEP3GsfB34RdicHc9llJXBItrllg
Здесь все ок:
https://mega.nz/#!RdJWTT4I!0dfmdjsPLkimE3whAkBtV_ULzQzo8jxSIA2Pvop96wM

Можете найти 10 отличий? )))
Буду очень признателен ))
Т.к. у меня парсятся Зенкой по такой системе прокси и с 60% такая хрень - не видит их чекер...

 

[VladZen]

В вашем списке 54 прокси и только два живых сокса из них. Загружать одни и те же прокси с разных файлов ненадо... Если прокси однажды загружены, они будут добавлены в базу проксей программы и при загрузке этих проксей с другого источника (т.е. с другого файла) отображаться на другом источнике уже не будут, они привязаны к первому источнику.

 

[VladZen]

Т.е. в вашем случае - из тех проксей, что вы загружаете с нового источника, некоторые уже есть в базе программы. Поэтому результат неполный. Можно убедиться, почистив всю базу программы (Удалить все прокси из базы и перегрузить программу) и загрузив файл в пустую базу.

 

[Danny]

Да, это я сейчас и сделал ))
Точно, так и есть )))

Спасибо большое!

Не знал этот нюанс, что Проксичекер не отображает в общем списке кол-ва прокси те прокси, которые уже есть в базе. Думал он их посе чека откинет и напишет, сколько живых уже за минусом дублей.

Капец, на всех сайтах одинаковые прокси практически
Парсил из 7 источников паблик, но с регистрацией и без возможности загрузки списком, т.е. только регулярками вытягивать.
Для второсортных сайтов думал использовать - так даже и не особо разбежишься )))

 

[VladZen]

Да, это я сейчас и сделал ))
Капец, на всех сайтах одинаковые прокси практически
Парсил из 7 источников паблик, но с регистрацией и без возможности загрузки списком, т.е. только регулярками вытягивать.
Для второсортных сайтов думал использовать - так даже и не особо разбежишься )))

Авто-поиск в проксичекере по сути этот же паблик парсит. Но дубли отсеивает)

 

[Danny]

Ну он паблик парсит, но с кучи ресурсов.
А можно самому настроить, например, 7 шаблонов и получить все те же прокси (за 5 мин.), что Проксичекер на автомате будет парсить с 700 сайтов разных, где по чуть-чуть есть, - в течение нескольких часов.

 

[rostonix]

Ну он паблик парсит, но с кучи ресурсов.
А можно самому настроить, например, 7 шаблонов и получить все те же прокси (за 5 мин.), что Проксичекер на автомате будет парсить с 700 сайтов разных, где по чуть-чуть есть, - в течение нескольких часов.

или просто добавить источники вручную) для большинства источников шаблоны необязательны)

 

[Danny]

ну вот как раз в том-то и дело, что те сайты, где более-менее нормальные прокси, то их оттуда просто так не спарсишь: нужно листать страницы (джаваскриптом сделаны часто бывают). А листание страниц в источниках в проксичекере никак же не сделаешь вроде )) Кроме этого, просто регуляркой не вытянешь - нужно с заменами делать и т.п.

 

[VladZen]

ну вот как раз в том-то и дело, что те сайты, где более-менее нормальные прокси, то их оттуда просто так не спарсишь: нужно листать страницы (джаваскриптом сделаны часто бывают). А листание страниц в источниках в проксичекере никак же не сделаешь вроде )) Кроме этого, просто регуляркой не вытянешь - нужно с заменами делать и т.п.

Из Javascript парсится, нужно включить его в настройках источника и возможно структуру парсинга скорректировать, в зависимости от того как там прокси лист генерится.

 

[rostonix]

ну вот как раз в том-то и дело, что те сайты, где более-менее нормальные прокси, то их оттуда просто так не спарсишь: нужно листать страницы (джаваскриптом сделаны часто бывают). А листание страниц в источниках в проксичекере никак же не сделаешь вроде )) Кроме этого, просто регуляркой не вытянешь - нужно с заменами делать и т.п.

Да, у меня тоже раньше были шабы для отдельный сайтов. В этом есть смысл. Обычно там хорошие прокси по сравнению с другими сайтами с тем же пабликом. Тут главное не увлечься, большинство можно распарсить стандартными средствами чекера)

 

[Danny]

Ок, парни, спасибо большое еще раз за советы и помощь!