Бан IP в Яндексе при сборе.

[flik]

Здравствуйте.
Стал счастливым обладателем Зено.

Вопрос следующий.
Как избежать бана Ip в яше при сборе базы сайтов по признакам движков. Сначало пробовал собирать с домашнего Ip забанился , затем приобрел прокси (Россия пакет 500 HTTP+Socks5 порт 8085 ) в зено выставил функцию работать с прокси без удаления, но выходит тоже самое яндекс запрашивает капчу.
Подскажите как обойти проверку на робота в яше?

 

[rostonix]

Никак ) при частых однотипных запросах при парсинге поисковико всегда ловится бан)
Парсить лучше публичными бесплатными анонимными проксями)

 

[flik]

Странно но есть люди у которых работает все с одного IP домашнего и не банится при круглосуточном использовании, в моем же случае банится сразу?

 

[flik]

Какие настройки при данной операции нужно производить в зенопостере для уменьшения риска бана?

 

[rostonix]

Покажите мне людей, которые парят поисковики одним IP )
Это так не работает.

 

[rostonix]

Можно использовать в свойствах проекта различные браузеры (не только FF) и соответственно производить парсинг по одному запросу на проект, затем проект завеРшать и начинать новый с новым ключевиком

 

[flik]

я имею ввиду многопоточный режим, допустим в 30 потоков.

 

[flik]

где можно указать время через которое можно использовать тот прокси с которого только что делали запрос?

 

[rostonix]

Ограничения времени повторной проверки ставится в настройках проксичекера. При выполнении проектов брать прокси с удалением.

 

[7make]

1. парсить тех кто использует выдачу яндекса
2. разбавлять запросы

 

[flik]

как можно прописать в шаблон чтобы при запросе капчи яшей он шел на сервис антигейт и распозновал её?

 

[refuiopl]

как на тройке я задавал количество циклов, а затем ребутил через брузер модем - ip меняялся т.к. динамический. в этой версии Zennoposter это у меня не получается - программа не загружает страницу 192.168.1.1, хотя при записи проекта видит её.

 

[refuiopl]

Можно использовать в свойствах проекта различные браузеры (не только FF) и соответственно производить парсинг по одному запросу на проект, затем проект завеРшать и начинать новый с новым ключевиком

в своих свойствах проекта не вижу этого http://s017.radikal.ru/i422/1207/ac/290d4ac590e7.jpg

 

[rostonix]

Ребут модема производится вероятнее всего через командную строку.

 

[rostonix]

в своих свойствах проекта не вижу этого http://s017.radikal.ru/i422/1207/ac/290d4ac590e7.jpg

Рядом иконка профиля

 

[refuiopl]

Ребут модема производится вероятнее всего через командную строку.

да, можно и так, но в моей ситуации и с моими познаниями это не получится.) модем, хоть, по идее (по железу) ZTE, но распространяется с прошивкой, написанной нашим местным провайдером... и даже с другим названием. стандартные команды ребута не подходят, наверное из-за прошивки. дальше чем зайти в меню модема с cmd у меня не выходит.

Рядом иконка профиля

вот это я разява))

 

[rostonix]

Вообще когда выставите разные браузеры (их типы) постер будет менять рандомно многочисленные юзерагенты.
Пробуйте )
Можно еще разрешения менять)

 

[KirillOFF]

При использовании хрома в качестве UA было замечено меньше банов + рекомендую не отключать загрузку картинок / фреймов / скриптов.

 

[refuiopl]

кстати, уделал таки свой модем с помощью Зеннопостера.) попробовал сучатся не на прямую по адресу 192.168.1.1 или страницу ребута, а на другие вкладки меню модема, а там Зенно нормально отрабатывает авторизацию, и затем уже переходить к ребуту