Парсинг Google

[dedok3000]

Появилась задача, которая включает в себя парсинг числа результатов выдачи гугла в режиме нон стоп, с объёмами 1-2 млн. запросов ежедневно. Возник вопрос, как быть с проксями, попробовал один забугорный бекконнект, но получил пощёчину от гугла в виде "We're sorry but your computer or network may be sending automated queries".

Знающие люди, прошу подсказать, чем парсить гугл, может паблик прокси или приватные с задержками... Желательно конкретный сервис, бюджет умеренный (то есть luminati не предлагайте).

Заранее благодарю.

 

[AloneSlamer]

парсить нужно парсерами

вам нужны свои прокси

 

[dedok3000]

парсить нужно парсерами

вам нужны свои прокси

парсить можно по разному, может есть какой то секрет.... потому что свои прокси убиваются точно так же, на раз-два

 

[Sz5]

Зачем изобретать велосипед? я конечно понимаю использование зенки под парс, но есть более проф пригодные для этого приложения. A-parser, цена конечно не маленькая, зато со своими задачами справляется на отлично

 

[dedok3000]

Зачем изобретать велосипед? я конечно понимаю использование зенки под парс, но есть более проф пригодные для этого приложения. A-parser, цена конечно не маленькая, зато со своими задачами справляется на отлично

ну я не говорил про зенку я делаю это из самописного софта...
A-parser и другие, разницы нет, суть в проксях и, наверное, задержках, но пока эта теория не подтверждается.

 

[AloneSlamer]

ну я не говорил про зенку я делаю это из самописного софта...
A-parser и другие, разницы нет, суть в проксях и, наверное, задержках, но пока эта теория не подтверждается.

Разница есть уж поверьте.
Все ваши проблемы с проксями задержками уже решали авторы парсеров и думаю что пришли к оптимальным значениям.

 

[dedok3000]

Разница есть уж поверьте.
Все ваши проблемы с проксями задержками уже решали авторы парсеров и думаю что пришли к оптимальным значениям.

ну хорошо, я не против.. в таком случае, есть ли эксперименты, где можно почитать про эти задержки? потому что мне нужно это реализовать в своём софте, чужие не подойдут под мою задачу.

 

[toxass]

Ап. Тоже нужно отпарсить выдачу с оператором на 700к. Дайте совет как быть с проксями. Можно в ЛС.

 

[masterLomaster]

парсить можно по разному, может есть какой то секрет.... потому что свои прокси убиваются точно так же, на раз-два

Ап. Тоже нужно отпарсить выдачу с оператором на 700к. Дайте совет как быть с проксями. Можно в ЛС.

бесполезно! ГуглоПадла вам все прокси убьет на 1-2 он палит кучу идентичных запросов в большом количестве и начинает вас блочить, в итоге вы даже 10% от задуманного собрать не успеете он вам все прокси в бан отправит.
Можно работать в 1 поток с большой задержкой но такие объемы вы долго ковырять будете!
Как вариант можно гугл заставить парсить сам себя, но эту инфу я не сливаю!

 

[Roman*]

Через переводчик вроде уже и не работает в многопотоке)

 

[masterLomaster]

Через переводчик вроде уже и не работает в многопотоке)

ну не только у гугла есть переводчик ))) и на врядли гугл сам себя через переводчик даст ))) А вот есть у него одна тема где можно заставить гугл сам себя парсить и он тупой это будет честно делать ))) и думать, что это ему нужно!

 

[hameleonds]

ну не только у гугла есть переводчик ))) и на врядли гугл сам себя через переводчик даст ))) А вот есть у него одна тема где можно заставить гугл сам себя парсить и он тупой это будет честно делать ))) и думать, что это ему нужно!

есть варианты при которых вы поделитесь инфой как заставить гугл парсить себя?

 

[zortexx]

Этот вариант должен подразумевать, что Ломастер прочтёт этот пост.

 

[hameleonds]

Этот вариант должен подразумевать, что Ломастер прочтёт этот пост.

на это и рассчитываю)

 

[kolina]

А нельзя ли, через мобильный. Парсим до бана, затем модем перезагружается(IP сменяется), профиль меняем и опять парсим до бана.

 

[Renevel]

А нельзя ли, через мобильный. Парсим до бана, затем модем перезагружается(IP сменяется), профиль меняем и опять парсим до бана.

Это не серьезно, сколько вы так напарсите? Сделаете 50-100 запросов, поймаете бан ИП, нужно менять, потом опять бан и так по кругу. Чтобы нормально парсить нужен огромный пул айпишек. С одного ИП в один поток много не напарсить.

 

[hit-proxy.com]

Ребят, если вас интересуют прокси под парс гугла напишите мне в тг, сразу пишите ваш бюджет = понимаю нужны прокси без бана, сделаем.

 

[luk911]

у а-парсера очень профессионально все это настраивается. И у них есть свои большие пакеты прокси для подходящие для парсинга в очень больших объемах.

 

[Lada74]

у а-парсера все таки дорогато, мне кажется

 

[luk911]

у а-парсера все таки дорогато, мне кажется

Смотря какие задачи. Пару тысяч спарсить это одно, постоянно в большом объеме, это другое...