Анонимность в парсер

[Alex62]

Добрый день, подскажите, написал парсер olx на post запросах, без браузера. Очень часто возникает ситуация что возвращает телефон вида 000-000-00-00.

Думаю может это из-за того что у меня не уникальный userAgent.

В связи с этим вопрос, нужно ли генерировать разные userAgent для парсинга? Если да, то подскажите как это делать?

 

[Dexio]

Добрый день, подскажите, написал парсер olx на post запросах, без браузера. Очень часто возникает ситуация что возвращает телефон вида 000-000-00-00.

Думаю может это из-за того что у меня не уникальный userAgent.

В связи с этим вопрос, нужно ли генерировать разные userAgent для парсинга? Если да, то подскажите как это делать?

Скачать список агентов, положить в файл-список и рандомно брать и подставлять

 

[Alex62]

Скачать список агентов, положить в файл-список и рандомно брать и подставлять

у меня вот есть несколько c# кубиков, которые генерируют юзерагента, но почему то они не срабатывают в данном шаблоне, выдает ошибку. По ошибке писал здесь http://zennolab.com/discussion/threads/kompiljacija-koda-oshibka-v-dejstvii-cs1002-ozhidalas-stroka-9-ctolbec-16.47542/

 

[Dexio]

Если хоть в одном из кубиков ошибка-не будут работать все. И зачем такой танец с бубном? Берите готовый список, это же не id компа генерировать. Они плюс минус стандарнтые

 

[Alex62]

Если хоть в одном из кубиков ошибка-не будут работать все. И зачем такой танец с бубном? Берите готовый список, это же не id компа генерировать. Они плюс минус стандарнтые

прикол в том, что в отдельном шаблоне он выполняется успешно

 

[kagorec]

у меня вот есть несколько c# кубиков, которые генерируют юзерагента, но почему то они не срабатывают в данном шаблоне, выдает ошибку. По ошибке писал здесь http://zennolab.com/discussion/threads/kompiljacija-koda-oshibka-v-dejstvii-cs1002-ozhidalas-stroka-9-ctolbec-16.47542/

Зачем вам этот "бредогенератор", используйте оригинальные useragent-ы. Сайты сейчас на раз вычисляют правильность useragent

 

[Dexio]

прикол в том, что в отдельном шаблоне он выполняется успешно

Значит один из кубиков в этом шаблоне- бракованый. Не факт что именно этот. У меня была аналогичная проблема.
А вообще, как ниже ответил товарищ kagorec. Не надо генерировать. Используйте уже проверенные+доверенные

 

[Alex62]

Достаточно будет одних useragentов для анонимности парсинга? или нужно что то еще менять?

 

[alekwuy]

Достаточно будет одних useragentов для анонимности парсинга? или нужно что то еще менять?

а прокси есть?

 

[Alex62]

да

 

[ibred]

Думаю может это из-за того что у меня не уникальный userAgent.

Он не должен быть уникальным, иначе Вы будете выделяться в общем потоке.
Useragent просто должен быть актуальным.

Если Вы получаете не тот результат, который нужен, вероятно какой-то из параметров не досылаете. Самый частый случай.

 

[Alex62]

Он не должен быть уникальным, иначе Вы будете выделяться в общем потоке.
Useragent просто должен быть актуальным.

То есть 1 раз установить в начале выполнения скрипта, а потом просто менять прокси, и этого будет достаточно?
Я так понял ОЛХ не дает скачивать массово телефон, да и пагинацию. Для скачивания страниц хватало смены прокси. А с телефонами полагаю сложнее ... может что то еще нужно?

Если Вы получаете не тот результат, который нужен, вероятно какой-то из параметров не досылаете. Самый частый случай.

ИНОГДА, не всегда, приходит в ответ с телефоном 000 000 00 00 (когда достигнут лимит на парсинг телефона) или пустым (тогда, когда не достучался, возможно плохая прокси). А так получаю номера