Как спарсить сайт представившись ему яндекс ботом

[biryukovm]

Всем привет
Не редкость когда сайты работают доступно, для поисковых ботов

Вот и вопрос как обращаться к сайту чтоб мнея посчитали поисковым ботом тогоже Гугл или Яндекса?

 

[Roman48]

Это смотря какая защита, если через cloudflare правила, ни чего не получиться, там идет по автономной системе проверка, даже если поменяешь UA на яндекс бота. А так попробуй поменять UA/
У меня например защита настроена, по автономной системе, если UA бота, а автономная система не бота, то блок сразу

 

[biryukovm]

А вот какие параметры передовать в HEAD ?