Парсинг Google: Get запросы и разница между десктопной и мобильной версиями поиска

[Aplabs]

Добрый день!

Сразу к теме:

В мобильной выдаче выводится больше символов в сниппете, к примеру:

1. Десктопная выдача:

2. Мобильная выдача:

3. Мобильный User Agent, но без фиксированного разрешения:

Проблема в том, что когда я отправляю GET запрос к выдаче, даже используя мобильынй UA я не могу добиться того, чтоб мне выдало 2 вариант. В общем задача в том, чтоб получать расширенный сниппет.

Пробовал вот это: https://stackoverflow.com/questions/1357245/mobile-device-resolution-width-height-screen-size-header , не помогло.

 

[ibred]

Видимо не все useragent'ы подходят для расширенной выдачи.
Попробуйте такой: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1

 

[Aplabs]

Видимо не все useragent'ы подходят для расширенной выдачи.
Попробуйте такой: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1

Добрый день. Вы используете браузер, а я хотел бы получать расширенный сниппет при помощи Get запроса. В параметрах GET запроса у меня стоит именно такой UA

 

[dafaroff]

Попробуйте поставить такие заголовки, ничего не меняя

User-Agent: Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Mobile Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate, br
Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7

Интересно, что при изменении Accept-Language с ru на en - выдача меняется на укороченные сниппеты.

 

[Aplabs]

Попробуйте поставить такие заголовки, ничего не меняя

User-Agent: Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Mobile Safari/537.36
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Accept-Encoding: gzip, deflate, br
Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7

Интересно, что при изменении Accept-Language с ru на en - выдача меняется на укороченные сниппеты.

В таком случае крдишровка плывет:

 

[ibred]

В таком случае крдишровка плывет:

У Вас старая версия программы? Удалите br из Accept-Encoding
Эту часть тоже нужно удалить "User-Agent: " т.к. useragent устанавливается без него (в старых версиях). Только значение.

 

[Aplabs]

Всем спасибо за советы.

Думал все на JS завязано, но вот с такими хедерами получилось вроде как добиться нужной выдачи (подсмотрел через fiddler):

User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
Sec-Fetch-Dest: document
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9
Sec-Fetch-Site: same-origin
Sec-Fetch-Mode: navigate
Sec-Fetch-User: ?1
Accept-Encoding: gzip, deflate, br
Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7,uk;q=0.6