get-запросы не полностью получают контент

[braind]

собираю информацию из выдачи etsy.com
недавно они что-то подкрутили и теперь выдача результатов поиска через get-запрос отдается не полностью.
на странице выдачи должно быть 60+ товаров, а через get отдается 12-13 и остальные вот так

<p class="wt-screen-reader-only">Loading...</p>

через включенный браузер выдача вся видна.
Подскажите, как побороть?

 

[evgen_po]

Посмотреть через трафик, какие еще запросы уходят и повторить их

 

[backoff]

Loading...

на какой странице находится? дай пример
у меня пагинация постраничная

http://joxi.ru/bmoV1klF3gdz4r.png

 

[Mikhail B.]

А как выдача происходит? Ты скроллишь вниз и появляются новые элементы, или щелкаешь по страницам?

 

[braind]

Посмотреть через трафик, какие еще запросы уходят и повторить их

не совсем понимаю. Основной запрос я посмотрел, он такой же как через гет
Но при загрузке через браузер идет еще сотня запросов, подгружаются разные скрипты.

 

[braind]

на какой странице находится? дай пример
у меня пагинация постраничная

http://joxi.ru/bmoV1klF3gdz4r.png

любой запрос, например Mothers Day gifts
в браузере у меня тоже все хорошо, вот get-запрос не отдает все товары

 

[braind]

А как выдача происходит? Ты скроллишь вниз и появляются новые элементы, или щелкаешь по страницам?

щелкаю по страницам

 

[backoff]

любой запрос

у меня по странично все - https://www.etsy.com/search?q=Mothers Day gifts
пришли конкретный урл где есть что надо смотреть

ps \ и отвечать можно всем в одном сообщении

 

[braind]

у меня по странично все - https://www.etsy.com/search?q=Mothers Day gifts
пришли конкретный урл где есть что надо смотреть

ps \ и отвечать можно всем в одном сообщении

Прочитай плиз внимательно первый пост, в чем у меня сложность.
любой запрос в поиске выдает некую выдачу товаров, которых на первой странице 60+ штук
Я не могу их через get-запрос получить.
У тебя получается спарсить страницу гет-запросом так, чтобы в коде были видны все 60+ товаров?

 

[backoff]

да, сорян, подумал что надо нажимать на доп кнопку loading для загрузки остального

ну очевидно, что подгрузка идет через js надо просто отловить доп запрос к js и по идее будет отгружать все что надо

 

[backoff]

ну курить надо местное api , через него получает инфу походу

1620035064482.png (508 kb) закачан 3 мая 2021 г. Joxi

сделан при помощи Joxi.net

joxi.ru

но с другой стороны, я так понимаю тебе страницы нужны, они отдаются, переходи по ним и парси что надо

1620035156641.png (118 kb) закачан 3 мая 2021 г. Joxi

сделан при помощи Joxi.net

joxi.ru

 

[Mikhail B.]

щелкаю по страницам

Так всегда или иногда? Просто у меня бывали случаи что иногда страница не полностью загружалась.

 

[braind]

ну курить надо местное api , через него получает инфу походу

1620035064482.png (508 kb) закачан 3 мая 2021 г. Joxi

сделан при помощи Joxi.net

joxi.ru

но с другой стороны, я так понимаю тебе страницы нужны, они отдаются, переходи по ним и парси что надо

1620035156641.png (118 kb) закачан 3 мая 2021 г. Joxi

сделан при помощи Joxi.net

joxi.ru

да, api самый оптимальный вариант, придется его курить.

мне в данном случае нужны названия магазинов, и парсить все страницы ради этого это слишком. Я планировал с одной страницы все взять, а так получается нужно еще 60 запросов делать...

Так всегда или иногда? Просто у меня бывали случаи что иногда страница не полностью загружалась.

ну у них постраничная выдача, как правило все нормально. Если прокси плохой то может не полностью загружаться, но это дело в прокси

 

[Mikhail B.]

ну у них постраничная выдача, как правило все нормально. Если прокси плохой то может не полностью загружаться, но это дело в прокси

Парси эту строку которая детектит не полную загрузку, если поймал то просто делаешь новый запрос (3 попытки с 10 секундным интервалом). Если попытки закончились то меняешь прокси. Кол-во попыток не забудь обнулять после успешной загрузки.

 

[faridcd]

собираю информацию из выдачи etsy.com
недавно они что-то подкрутили и теперь выдача результатов поиска через get-запрос отдается не полностью.
на странице выдачи должно быть 60+ товаров, а через get отдается 12-13 и остальные вот так

<p class="wt-screen-reader-only">Loading...</p>

через включенный браузер выдача вся видна.
Подскажите, как побороть?

Ище разработчика для создания шаблона для продвижения на ЭТСИ, вы не возьметесь? Детали в личку.