Забрать данные с сайта (сложно)

[ial1408]

Добрый день. По работе делаю парсер сайта. Нужно взять все ссылки на ДВС со страницы https://parts.japancar.ru/?code=parts&mode=old&cl=search_partsoldng&cl_saler_one=668692&cl_partCode=0JTQktCYLjA5MQ_21 (потом пройтись по каждой ссылке и взять уже нужные мне данные). Парсер на вебе я написал. Сложность состоит в том (как я понимаю), что результат конечной таблицы (которая мне нужна) подгружается скриптом и если брать dom нужной страницы, то будет "Идет загрузка", поэтому приходится парсить в вебе. Ситуацию осложняет то что в многопотоке рано или поздно скрипт подгрузки ответов перестает отрабатывать и на странице появляется "Идет загрузка" пожизненно (дальше не грузит). Также на сайте стоит рекапча 3 (возможно она и не дает прогрузить необходимые данные скрипту). Предполагаю, мне надо сгенерировать какой-то токен, который даст мне полный DOM страницы, так как в консоли разработчика зачем-то повторно грузится эта же страница во вкладке network (или я что то не понял) с уже нужным мне DOM. Или второй вариант это решать каждый раз Recaptcha v3, когда она выскакивает, но я не пойму как мне вытащить данные из файла api.js через зенку (для того чтобы взять sitekey, а потом еще и action). Как заглядывать в файлы(скрипты) сайта через PM я так и не понял. Вообще, конечно, было бы круто понять оба варианта. Готов отблагодарить того, кто поможет решить мне эту проблему.

PS Судя по всему во вкладке network подгружает не второй раз а первый, просто тот дом что мне нужен. Видимо действительно надо что то передавать в гет запросе

 

[dimafatality]

Попробуй.

ps: там регулярка чуть кривая, но не суть )

(?<=<h4><a\ href=')/jc/view/parts/.*?(?='\ title=)

 

[ial1408]

Попробуй.

Спасибо за помощь но у меня дом страницы берется с "Идет загрузка..." в Вашем проекте. Проблема так и осталась

 

[dimafatality]

Спасибо за помощь но у меня дом страницы берется с "Идет загрузка..." в Вашем проекте. Проблема так и осталась

Проверил тот же профиль на утро - не работает, видимо кука истекла.

В общем:

сделай такие настройки, зайди на https://parts.japancar.ru/ через веб и сохрани профиль

Спойлер

Далее, подгрузи сохраненный профиль в моем проекте - должно заработать.

 

[ial1408]

Проверил тот же профиль на утро - не работает, видимо кука истекла.

В общем:

сделай такие настройки, зайди на https://parts.japancar.ru/ через веб и сохрани профиль

Думаешь дело в куках? Рекапча не причем? Не в курсе можно из кубика (а лучше на C#) поменять эти параметры потому что это часть большого проекта и если поменяю во всем проекте то боюсь что поплывет остальное.

 

[Koqpe]

Думаешь дело в куках?

Думаю дело немного в другом, сайты пользователям которые заходят с мобилок отдают "другой" контент, без танцев с бубном, подгрузок и т.п., потому что мобильный девайс физически не может их обработать
Во блин сказанул...

 

[dimafatality]

Думаю дело немного в другом, сайты пользователям которые заходят с мобилок отдают "другой" контент, без танцев с бубном, подгрузок и т.п., потому что мобильный девайс физически не может их обработать

Когда я изначально полез на мобильную версию, у меня была именно такая мысль, но увы )
По-моему дело именно в куке, причем только в одной строчке -

.japancar.ru TRUE / FALSE 05/18/2033 09:33:20 sn t76t0k3i63729a6viaerirr6j7 FALSE TRUE

https://i.imgur.com/pDesZX7.gif

Но если изначально получить ее гетом, то дальнейшие запросы не выполняются, вываливает "идет загрузка".

 

[ial1408]

Когда я изначально полез на мобильную версию, у меня была именно такая мысль, но увы )
По-моему дело именно в куке, причем только в одной строчке -

https://i.imgur.com/pDesZX7.gif

Но если изначально получить ее гетом, то дальнейшие запросы не выполняются, вываливает "идет загрузка".

Вот и мне показалось что не в мобильной версии решение. Что делать и как быть? Куда копать?