Вопрос по парсингу Юлы (post/get)

[Jeronimo]

Всем привет.
Есть у меня шаблон по сбору информации о товарах с доски объявлений Юла.
Шаблон работает через браузер, поэтому информация собирается долго.
Пробовал сделать через post/get запросы, но не получается: текст объявления, цена товара, количество просмотров, количество добавлений в избранное, безопасная сделка, доставка - все эти данные не получается получить через get запрос, так как они подгружаются, как я понял, через скрипты.
Подскажите, пожалуйста, как правильно сформировать post/get запрос, чтобы получить все эти данные? Да и вообще возможно ли это.

Быть может кто-то платно сможет сформировать этот post/get запрос. Напишите мне в личку + цену вопроса и сроки.

Заранее всем спасибо.

 

[ssXXXss]

а что именно не получается ?

 

[Jeronimo]

а что именно не получается ?

Когда делаю get запрос к странице, например: https://youla.ru/moskva/smartfony-planshety/aksessuary/ochki-virtualnoi-riealnosti-sony-hmzt3h-5c2b9c24e7d7ce7f7c218b92

... то через обработку текста получаю следующие данные: заголовок объявления, категории и номер телефона. Мне нужно получить ещё следующие данные: текст объявления, цена товара, количество просмотров, количество добавлений в избранное, отметка "безопасная сделка", отметка "доставка". Однако при get запросе этих данных попросту нет. Я так понял, что они подгружаются скриптами. Вопрос в том, как правильно прописать post/get запрос, чтобы эти данные вытащить со страницы.

 

[ssXXXss]

так в ответе что получаешь когда делаешь гет ?
думаю там не скрыты данные, если только номер, который так же можно вытащить и гет запросом, используй стороний снифер, или встроенный в зенке

 

[Jeronimo]

так в ответе что получаешь когда делаешь гет ?

Код страницы. Из него вытаскиваю:

• заголовок объявления
• категории
• номер телефона

Остальных данных в коде нет.

 

[ssXXXss]

Код страницы. Из него вытаскиваю:

• заголовок объявления
• категории
• номер телефона

Остальных данных в коде нет.

ну если даже номер есть то думаю что то ты обманываешь что другое не вытащить ))

 

[Jeronimo]

так в ответе что получаешь когда делаешь гет ?
думаю там не скрыты данные, если только номер, который так же можно вытащить и гет запросом, используй стороний снифер, или встроенный в зенке

Вы как-то невнимательно читаете Телефон я через get запрос вытаскиваю. Дополнительные данные, о которых я написал выше, подгружаются при загрузке страницы в браузере. При Get запросе эти данные отсутствуют.

 

[Jeronimo]

ну если даже номер есть то думаю что то ты обманываешь что другое не вытащить ))

подожду комментариев других пользователей...

 

[ssXXXss]

всё там есть, это ответ через гет

это на сайте

 

[ssXXXss]

подожду комментариев других пользователей...

что ждать то ??
ты свой пример покажи прежде чем просить то что у тебя не реализованно

 

[ssXXXss]

так же есть и про сделку

 

[ssXXXss]

я тебе показываю бесплатно и не прошу денег хотя ты предложил за платно
тогда сколько ты готов заплатить за решение ?

 

[Jeronimo]

что ждать то ??
ты свой пример покажи прежде чем просить то что у тебя не реализованно

Дак что показывать то, кубик get и адрес страницы:

всё там есть, это ответ через гет

Посмотреть вложение 34970

это на сайте
Посмотреть вложение 34971

А можете настройки кубика свои показать? Потому что у меня при get запросе этих данных нет

 

[ssXXXss]

А можете настройки кубика свои показать? Потому что у меня при get запросе этих данных нет

 

[Jeronimo]

Мда, ну у меня тоже самое, вот только данных в ответе нет. А какая у вас версия зеннопостера?

 

[ssXXXss]

Мда, ну у меня тоже самое, вот только данных в ответе нет. А какая у вас версия зеннопостера?

5.25
это не зависит от версии. там просто надо перекодировать код полученный

 

[ssXXXss]

ты получаешь типо такого. правильно ?

 

[ssXXXss]

я не вымагаю с тебя деньги, я хочу чтобы ты дал полную информацию, ты не даёшь. я предоставил тебе, типо много пишу ну нет примера шаблона, так сам это сделай

 

[ssXXXss]

а зачем таймаут 1000 ?
в кубиках в секундах
представь произошёл зависон
а у тебя 1000 секунд

 

[ssXXXss]

ну как успехи ?

 

[ssXXXss]

)))))))) смешно кода просят и пропадают и свлю ошибку не видят

 

[ssXXXss]

а заметь что я тебе сохраил твой бюджет который не большой

 

[Jeronimo]

я не вымагаю с тебя деньги, я хочу чтобы ты дал полную информацию, ты не даёшь. я предоставил тебе, типо много пишу ну нет примера шаблона, так сам это сделай

Я не пойму что мне нужно показать. Сам кубик я показал, ничего более нет.

)))))))) смешно кода просят и пропадают и свлю ошибку не видят

Да просто у меня было уже 7 утра и я не спал. Поэтому лёг.

ты получаешь типо такого. правильно ?
Посмотреть вложение 34975

Да, что-то типа такого. А как перекодировать полученный ответ?

а заметь что я тебе сохраил твой бюджет который не большой

Я благодарен, что ты ответил мне. Вот только пока я не решил проблему.

 

[Jeronimo]

5.25
это не зависит от версии. там просто надо перекодировать код полученный

Разобрался. Нужно из Unicode перекодировать в кириллицу. Спасибо за намёки.
Если кто вдруг столкнётся с тем же что и я, то полученный ответ через get запрос нужно перекодировать в кириллицу.
Скрипт для этого действия:

string str = project.Variables["text"].Value; // переменная с текстом
Regex reg = new Regex(@"(?i)\\[uU]([0-9a-f]{4})");
return reg.Replace(str, delegate(Match m) { return ((char)Convert.ToInt32(m.Groups[1].Value, 16)).ToString(); });

 

[Alekseyaz]

Там проблема в том что сайт генерит теги и типа class_description_dgvht32g “...” где случайным образом генерируется тег

И проблематично это все спарсить, приходится извращаться с регулярками, например фотки объявления гетом выдрать не получилось так как не отфильтровать

 

[ssXXXss]

там нет проблем и сайт ничего не генерит

 

[Alekseyaz]

там нет проблем и сайт ничего не генерит

Урлы на основные фото по каким атрибутам находили?
Там все примерно вот такого вида https://cache3.youla.io/files/images/160_160/5c/18/5c18ca8eb5fc2d21382bebb6.jpg"
Оригинальный размер фото можно брать меняя 160_160, 720_720 на "orig" https://cache3.youla.io/files/images/orig/5c/18/5c18ca8eb5fc2d21382bebb6.jpg"
но только вот наименование файлов /5c/18/5c18ca8eb5fc2d21382bebb6.jpg всегда разное.

 

[ssXXXss]

Урлы на основные фото по каким атрибутам находили?
Там все примерно вот такого вида https://cache3.youla.io/files/images/160_160/5c/18/5c18ca8eb5fc2d21382bebb6.jpg"
Оригинальный размер фото можно брать меняя 160_160, 720_720 на "orig" https://cache3.youla.io/files/images/orig/5c/18/5c18ca8eb5fc2d21382bebb6.jpg"
но только вот наименование файлов /5c/18/5c18ca8eb5fc2d21382bebb6.jpg всегда разное.

это к чему ?
при чём код полученый и твоя проблема о которой я не интересовался