Помогите: Парсинг телефонов с сайта OLX

[Alex62]

Добрый день, подскажите пожалуйста как то можно обойти спрятанные телефоны на сайте OLX что мы можно было get запросом дергать код странички. или придется все же через браузер открывать и жать на кнопку показать?

 

[doc]

принцип тот же. дергаешь запросом страницу. парсишь нужные параметры. дергаешь запросом телефон

 

[backoff]

можно...
наглядно

идешь сюда (как пример) - https://www.olx.ua/obyavlenie/batareya-akkumulyator-dlya-noutbuka-asus-acer-lenovo-hp-samsung-ID6pVb9.html

дергаешь токен - 01f93f4ede8903194d0f856e1f6099e5b16e03f197e4b98f1424813b813186d55d3b2658c619babe9c7f93aac41fadebc357e7289bf6b060f612b128146ad7b3
дергаешь id объявы - 6pVb9

делаешь гет - https://www.olx.ua/ajax/misc/contact/phone/6pVb9/?pt=01f93f4ede8903194d0f856e1f6099e5b16e03f197e4b98f1424813b813186d55d3b2658c619babe9c7f93aac41fadebc357e7289bf6b060f612b128146ad7b3

получаешь в ответ телефон/ы


не за что

 

[Alex62]

Спасибо большое

 

[Valiksim]

не за что

Тут спасибо говорят только буковками. Иногда, даже мысленно. Но благодарят все

Спасибо большое

 

[denchik]

Сейчас пробовал этим методом, не получается, в ответ приходит {"value":"000 000 000"} Подскажите, где я не так делаю или olx что-то изменил? Спасибо.

 

[Valiksim]

Подскажите, где я не так делаю или olx что-то изменил?

Трудно сказать? Но, предположить можно, что токен сменился, если ты его не получаешь при каждом запросе

Спойлер: Токен

32d8ab46578b49b09174582878209dd6da800ea33db50b6937b7f74b38b2485be545f5d5604f39402263178df184049812e08f32511bfcb3e2f8f37b487a6385

 

[denchik]

Трудно сказать? Но, предположить можно, что токен сменился, если ты его не получаешь при каждом запросе

Спойлер: Токен

32d8ab46578b49b09174582878209dd6da800ea33db50b6937b7f74b38b2485be545f5d5604f39402263178df184049812e08f32511bfcb3e2f8f37b487a6385

И в этом примере и другие пробовал, получал свежий токен, менял ID - ответ такой же во всех случаях.

 

[redman]

Всё работает. Просто токен другой нужно подставлять. Отснифай и сравни запросы.

 

[denchik]

Всё работает. Просто токен другой нужно подставлять. Отснифай и сравни запросы.

Я новичок, что значит "отснифай"? Можете показать, какой у Вас гет запрос, который выдаёт номер?

 

[redman]

Я новичок, что значит "отснифай"? Можете показать, какой у Вас гет запрос, который выдаёт номер?

Запрос такой же как и был, только токен другой.
Отснифать значит отследить какие запросы идут, можно с помощью зенки (Монитор трафика), или с помощью спецсофта, называется сниффер.

 

[denchik]

Запрос такой же как и был, только токен другой.
Отснифать значит отследить какие запросы идут, можно с помощью зенки (Монитор трафика), или с помощью спецсофта, называется сниффер.

Спасибо за помощь. Открыт Монитор трафика, нашел где передаётся get запрос, а в ответе номера телефонов, добавляю этот запрос в ПМ - результат все равно
{"value":"000 000 000"}. Для этого товара https://www.olx.ua/obyavlenie/bmx-novinka-ekstremalnyy-velosiped-fomas-f-200-2017-ispaniya-kachestvo-IDsTtry.html get запрос https://www.olx.ua/ajax/misc/contact/phone/sTtry/?pt=2308cbde50fd1146708eec81d4882b6d26dee246b78fda0c8a1cf185ac1b22a7bf18472f737e6e1770aa49051844e150e227de4d074e0625c92f947543d64e2d Если я правильно понял, то этот запрос сработает только 1 раз? А в другой раз будет другой токен?

 

[redman]

Если я правильно понял, то этот запрос сработает только 1 раз? А в другой раз будет другой токен?

Да.
Ищем его в предыдущих запросах. + куки

 

[denchik]

Да.
Ищем его в предыдущих запросах. + куки

Благодарю. А можно подробнее на счёт кук? Их нужно как-то в запрос добавить или что с ними делать?

 

[redman]

Их нужно как-то в запрос добавить или что с ними делать?

Берем куки, сохраняем в переменную, используем в следующем запросе.

 

[denchik]

Берем куки, сохраняем в переменную, используем в следующем запросе.

Знаю что уже надоел Вам)), но не могли бы привести пример, как потом в запрос добавить куки?

 

[redman]

http://zennolab.com/discussion/threads/set-cookie-post-get-kak-prosche-vzjat.34589/

 

[imaxvelll]

Приветствую!
Возможно ли вытянуть номер с этой страницы?
https://www.olx.ua/obyavlenie/contact/prodam-lenovo-z585-i5-8gb-ozu-500gb-hdd-gforce-640m-2gb-IDtsMM4.html
Делал Get запрос - безуспешно

 

[orka13]

потерто

 

[imaxvelll]

потерто

Значит нет номера уже на сервере?

 

[imaxvelll]

В гуглокеше осталась
http://webcache.googleusercontent.com/search?q=cache:https://www.olx.ua/obyavlenie/prodam-lenovo-z585-i5-8gb-ozu-500gb-hdd-gforce-640m-2gb-IDtsMM4.html#

 

[yriy158]

Здравствуйте!
Столкнулся с проблемо что в ответе на гет запрос с токеном на получение номера приходит вот такое: {"value":"000 000 000"}.
Схема моего шаба: гет-запрос на обявление - парсим токен телефона и ID обявления - гет-запрос на получение номера с токеном и с ID обявления. https://www.olx.ua/ajax/misc/contact/phone/ID-обявления/?pt=токен
Не могли бы подсказать как все же спарсить номера? Заранее благодарен!

 

[КарлМаркс]

Здравствуйте!
Столкнулся с проблемо что в ответе на гет запрос с токеном на получение номера приходит вот такое: {"value":"000 000 000"}.
Схема моего шаба: гет-запрос на обявление - парсим токен телефона и ID обявления - гет-запрос на получение номера с токеном и с ID обявления. https://www.olx.ua/ajax/misc/contact/phone/ID-обявления/?pt=токен
Не могли бы подсказать как все же спарсить номера? Заранее благодарен!

проверь куки

 

[devas111]

Немного осилил с GET
Но беда в том что не соображу почему рабочая регулярка не парсит результат

 

[devas111]

Комрады, помогите, плиз с регуляркой.
Не получается сохранить телефон с OLX.UA ; GET запрос

 

[Mikhail B.]

Комрады, помогите, плиз с регуляркой.
Не получается сохранить телефон с OLX.UA ; GET запрос

А где сам запрос*?

 

[devas111]

Запрос сперва парсю в вариацию и потом подставляю в GET.
например

https://www.olx.ua/obyavlenie/semena-vozdushka-sort-sofievskiy-dostavka-novaya-pochta-IDx5TSA.html

https://www.olx.ua/ajax/misc/contact/phone/x5TSA/?pt=63ac061662b88d3fe2c319bb30c5ada1f398759bd149c4bdb7d47ca48372e7b8d23aaae64bdc62119c85235327d46f5c1e13ccf1638922191c130dcf3885386b

В HTTP Analizer телефончик видно

{"value":"098 940 8894"}

А в ПрожектМакере не парсит.

 

[Mikhail B.]

Запрос сперва парсю в вариацию и потом подставляю в GET.
например

https://www.olx.ua/obyavlenie/semena-vozdushka-sort-sofievskiy-dostavka-novaya-pochta-IDx5TSA.html

https://www.olx.ua/ajax/misc/contact/phone/x5TSA/?pt=63ac061662b88d3fe2c319bb30c5ada1f398759bd149c4bdb7d47ca48372e7b8d23aaae64bdc62119c85235327d46f5c1e13ccf1638922191c130dcf3885386b

В HTTP Analizer телефончик видно

{"value":"098 940 8894"}

А в ПрожектМакере не парсит.

Ты не понял. Ты попросил помочь с регуляркой. Давай помогу, ты код дай мне с которого ты не можешь спарсить номер. Или ты не верно выразился и имел ввиду другое?

 

[devas111]

Может вы меня не правильно поняли.
Смотрите не только 25 пост, но и 24 пост (с 30.12.17 суббота)
На скрине всё понятно должно быть.
Не могу понять почему не парсится в ПрожектМакере, хотя в конструкторе регулярок всё работает.
Вот загодовок

HTTP/1.1 200 OK
Content-Security-Policy: default-src * 'unsafe-eval' 'unsafe-inline' data:; frame-ancestors 'self' app.optimizely.com apps.facebook.com fonts.googleapis.com
X-Xss-Protection: 1
X-Content-Type-Options: nosniff
Referrer-Policy: unsafe-url
Strict-Transport-Security: max-age=31536000; includeSubDomains
X-B: tablica-dc4-242
X-T: D=39028 t=1514884364746326
Content-Type: application/json; charset=utf-8
Expires: Tue, 02 Jan 2018 09:12:44 GMT
Cache-Control: max-age=0, no-cache, no-store
Pragma: no-cache
Date: Tue, 02 Jan 2018 09:12:44 GMT
Connection: keep-alive
Content-Length: 24

{"value":"050 784 9578"}

 

[Mikhail B.]

Может вы меня не правильно поняли.
Смотрите не только 25 пост, но и 24 пост (с 30.12.17 суббота)
На скрине всё понятно должно быть.
Не могу понять почему не парсится в ПрожектМакере, хотя в конструкторе регулярок всё работает.
Вот загодовок

HTTP/1.1 200 OK
Content-Security-Policy: default-src * 'unsafe-eval' 'unsafe-inline' data:; frame-ancestors 'self' app.optimizely.com apps.facebook.com fonts.googleapis.com
X-Xss-Protection: 1
X-Content-Type-Options: nosniff
Referrer-Policy: unsafe-url
Strict-Transport-Security: max-age=31536000; includeSubDomains
X-B: tablica-dc4-242
X-T: D=39028 t=1514884364746326
Content-Type: application/json; charset=utf-8
Expires: Tue, 02 Jan 2018 09:12:44 GMT
Cache-Control: max-age=0, no-cache, no-store
Pragma: no-cache
Date: Tue, 02 Jan 2018 09:12:44 GMT
Connection: keep-alive
Content-Length: 24

{"value":"050 784 9578"}

Точно! Ивзини не увидел. щас посмотрю.

P.S. А у тебя в запросе стоит брать содержимое?