Обойти защиту Olx

[Gor]

Приветствую, ребята!
С недавнего времени на olx.ua перестала работать схема сбора номеров на запросах:

• GET на адрес объявления, сбор куков с этого запроса, извлечение ID объявления, token'a (например https://www.olx.ua/obyavlenie/prodam-IDD3MSW.html)
• GET на https://www.olx.ua/ajax/misc/contact/phone/{-ID объявления-}/?pt={-token-} с куками из первого запроса.

После отправки второго запроса olx говорит, что мы в бане.
Кто разбирался уже?
Во втором запросе отправляются куки вида:

// Куки из 1 запроса
PHPSESSID=5ac199595eda9d8dd2c29edb83a0baad833471e6; mobile_default=desktop; dfp_segment_test_v3=62; dfp_segment_test=58; dfp_segment_test_v4=13; lister_lifecycle=1548501981; pt=d98c3fcaa5512b16c5698b78999778127acf58b4e367f087da5bca9f7cda28c6fcb04bd34bf67758915f37b09541bd5f753bcf2f8efed4c63387cabb19d5959d; ak_bmsc=2D9B5AEDADA8327EF0B608A5C9C8AD85601194DDC10A0000DD434C5CFE0B7567~plexTyFZtGkY/OAGPiufAcpLZapm+t0waS/2lGcHbB8sxeLbIfPWW1dgL3rveyjOPpEu9IrZOr6neiIvB9x8vcJxNOotthP1NjUWmFUbDcBze5+FoRNxuN5AdQJUUkY/HYCiHwUZQ2/xL+GF9JAIzKebYzm29tJIEGz9duQFgZtdGzUXL0PddTp5Z5dCxH9JMivZIXVMKja0Mzx0JLgsa0LPqa/JQevs/uwrlViBzJqHL3k5HJTmi9ik9YP/sCL3Mu; _abck=23A16F9A0F9ECCC60967D46A6AA51A58601194DDC10A0000DD434C5CD1505C5B~0~rdHvu2SqzynQZ8ldXlmB8tx9Kt85cExefbBMK4uH0E8=~-1~-1; bm_sz=893CC98935965BFC09A973FA0DFD5ACB~QAAQ3ZQRYBeCc/tmAQAA5BnpiWhZg7QToGF764Nu5dSavaFgV8HeWrZzL1YILsoX5VZf9Xp6jh7GOL8fTpwmLd7L+8MdO1KayRUGwAAtnX/Z+Fb5kfh6nT0XIerRkcp182N0WWpIps3UQH6OTKYgTRBz8MI3EJdA/gSUBpdKI9tYdrPN122Azc0GZJ+b9E8=;

// Дополнительные куки:
used_adblock=adblock_disabled; onap=16889e8fc7cx17d95f1e-1-16889e8fc7cx17d95f1e-6-1548504199; ldTd=true; fingerprint=fbdc4f53959cdb4ab268bb0cf23e7b2c189a8b53cad0d297edcd2c514f5a58bbbbd1038ed17ec0aeedcd2c514f5a58bbedcd2c514f5a58bbedcd2c514f5a58bbedcd2c514f5a58bbedcd2c514f5a58bbe20e07d1501e53fa21c0ce59d9de41874de55969cc542da0e22fb9c2db7c54b2edcd2c514f5a58bb730ba2168033a7f4c2eea1e141cd8039b16a1da8531d1945850d3fa1ff34a1ab42ce39ce248a761975196cd41901cc52525fa71314aa02ef101815e2ab761857cadd2994d60616b1854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb99424db0dded4c09; dfp_user_id=64590c6b-2796-cd8e-eea2-8396042ebe87-ver2; _ga=GA1.2.1297485168.1548501978; _gid=GA1.2.720377840.1548501978; lqstatus=1548503178|||; laquesis=; laquesis_ff=; optimizelyEndUserId=oeu1548501980205r0.8879824182217749; __utma=250720985.1297485168.1548501978.1548501980.1548501980.1; __utmb=250720985.3.8.1548502399548; __utmc=250720985; __utmz=250720985.1548501980.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utmt=1; _gat_clientNinja=1

Можно сразу сказать, что добавляется в куках определение fingerprint'a. А вот откуда он берется?..

 

[roma19058]

Походу никто еще не разобрался. Давно мониторю эту тему, либо кто то разобрался но не раскрывает как решил проблему.

 

[Roman*]

Походу никто еще не разобрался. Давно мониторю эту тему, либо кто то разобрался но не раскрывает как решил проблему.

Второй вариант.

 

[z@jivalo]

за 20 мин нашел решение.

очень сложно, пришлось напрягать оставшиеся извилины)

 

[yriy158]

за 20 мин нашел решение.
Посмотреть вложение 38551

очень сложно, пришлось напрягать оставшиеся извилины)

ага, попробуй спарсить пару к номеров)

 

[z@jivalo]

ага, попробуй спарсить пару к номеров)

безусловна olx сайт не простой.
они логику засунули в сами куки, забавно выходит , не скажу что быстро получается но надо много супер качественных проксей если нужна скорость
и огромное кол-во исключения делать

P.S. делал быстро быстро, мне просто интересно стало смогу ли на коленях собрать примитив

 

[yriy158]

безусловна olx сайт не простой.
они логику засунули в сами куки, забавно выходит , не скажу что быстро получается но надо много супер качественных проксей если нужна скорость
и огромное кол-во исключения делать

Посмотреть вложение 38560

P.S. делал быстро быстро, мне просто интересно стало смогу ли на коленях собрать примитив

если через веб-версию на запросах парсил, то там вся загвоздка в параметре sensor_data (по моему, именно так называется), генерируется хз где, а если использовать тот что есть, то этого хватает не на много.

 

[z@jivalo]

да все верно, хватает этой куки на 3-5 запросов я такое не первый раз вижу и крупные сайты стали чаще такое реализовывать.
Все сложнее и сложнее добывать зенномонетку