Обойти защиту Olx

Gor

Client
Регистрация
30.09.2016
Сообщения
249
Благодарностей
30
Баллы
28
Приветствую, ребята!
С недавнего времени на olx.ua перестала работать схема сбора номеров на запросах:
После отправки второго запроса olx говорит, что мы в бане.
Кто разбирался уже?
Во втором запросе отправляются куки вида:
Код:
// Куки из 1 запроса
PHPSESSID=5ac199595eda9d8dd2c29edb83a0baad833471e6; mobile_default=desktop; dfp_segment_test_v3=62; dfp_segment_test=58; dfp_segment_test_v4=13; lister_lifecycle=1548501981; pt=d98c3fcaa5512b16c5698b78999778127acf58b4e367f087da5bca9f7cda28c6fcb04bd34bf67758915f37b09541bd5f753bcf2f8efed4c63387cabb19d5959d; ak_bmsc=2D9B5AEDADA8327EF0B608A5C9C8AD85601194DDC10A0000DD434C5CFE0B7567~plexTyFZtGkY/OAGPiufAcpLZapm+t0waS/2lGcHbB8sxeLbIfPWW1dgL3rveyjOPpEu9IrZOr6neiIvB9x8vcJxNOotthP1NjUWmFUbDcBze5+FoRNxuN5AdQJUUkY/HYCiHwUZQ2/xL+GF9JAIzKebYzm29tJIEGz9duQFgZtdGzUXL0PddTp5Z5dCxH9JMivZIXVMKja0Mzx0JLgsa0LPqa/JQevs/uwrlViBzJqHL3k5HJTmi9ik9YP/sCL3Mu; _abck=23A16F9A0F9ECCC60967D46A6AA51A58601194DDC10A0000DD434C5CD1505C5B~0~rdHvu2SqzynQZ8ldXlmB8tx9Kt85cExefbBMK4uH0E8=~-1~-1; bm_sz=893CC98935965BFC09A973FA0DFD5ACB~QAAQ3ZQRYBeCc/tmAQAA5BnpiWhZg7QToGF764Nu5dSavaFgV8HeWrZzL1YILsoX5VZf9Xp6jh7GOL8fTpwmLd7L+8MdO1KayRUGwAAtnX/Z+Fb5kfh6nT0XIerRkcp182N0WWpIps3UQH6OTKYgTRBz8MI3EJdA/gSUBpdKI9tYdrPN122Azc0GZJ+b9E8=;

// Дополнительные куки:
used_adblock=adblock_disabled; onap=16889e8fc7cx17d95f1e-1-16889e8fc7cx17d95f1e-6-1548504199; ldTd=true; fingerprint=fbdc4f53959cdb4ab268bb0cf23e7b2c189a8b53cad0d297edcd2c514f5a58bbbbd1038ed17ec0aeedcd2c514f5a58bbedcd2c514f5a58bbedcd2c514f5a58bbedcd2c514f5a58bbedcd2c514f5a58bbe20e07d1501e53fa21c0ce59d9de41874de55969cc542da0e22fb9c2db7c54b2edcd2c514f5a58bb730ba2168033a7f4c2eea1e141cd8039b16a1da8531d1945850d3fa1ff34a1ab42ce39ce248a761975196cd41901cc52525fa71314aa02ef101815e2ab761857cadd2994d60616b1854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb99424db0dded4c09; dfp_user_id=64590c6b-2796-cd8e-eea2-8396042ebe87-ver2; _ga=GA1.2.1297485168.1548501978; _gid=GA1.2.720377840.1548501978; lqstatus=1548503178|||; laquesis=; laquesis_ff=; optimizelyEndUserId=oeu1548501980205r0.8879824182217749; __utma=250720985.1297485168.1548501978.1548501980.1548501980.1; __utmb=250720985.3.8.1548502399548; __utmc=250720985; __utmz=250720985.1548501980.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utmt=1; _gat_clientNinja=1
Можно сразу сказать, что добавляется в куках определение fingerprint'a. А вот откуда он берется?..
 

roma19058

Client
Регистрация
05.10.2018
Сообщения
10
Благодарностей
5
Баллы
3
Походу никто еще не разобрался. Давно мониторю эту тему, либо кто то разобрался но не раскрывает как решил проблему.
 

Roman*

Client
Регистрация
25.09.2013
Сообщения
1 657
Благодарностей
656
Баллы
113
  • Спасибо
Реакции: roma19058

z@jivalo

Client
Регистрация
27.12.2016
Сообщения
800
Благодарностей
179
Баллы
43
за 20 мин нашел решение.
upload_2019-5-10_0-3-3.png


очень сложно, пришлось напрягать оставшиеся извилины)
 

yriy158

Client
Регистрация
10.08.2013
Сообщения
490
Благодарностей
302
Баллы
63

z@jivalo

Client
Регистрация
27.12.2016
Сообщения
800
Благодарностей
179
Баллы
43
ага, попробуй спарсить пару к номеров)
безусловна olx сайт не простой.
они логику засунули в сами куки, забавно выходит , не скажу что быстро получается но надо много супер качественных проксей если нужна скорость
и огромное кол-во исключения делать

upload_2019-5-10_1-53-6.png


P.S. делал быстро быстро, мне просто интересно стало смогу ли на коленях собрать примитив
 

yriy158

Client
Регистрация
10.08.2013
Сообщения
490
Благодарностей
302
Баллы
63
безусловна olx сайт не простой.
они логику засунули в сами куки, забавно выходит , не скажу что быстро получается но надо много супер качественных проксей если нужна скорость
и огромное кол-во исключения делать

Посмотреть вложение 38560

P.S. делал быстро быстро, мне просто интересно стало смогу ли на коленях собрать примитив
если через веб-версию на запросах парсил, то там вся загвоздка в параметре sensor_data (по моему, именно так называется), генерируется хз где, а если использовать тот что есть, то этого хватает не на много.
 

z@jivalo

Client
Регистрация
27.12.2016
Сообщения
800
Благодарностей
179
Баллы
43
да все верно, хватает этой куки на 3-5 запросов я такое не первый раз вижу и крупные сайты стали чаще такое реализовывать.
Все сложнее и сложнее добывать зенномонетку
 

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)