Обойти защиту Olx

Gor

Client
Joined
Sep 30, 2016
Messages
250
Reaction score
30
Points
28
Приветствую, ребята!
С недавнего времени на olx.ua перестала работать схема сбора номеров на запросах:
После отправки второго запроса olx говорит, что мы в бане.
Кто разбирался уже?
Во втором запросе отправляются куки вида:
Code:
// Куки из 1 запроса
PHPSESSID=5ac199595eda9d8dd2c29edb83a0baad833471e6; mobile_default=desktop; dfp_segment_test_v3=62; dfp_segment_test=58; dfp_segment_test_v4=13; lister_lifecycle=1548501981; pt=d98c3fcaa5512b16c5698b78999778127acf58b4e367f087da5bca9f7cda28c6fcb04bd34bf67758915f37b09541bd5f753bcf2f8efed4c63387cabb19d5959d; ak_bmsc=2D9B5AEDADA8327EF0B608A5C9C8AD85601194DDC10A0000DD434C5CFE0B7567~plexTyFZtGkY/OAGPiufAcpLZapm+t0waS/2lGcHbB8sxeLbIfPWW1dgL3rveyjOPpEu9IrZOr6neiIvB9x8vcJxNOotthP1NjUWmFUbDcBze5+FoRNxuN5AdQJUUkY/HYCiHwUZQ2/xL+GF9JAIzKebYzm29tJIEGz9duQFgZtdGzUXL0PddTp5Z5dCxH9JMivZIXVMKja0Mzx0JLgsa0LPqa/JQevs/uwrlViBzJqHL3k5HJTmi9ik9YP/sCL3Mu; _abck=23A16F9A0F9ECCC60967D46A6AA51A58601194DDC10A0000DD434C5CD1505C5B~0~rdHvu2SqzynQZ8ldXlmB8tx9Kt85cExefbBMK4uH0E8=~-1~-1; bm_sz=893CC98935965BFC09A973FA0DFD5ACB~QAAQ3ZQRYBeCc/tmAQAA5BnpiWhZg7QToGF764Nu5dSavaFgV8HeWrZzL1YILsoX5VZf9Xp6jh7GOL8fTpwmLd7L+8MdO1KayRUGwAAtnX/Z+Fb5kfh6nT0XIerRkcp182N0WWpIps3UQH6OTKYgTRBz8MI3EJdA/gSUBpdKI9tYdrPN122Azc0GZJ+b9E8=;

// Дополнительные куки:
used_adblock=adblock_disabled; onap=16889e8fc7cx17d95f1e-1-16889e8fc7cx17d95f1e-6-1548504199; ldTd=true; fingerprint=fbdc4f53959cdb4ab268bb0cf23e7b2c189a8b53cad0d297edcd2c514f5a58bbbbd1038ed17ec0aeedcd2c514f5a58bbedcd2c514f5a58bbedcd2c514f5a58bbedcd2c514f5a58bbedcd2c514f5a58bbe20e07d1501e53fa21c0ce59d9de41874de55969cc542da0e22fb9c2db7c54b2edcd2c514f5a58bb730ba2168033a7f4c2eea1e141cd8039b16a1da8531d1945850d3fa1ff34a1ab42ce39ce248a761975196cd41901cc52525fa71314aa02ef101815e2ab761857cadd2994d60616b1854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb854360a07fd48fdb99424db0dded4c09; dfp_user_id=64590c6b-2796-cd8e-eea2-8396042ebe87-ver2; _ga=GA1.2.1297485168.1548501978; _gid=GA1.2.720377840.1548501978; lqstatus=1548503178|||; laquesis=; laquesis_ff=; optimizelyEndUserId=oeu1548501980205r0.8879824182217749; __utma=250720985.1297485168.1548501978.1548501980.1548501980.1; __utmb=250720985.3.8.1548502399548; __utmc=250720985; __utmz=250720985.1548501980.1.1.utmcsr=(direct)|utmccn=(direct)|utmcmd=(none); __utmt=1; _gat_clientNinja=1
Можно сразу сказать, что добавляется в куках определение fingerprint'a. А вот откуда он берется?..
 

roma19058

Client
Joined
Oct 5, 2018
Messages
10
Reaction score
5
Points
3
Походу никто еще не разобрался. Давно мониторю эту тему, либо кто то разобрался но не раскрывает как решил проблему.
 

Roman*

Client
Joined
Sep 25, 2013
Messages
1,664
Reaction score
668
Points
113
Походу никто еще не разобрался. Давно мониторю эту тему, либо кто то разобрался но не раскрывает как решил проблему.
Второй вариант.
 
  • Thank you
Reactions: roma19058

z@jivalo

Client
Joined
Dec 27, 2016
Messages
800
Reaction score
181
Points
43
за 20 мин нашел решение.
upload_2019-5-10_0-3-3.png


очень сложно, пришлось напрягать оставшиеся извилины)
 

yriy158

Client
Joined
Aug 10, 2013
Messages
490
Reaction score
302
Points
63
за 20 мин нашел решение.
View attachment 38551

очень сложно, пришлось напрягать оставшиеся извилины)
ага, попробуй спарсить пару к номеров)
 

z@jivalo

Client
Joined
Dec 27, 2016
Messages
800
Reaction score
181
Points
43
ага, попробуй спарсить пару к номеров)
безусловна olx сайт не простой.
они логику засунули в сами куки, забавно выходит , не скажу что быстро получается но надо много супер качественных проксей если нужна скорость
и огромное кол-во исключения делать

upload_2019-5-10_1-53-6.png


P.S. делал быстро быстро, мне просто интересно стало смогу ли на коленях собрать примитив
 

yriy158

Client
Joined
Aug 10, 2013
Messages
490
Reaction score
302
Points
63
безусловна olx сайт не простой.
они логику засунули в сами куки, забавно выходит , не скажу что быстро получается но надо много супер качественных проксей если нужна скорость
и огромное кол-во исключения делать

View attachment 38560

P.S. делал быстро быстро, мне просто интересно стало смогу ли на коленях собрать примитив
если через веб-версию на запросах парсил, то там вся загвоздка в параметре sensor_data (по моему, именно так называется), генерируется хз где, а если использовать тот что есть, то этого хватает не на много.
 

z@jivalo

Client
Joined
Dec 27, 2016
Messages
800
Reaction score
181
Points
43
да все верно, хватает этой куки на 3-5 запросов я такое не первый раз вижу и крупные сайты стали чаще такое реализовывать.
Все сложнее и сложнее добывать зенномонетку
 

Users Who Are Viewing This Thread (Total: 1, Members: 0, Guests: 1)