Парсер цен и названия на запросах 600 руб

[qwadra]

Есть сайт https://www.onlinetrade.ru/catalogu...6.2_chernyy_para_gle_426.2_black-1704101.html
У него есть клубная цена, которая видна при клике на Показать клубную цену, либо при регистрации. Нам нужен второй вариант, они иногда отличаются и нужно без WEB.
ТЗ примерно такое:
Загружаем профиль
Берем строку с сылкой из таблицы
Гет запрос (тут самые траблы, у меня он получается только с домашнего IP или с проксями от одного поставщика мобильных проксей, много тестил с другими в ответе приходит шляпа, какая то защита, вроде. Даже с VPN так. Так что надо разбираться с заголовками и прочиними нюансами)
Добавляем в конец (или в другую таблицу, без разницы) Название товара, клубную цену и ссылку

У сайта есть мобильная версия m.onlinetrade.ru если кому то поможет

Спойлер: Товары для примера

/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_s650h_avrs650hbke2-1855946.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_s750h_avrs750hbke2-1855947.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_s950h_avrs950hbke2-1855948.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x1500h_avrx1500hbke2-1492925.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x1600h_avrx1600hbke2-1883303.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x250bt_avrx250btbke2-1447359.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x2600h_avrx2600hbke2-1883302.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x3500h_avrx3500hbke2-1564764.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x3600h_avrx3600hbke2-1883304.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x550bt_avrx550btbke2-1447358.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_dra_800h_serebristyy_dra800hspe2-1871314.html
/catalogue/golovki_zvukosnimatelya-c1333/denon/golovka_zvukosnimatelya_denon_dl_103-1995853.html
/catalogue/golovki_zvukosnimatelya-c1333/denon/golovka_zvukosnimatelya_denon_dsn_85_dlya_denon_dp_300f_00d9410037907_dp300f-168681.html
/catalogue/md_i_cd_proigryvateli-c866/denon/proigryvatel_cd_denon_dcd_600ne_chernyy_dcd600nebke2-1964787.html
/catalogue/md_i_cd_proigryvateli-c866/denon/proigryvatel_cd_denon_dcd_600ne_serebristyy_dcd600nespe2-1964788.html
/catalogue/md_i_cd_proigryvateli-c866/denon/proigryvatel_cd_denon_dcd_800ne_serebristyy_dcd800nespe2-1564769.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_ceol_n10_belyy_ceol_n10_white-1564767.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_ceol_n10_chernyy_ceol_n10_black-1564765.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_ceol_n10_seryy_ceol_n10_gray-1564766.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_ceol_n9_belyy_utsenka_u4_ceol_n9_white_4-1912918.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_d_m41_chernyy_dm41_bl-935407.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_d_t1_chernyy_dt1bke2-1592278.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_d_t1_seryy_dt1gye2-1592279.html
/catalogue/naushniki-c92/denon/besprovodnye_naushniki_denon_ah_gc30_chernyy_ahgc30bkem-1655594.html
/catalogue/naushniki-c92/denon/naushniki_denon_ah_c621r_belyy_ah_c621r_wh-867494.html
/catalogue/naushniki-c92/denon/naushniki_denon_ah_c821_chernyy_ah_c821_bl-1146415.html
/catalogue/naushniki-c92/denon/naushniki_denon_ah_mm400-202561.html
/catalogue/portativnaya_akustika-c311/denon/portativnaya_akustika_denon_envaya_mini_dsb_150bt_chernyy_envaya_dsb_150_black-1324486.html
/catalogue/portativnaya_akustika-c311/denon/portativnaya_akustika_denon_envaya_pocket_dsb_50bt_chernyy_envaya_dsb_50_black-1290260.html
/catalogue/portativnaya_akustika-c311/denon/portativnaya_akustika_denon_heos_1hs2_belyy_heos_1hs2_white-665698.html
/catalogue/portativnaya_akustika-c311/denon/portativnaya_akustika_denon_heos_1hs2_chernyy_heos_1hs2_black-665696.html
/catalogue/proigryvatel_vinila-c264/denon/proigryvatel_vinilovykh_diskov_denon_dp_29f_serebristyy_dp29fe2-108517.html
/catalogue/proigryvatel_vinila-c264/denon/proigryvatel_vinilovykh_diskov_denon_dp_300f_chernyy_dp300fbke2-108519.html
/catalogue/proigryvatel_vinila-c264/denon/proigryvatel_vinilovykh_diskov_denon_dp_400_belyy_dp400wtem-1687298.html
/catalogue/proigryvatel_vinila-c264/denon/proigryvatel_vinilovykh_diskov_denon_dp_400_chernyy_dp400bkem-1555090.html
/catalogue/proigryvatel_vinila-c264/denon/proigryvatel_vinilovykh_diskov_denon_dp_450usb_belyy_dp450usbwtem-1687299.html
/catalogue/setevye_audiopleery-c552/denon/setevoy_audiopleer_denon_dnp_800ne_chernyy_dnp800nebke2-1564770.html
/catalogue/setevye_audiopleery-c552/denon/setevoy_audiopleer_denon_dnp_800ne_serebristyy_dnp800nespe2-1564771.html
/catalogue/usiliteli_moshchnosti-c3524/denon/integralnyy_usilitel_denon_pma_600ne_chernyy_pma600nebke2-1964785.html
/catalogue/usiliteli_moshchnosti-c3524/denon/integralnyy_usilitel_denon_pma_600ne_serebristyy_pma600nespe2-1964786.html
/catalogue/usiliteli_moshchnosti-c3524/denon/integralnyy_usilitel_denon_pma_800ne_chernyy_pma800nebke2-1564772.html
/catalogue/usiliteli_moshchnosti-c3524/denon/integralnyy_usilitel_denon_pma_800ne_serebristyy_pma800nespe2-1564773.html
/catalogue/zvukovye_paneli_saundbary-c1341/denon/saundbar_denon_dht_s316_dht_s316bke2-1614696.html

 

[qwadra]

До 31 декабря 1000 руб

 

[Шива]

подожду 65 декабря

 

[radv]

До 31 декабря 1000 руб

После дороже? Тогда подождем ))

 

[qwadra]

Сам сделал, не актуально

 

[deskuznetsov]

Сам сделал, не актуально

с любыми проксями работает в итоге?

 

[qwadra]

с любыми проксями работает в итоге?

Нет, без прокси или с мобильными от Аэропрокси

 

[DeMoH]

сомневаюсь что кто то будет делать за 1000 рублей обход защиты )))

 

[qwadra]

сомневаюсь что кто то будет делать за 1000 рублей обход защиты )))

На тот момент я думал что найдется какой то чувак, который с помощью заголовков или еще чего то в легкую это обойдет. А если косяк только в этом то 1000 нормальная цена за этот обрубок шаблона

 

[DeMoH]

На тот момент я думал что найдется какой то чувак, который с помощью заголовков или еще чего то в легкую это обойдет. А если косяк только в этом то 1000 нормальная цена за этот обрубок шаблона

только если обойдут на запросах эту защиту для этого сайта смогут парсить многие шопы )))

 

[qwadra]

только если обойдут на запросах эту защиту для этого сайта смогут парсить многие шопы )))

Да кому он нужен особо, это же не социальная сеть. Но хотел бы понять их защиту, далеко не все мобильные прокси канают.

 

[DeMoH]

Да кому он нужен особо, это же не социальная сеть. Но хотел бы понять их защиту, далеко не все мобильные прокси канают.

ну сделай себе на зенке через браузер заморочек будет 0 и так же в 10 потоков работай
если как ты пример дал там особо сложного нету

 

[qwadra]

ну сделай себе на зенке через браузер заморочек будет 0 и так же в 10 потоков работай
если как ты пример дал там особо сложного нету

Через браузер часто страница не загружалсь, то ли зенопостер глючит как обычно, то ли защита

 

[specialist]

Но хотел бы понять их защиту

Безопасность и развитие ваших web-ресурсов

Уникальные решения по защите от ботов и DDoS-атак для веб-сайтов и API, которые позволят привлечь новых клиентов и повысить лояльность существующих.

variti.com

HTTP/1.1 200 OK
Server: nginx
...
X-VARITI-CCR: ....