Парсер цен и названия на запросах 600 руб

qwadra

Client
Регистрация
21.11.2017
Сообщения
264
Благодарностей
42
Баллы
28
Есть сайт https://www.onlinetrade.ru/catalogue/akusticheskie_sistemy-c1225/canton/polochnaya_akusticheskaya_sistema_canton_gle_426.2_chernyy_para_gle_426.2_black-1704101.html
У него есть клубная цена, которая видна при клике на Показать клубную цену, либо при регистрации. Нам нужен второй вариант, они иногда отличаются и нужно без WEB.
ТЗ примерно такое:
Загружаем профиль
Берем строку с сылкой из таблицы
Гет запрос (тут самые траблы, у меня он получается только с домашнего IP или с проксями от одного поставщика мобильных проксей, много тестил с другими в ответе приходит шляпа, какая то защита, вроде. Даже с VPN так. Так что надо разбираться с заголовками и прочиними нюансами)
Добавляем в конец (или в другую таблицу, без разницы) Название товара, клубную цену и ссылку

У сайта есть мобильная версия m.onlinetrade.ru если кому то поможет

/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_s650h_avrs650hbke2-1855946.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_s750h_avrs750hbke2-1855947.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_s950h_avrs950hbke2-1855948.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x1500h_avrx1500hbke2-1492925.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x1600h_avrx1600hbke2-1883303.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x250bt_avrx250btbke2-1447359.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x2600h_avrx2600hbke2-1883302.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x3500h_avrx3500hbke2-1564764.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x3600h_avrx3600hbke2-1883304.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_avr_x550bt_avrx550btbke2-1447358.html
/catalogue/av_resivery-c365/denon/resiver_av_denon_dra_800h_serebristyy_dra800hspe2-1871314.html
/catalogue/golovki_zvukosnimatelya-c1333/denon/golovka_zvukosnimatelya_denon_dl_103-1995853.html
/catalogue/golovki_zvukosnimatelya-c1333/denon/golovka_zvukosnimatelya_denon_dsn_85_dlya_denon_dp_300f_00d9410037907_dp300f-168681.html
/catalogue/md_i_cd_proigryvateli-c866/denon/proigryvatel_cd_denon_dcd_600ne_chernyy_dcd600nebke2-1964787.html
/catalogue/md_i_cd_proigryvateli-c866/denon/proigryvatel_cd_denon_dcd_600ne_serebristyy_dcd600nespe2-1964788.html
/catalogue/md_i_cd_proigryvateli-c866/denon/proigryvatel_cd_denon_dcd_800ne_serebristyy_dcd800nespe2-1564769.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_ceol_n10_belyy_ceol_n10_white-1564767.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_ceol_n10_chernyy_ceol_n10_black-1564765.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_ceol_n10_seryy_ceol_n10_gray-1564766.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_ceol_n9_belyy_utsenka_u4_ceol_n9_white_4-1912918.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_d_m41_chernyy_dm41_bl-935407.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_d_t1_chernyy_dt1bke2-1592278.html
/catalogue/muzykalnye_tsentry_i_minisistemy-c96/denon/muzykalnyy_tsentr_denon_d_t1_seryy_dt1gye2-1592279.html
/catalogue/naushniki-c92/denon/besprovodnye_naushniki_denon_ah_gc30_chernyy_ahgc30bkem-1655594.html
/catalogue/naushniki-c92/denon/naushniki_denon_ah_c621r_belyy_ah_c621r_wh-867494.html
/catalogue/naushniki-c92/denon/naushniki_denon_ah_c821_chernyy_ah_c821_bl-1146415.html
/catalogue/naushniki-c92/denon/naushniki_denon_ah_mm400-202561.html
/catalogue/portativnaya_akustika-c311/denon/portativnaya_akustika_denon_envaya_mini_dsb_150bt_chernyy_envaya_dsb_150_black-1324486.html
/catalogue/portativnaya_akustika-c311/denon/portativnaya_akustika_denon_envaya_pocket_dsb_50bt_chernyy_envaya_dsb_50_black-1290260.html
/catalogue/portativnaya_akustika-c311/denon/portativnaya_akustika_denon_heos_1hs2_belyy_heos_1hs2_white-665698.html
/catalogue/portativnaya_akustika-c311/denon/portativnaya_akustika_denon_heos_1hs2_chernyy_heos_1hs2_black-665696.html
/catalogue/proigryvatel_vinila-c264/denon/proigryvatel_vinilovykh_diskov_denon_dp_29f_serebristyy_dp29fe2-108517.html
/catalogue/proigryvatel_vinila-c264/denon/proigryvatel_vinilovykh_diskov_denon_dp_300f_chernyy_dp300fbke2-108519.html
/catalogue/proigryvatel_vinila-c264/denon/proigryvatel_vinilovykh_diskov_denon_dp_400_belyy_dp400wtem-1687298.html
/catalogue/proigryvatel_vinila-c264/denon/proigryvatel_vinilovykh_diskov_denon_dp_400_chernyy_dp400bkem-1555090.html
/catalogue/proigryvatel_vinila-c264/denon/proigryvatel_vinilovykh_diskov_denon_dp_450usb_belyy_dp450usbwtem-1687299.html
/catalogue/setevye_audiopleery-c552/denon/setevoy_audiopleer_denon_dnp_800ne_chernyy_dnp800nebke2-1564770.html
/catalogue/setevye_audiopleery-c552/denon/setevoy_audiopleer_denon_dnp_800ne_serebristyy_dnp800nespe2-1564771.html
/catalogue/usiliteli_moshchnosti-c3524/denon/integralnyy_usilitel_denon_pma_600ne_chernyy_pma600nebke2-1964785.html
/catalogue/usiliteli_moshchnosti-c3524/denon/integralnyy_usilitel_denon_pma_600ne_serebristyy_pma600nespe2-1964786.html
/catalogue/usiliteli_moshchnosti-c3524/denon/integralnyy_usilitel_denon_pma_800ne_chernyy_pma800nebke2-1564772.html
/catalogue/usiliteli_moshchnosti-c3524/denon/integralnyy_usilitel_denon_pma_800ne_serebristyy_pma800nespe2-1564773.html
/catalogue/zvukovye_paneli_saundbary-c1341/denon/saundbar_denon_dht_s316_dht_s316bke2-1614696.html
 

qwadra

Client
Регистрация
21.11.2017
Сообщения
264
Благодарностей
42
Баллы
28

Шива

Client
Регистрация
05.02.2018
Сообщения
1 088
Благодарностей
341
Баллы
83
подожду 65 декабря
47347
 

radv

Client
Регистрация
11.05.2015
Сообщения
3 788
Благодарностей
1 952
Баллы
113

qwadra

Client
Регистрация
21.11.2017
Сообщения
264
Благодарностей
42
Баллы
28

deskuznetsov

Client
Регистрация
29.08.2019
Сообщения
528
Благодарностей
363
Баллы
63

qwadra

Client
Регистрация
21.11.2017
Сообщения
264
Благодарностей
42
Баллы
28

DeMoH

Client
Регистрация
25.03.2018
Сообщения
311
Благодарностей
37
Баллы
28
:-)сомневаюсь что кто то будет делать за 1000 рублей обход защиты )))
 

qwadra

Client
Регистрация
21.11.2017
Сообщения
264
Благодарностей
42
Баллы
28
:-)сомневаюсь что кто то будет делать за 1000 рублей обход защиты )))
На тот момент я думал что найдется какой то чувак, который с помощью заголовков или еще чего то в легкую это обойдет. А если косяк только в этом то 1000 нормальная цена за этот обрубок шаблона
 

DeMoH

Client
Регистрация
25.03.2018
Сообщения
311
Благодарностей
37
Баллы
28
На тот момент я думал что найдется какой то чувак, который с помощью заголовков или еще чего то в легкую это обойдет. А если косяк только в этом то 1000 нормальная цена за этот обрубок шаблона
только если обойдут на запросах эту защиту для этого сайта смогут парсить многие шопы )))
 

qwadra

Client
Регистрация
21.11.2017
Сообщения
264
Благодарностей
42
Баллы
28
только если обойдут на запросах эту защиту для этого сайта смогут парсить многие шопы )))
Да кому он нужен особо, это же не социальная сеть. Но хотел бы понять их защиту, далеко не все мобильные прокси канают.
 

DeMoH

Client
Регистрация
25.03.2018
Сообщения
311
Благодарностей
37
Баллы
28
Да кому он нужен особо, это же не социальная сеть. Но хотел бы понять их защиту, далеко не все мобильные прокси канают.
ну сделай себе на зенке через браузер заморочек будет 0 и так же в 10 потоков работай
если как ты пример дал там особо сложного нету
 

qwadra

Client
Регистрация
21.11.2017
Сообщения
264
Благодарностей
42
Баллы
28
ну сделай себе на зенке через браузер заморочек будет 0 и так же в 10 потоков работай
если как ты пример дал там особо сложного нету
Через браузер часто страница не загружалсь, то ли зенопостер глючит как обычно, то ли защита
 

specialist

Client
Регистрация
28.12.2018
Сообщения
732
Благодарностей
343
Баллы
63
Но хотел бы понять их защиту

Код:
HTTP/1.1 200 OK
Server: nginx
...
X-VARITI-CCR: ....
 

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)