Парсинг сайта

x_tonic

Client
Регистрация
24.11.2018
Сообщения
25
Благодарностей
1
Баллы
3
Встал перед следующей задачей:
Мне нужно спарсить сайт, собрал нужные ссылки но сайт не позволяет прямого доступа по ссылкам. Если ручками кликаю по ссылки то открывается новое окно, в котором находится информация.
Думал использовать экшен с табами, только проблема что все ссылки сделаны без последовательных параметров, не вижу за что можно зацепится чтоб пройти поочередно по ссылкам.
Подскажите как можно решить этот вопрос или где можно почитать про подход к таким задачам. Спасибо заранее.
 
Последнее редактирование модератором:

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
20 111
Благодарностей
8 981
Баллы
113
Встал перед следующей задачей:
Мне нужно спарсить сайт, собрал нужные ссылки но сайт не позволяет прямого доступа по ссылкам. Если ручками кликаю по ссылки то открывается новое окно, в котором находится информация.
Думал использовать экшен с табами, только проблема что все ссылки сделаны без последовательных параметров, не вижу за что можно зацепится чтоб пройти поочередно по ссылкам.
Подскажите как можно решить этот вопрос или где можно почитать про подход к таким задачам. Спасибо заранее.
Думаю, что без примера сайта и ссылок сложно будет что то подсказать.
 

AnthonyBKK

Client
Регистрация
09.09.2018
Сообщения
3
Благодарностей
1
Баллы
3
А ты с пустым рефом кликаешь?
 
  • Спасибо
Реакции: x_tonic

x_tonic

Client
Регистрация
24.11.2018
Сообщения
25
Благодарностей
1
Баллы
3

orka13

Client
Регистрация
07.05.2015
Сообщения
2 176
Благодарностей
2 179
Баллы
113
Нет. Но ты ошибку правильно вычислил. Спасибо.
Изначально ссылку не правильно в рефер прописал www.domain.ru/cgi-bin/bl_search.pl, после чего сайт капризничает.
При открытии ссылки через кубик используйте в поле "Referrer":
Код:
{-Page.Url-}
Он передаст естественный реферер страницы, которая была до этого открыта в зенке.
 

x_tonic

Client
Регистрация
24.11.2018
Сообщения
25
Благодарностей
1
Баллы
3

one

Client
Регистрация
22.09.2015
Сообщения
6 831
Благодарностей
1 273
Баллы
113
ТС, случайно не дорвей парсите? )
 

one

Client
Регистрация
22.09.2015
Сообщения
6 831
Благодарностей
1 273
Баллы
113

x_tonic

Client
Регистрация
24.11.2018
Сообщения
25
Благодарностей
1
Баллы
3

Кто просматривает тему: (Всего: 3, Пользователи: 0, Гости: 3)