GET запрос, нужна помощь.

chazer24

Активный пользователь
Joined
Mar 26, 2016
Messages
271
Reaction score
49
Points
28
Ребят, кто с запросами работает, пробую понять что к чему, нашел пару видео уроков. Как я понял на сайте с которым собираешься работать через GET запрос нужно искать информацию по работе через API как например с ВК. На том сайте, с которым я работаю во первых всё не по русски написано, во вторых я не нашел там ни одного упоминания про работу через API. Получается что ещё не с каждым сайтом можно работать через запрос?

Задача на самом деле простая, собрать ID пользователей со страницы, через DOM это сделать легко, но получается очень долго, что бы собрать тыс 10 айдишников, мне приходится работать через "Эмуляцию клавиатуры" прописав внутри {DOWN}{DOWN}{DOWN}{DOWN} что бы страница прогрузила всех пользователей до конца и только потом собрать их ID регуляркой.. На сбор 15-20 тыс уходит около полу часа(( Вот и взялся за парсинг через GET но пока безуспешно. Может есть какой то другой вариант сбора данных? Либо я не до конца вьезжаю через запросы, пробовал собрать через GET содержимое, тексты, итд, но ID в этих данных не передаются..
 

chazer24

Активный пользователь
Joined
Mar 26, 2016
Messages
271
Reaction score
49
Points
28
К примеру просто собрать ссылки на посты со страницы: https://www.tumblr.com/explore/photos Нужно долго листать в низ что бы собрать пару тысяч ссылок.
 

chazer24

Активный пользователь
Joined
Mar 26, 2016
Messages
271
Reaction score
49
Points
28
Испробовал ещё один вариант парсинга, через конструктор действий нашел нужный элемент, спарсил - вытащил нужное регуляркой - записал в файл. Производительность парсинга 40 значений в минуту. До пенсии можно парсить один сайт)


 

doc

Client
Joined
Mar 30, 2012
Messages
8,685
Reaction score
4,648
Points
113
апи это запросы, но запросы - не обязательно апи. Запросы, это когда ты повторяешь действия браузера, но без браузера, напрямую отправляя что-то куда-то
 

chazer24

Активный пользователь
Joined
Mar 26, 2016
Messages
271
Reaction score
49
Points
28
апи это запросы, но запросы - не обязательно апи. Запросы, это когда ты повторяешь действия браузера, но без браузера, напрямую отправляя что-то куда-то
Я понял это, но мне не приходят нужные значения в ответе, которые и вижу в коде страницы через DOM. Я вообще сперва подумал что GET запрос отправляет полностью весь код со страницы, а он как то поверхностно берет чтоли..
 

doc

Client
Joined
Mar 30, 2012
Messages
8,685
Reaction score
4,648
Points
113
Я понял это, но мне не приходят нужные значения в ответе, которые и вижу в коде страницы через DOM. Я вообще сперва подумал что GET запрос отправляет полностью весь код со страницы, а он как то поверхностно берет чтоли..
веб несколько сложнее устроен. 1 запрос может подгрузить част данных, какие-то скрипты. Скрипты отправят новые запросы и получат ещё какие-то данные. Всё это нужно анализировать через сниффер. Что куда отправляется, что приходит в ответе, что куда отправляется после, если отправляется
 

chazer24

Активный пользователь
Joined
Mar 26, 2016
Messages
271
Reaction score
49
Points
28
веб несколько сложнее устроен. 1 запрос может подгрузить част данных, какие-то скрипты. Скрипты отправят новые запросы и получат ещё какие-то данные. Всё это нужно анализировать через сниффер. Что куда отправляется, что приходит в ответе, что куда отправляется после, если отправляется
Ясно, не всё так просто оказывается)
 
Joined
Jul 8, 2015
Messages
2,848
Reaction score
712
Points
113
Я понял это, но мне не приходят нужные значения в ответе, которые и вижу в коде страницы через DOM. Я вообще сперва подумал что GET запрос отправляет полностью весь код со страницы, а он как то поверхностно берет чтоли..
http://zennolab.com/discussion/threads/rabota-s-api-i-post-get-na-primere-vk-com.23796/
 
Joined
Jul 8, 2015
Messages
2,848
Reaction score
712
Points
113

Users Who Are Viewing This Thread (Total: 0, Members: 0, Guests: 0)