GET запрос, нужна помощь.

[chazer24]

Ребят, кто с запросами работает, пробую понять что к чему, нашел пару видео уроков. Как я понял на сайте с которым собираешься работать через GET запрос нужно искать информацию по работе через API как например с ВК. На том сайте, с которым я работаю во первых всё не по русски написано, во вторых я не нашел там ни одного упоминания про работу через API. Получается что ещё не с каждым сайтом можно работать через запрос?

Задача на самом деле простая, собрать ID пользователей со страницы, через DOM это сделать легко, но получается очень долго, что бы собрать тыс 10 айдишников, мне приходится работать через "Эмуляцию клавиатуры" прописав внутри {DOWN}{DOWN}{DOWN}{DOWN} что бы страница прогрузила всех пользователей до конца и только потом собрать их ID регуляркой.. На сбор 15-20 тыс уходит около полу часа(( Вот и взялся за парсинг через GET но пока безуспешно. Может есть какой то другой вариант сбора данных? Либо я не до конца вьезжаю через запросы, пробовал собрать через GET содержимое, тексты, итд, но ID в этих данных не передаются..

 

[chazer24]

К примеру просто собрать ссылки на посты со страницы: https://www.tumblr.com/explore/photos Нужно долго листать в низ что бы собрать пару тысяч ссылок.

 

[chazer24]

Испробовал ещё один вариант парсинга, через конструктор действий нашел нужный элемент, спарсил - вытащил нужное регуляркой - записал в файл. Производительность парсинга 40 значений в минуту. До пенсии можно парсить один сайт)

 

[doc]

апи это запросы, но запросы - не обязательно апи. Запросы, это когда ты повторяешь действия браузера, но без браузера, напрямую отправляя что-то куда-то

 

[chazer24]

апи это запросы, но запросы - не обязательно апи. Запросы, это когда ты повторяешь действия браузера, но без браузера, напрямую отправляя что-то куда-то

Я понял это, но мне не приходят нужные значения в ответе, которые и вижу в коде страницы через DOM. Я вообще сперва подумал что GET запрос отправляет полностью весь код со страницы, а он как то поверхностно берет чтоли..

 

[doc]

Я понял это, но мне не приходят нужные значения в ответе, которые и вижу в коде страницы через DOM. Я вообще сперва подумал что GET запрос отправляет полностью весь код со страницы, а он как то поверхностно берет чтоли..

веб несколько сложнее устроен. 1 запрос может подгрузить част данных, какие-то скрипты. Скрипты отправят новые запросы и получат ещё какие-то данные. Всё это нужно анализировать через сниффер. Что куда отправляется, что приходит в ответе, что куда отправляется после, если отправляется

 

[chazer24]

веб несколько сложнее устроен. 1 запрос может подгрузить част данных, какие-то скрипты. Скрипты отправят новые запросы и получат ещё какие-то данные. Всё это нужно анализировать через сниффер. Что куда отправляется, что приходит в ответе, что куда отправляется после, если отправляется

Ясно, не всё так просто оказывается)

 

[masterLomaster]

Я понял это, но мне не приходят нужные значения в ответе, которые и вижу в коде страницы через DOM. Я вообще сперва подумал что GET запрос отправляет полностью весь код со страницы, а он как то поверхностно берет чтоли..

http://zennolab.com/discussion/threads/rabota-s-api-i-post-get-na-primere-vk-com.23796/

 

[masterLomaster]

Ясно, не всё так просто оказывается)

http://www.codenet.ru/webmast/php/http-post.php