Парсинг instagram

D

darknight

Client
Регистрация
28.09.2013
Сообщения
103
Реакции
4
Баллы
18
Добрый день.
Некоторое время назад инстаграмм изменил свой API и теперь требуется X-Instagram-GIS. Как я понял, это MD5 хешсумма и состоит она из rhx_gis и переменных запроса. Но вот подобрать правильно эти переменные, чтоб получилась правильная хешсумма у меня не выходит. Может кто может помочь разобраться с этой бедой или уже столкнулся и есть решение?
Заранее спасибо.
 
Код:
Развернуть Свернуть Копировать 
preg_match_all('~<script type="text/javascript">window._sharedData = (.*?);</script>~is'
$sharedData = json_decode($m[1][0], true);

$csrf_token = $sharedData['config']['csrf_token']
 
itserviceinс написал(а):
Код:
Развернуть Свернуть Копировать 
preg_match_all('~<script type="text/javascript">window._sharedData = (.*?);</script>~is'
$sharedData = json_decode($m[1][0], true);

$csrf_token = $sharedData['config']['csrf_token']
Нажмите для раскрытия...
Если не сложно, можно в краце - что это и с чем едят?
 
Листание поиска get запросами.
Нужно получить порядка 50к результатов. Вебом "скроллить" вниз такое количество нереально. Полгода назад еще, не было проблем получать и 500к, текущие апдейты осилить не могу.
 
Пишу это для тех, кто не понимает откуда все-таки берется X-Instagram-GIS и так же как и я, плохо читает буржуйские форумы программистов. Покажу на наглядном примере:
1)Открываете любой сниффер
2)Грузите любое фото, например: https://www.instagram.com/p/BplmK_fj1HB/ - это первый запрос
3)Далее нажимаете кнопку: "Загрузить еще комментарии" и смотрите Get запрос. Там то и появляется X-Instagram-GIS, а сам url будет выглядеть примерно так:
Код:
Развернуть Свернуть Копировать 
https://www.instagram.com/graphql/query/?query_hash=f0986789a5c5d17c2400faebf16efd0d&variables=%7B%22shortcode%22%3A%22BplmK_fj1HB%22%2C%22first%22%3A34%2C%22after%22%3A%22QVFBbTBVWS04UU9RR1BUTnZfV1FLRzZ2Z1E2NGVZQ2JRalpoRDYxazdCcWYycW9VTVZkN1FuZHhCZEhTVUVDSW93LU5TSVdYbk1NLUlySVlQMHUzcjlObA%3D%3D%22%7D
- это второй запрос
4)Из содержимого ответа на первый запрос парсите rhx_gis, получите примерно это: 4e60f00c4f846e6f8b7d0a4f75c66015
5)Декодируете url второго запроса (urldecode) и парсите все, что идет после variables=, получится примерно такая строка:
Код:
Развернуть Свернуть Копировать 
{"shortcode":"BplmK_fj1HB","first":34,"after":"QVFBbTBVWS04UU9RR1BUTnZfV1FLRzZ2Z1E2NGVZQ2JRalpoRDYxazdCcWYycW9VTVZkN1FuZHhCZEhTVUVDSW93LU5TSVdYbk1NLUlySVlQMHUzcjlObA=="}
6)Наконец-то получаем хеш сумму MD5 вот такой строки:
Код:
Развернуть Свернуть Копировать 
4e60f00c4f846e6f8b7d0a4f75c66015:{"shortcode":"BplmK_fj1HB","first":34,"after":"QVFBbTBVWS04UU9RR1BUTnZfV1FLRzZ2Z1E2NGVZQ2JRalpoRDYxazdCcWYycW9VTVZkN1FuZHhCZEhTVUVDSW93LU5TSVdYbk1NLUlySVlQMHUzcjlObA=="}
Сделать это можно здесь или вот таким сниппетом:
Код:
Развернуть Свернуть Копировать 
string input = @"4e60f00c4f846e6f8b7d0a4f75c66015:{""shortcode"":""BplmK_fj1HB"",""first"":34,""after"":""QVFBbTBVWS04UU9RR1BUTnZfV1FLRzZ2Z1E2NGVZQ2JRalpoRDYxazdCcWYycW9VTVZkN1FuZHhCZEhTVUVDSW93LU5TSVdYbk1NLUlySVlQMHUzcjlObA==""}"; //заданая строка
// Md5 хеш
System.Security.Cryptography.MD5 md5Hasher = System.Security.Cryptography.MD5.Create();
byte[] data = md5Hasher.ComputeHash(Encoding.Default.GetBytes(input));
StringBuilder md5hash = new StringBuilder();
for (int i = 0; i < data.Length; i++)
{
    md5hash.Append(data[i].ToString("x2"));
}
//Возвращаем MD5 хеш для строки
return md5hash.ToString();
Сравниваем результат с значением из сниффера и радуемся жизни:-) Другими словами, X-Instagram-GIS - это md5 хеш строки rhx_gis:queryVariables. Откуда взять все остальные значения вы должны разобраться сами, я и так всегда мечтал, что бы ответ на мой вопрос был настолько разжеван:D
 
  • Спасибо
Реакции: artem1024, Raids, surok1234 и 2 других
Я ничего не понял, но лайк поставил :)
 
Жесть какая. Может кто это все замутить за бабло?
 
Tsuk15 написал(а):
Пишу это для тех, кто не понимает откуда все-таки берется X-Instagram-GIS и так же как и я, плохо читает буржуйские форумы программистов. Покажу на наглядном примере:
1)Открываете любой сниффер
2)Грузите любое фото, например: https://www.instagram.com/p/BplmK_fj1HB/ - это первый запрос
3)Далее нажимаете кнопку: "Загрузить еще комментарии" и смотрите Get запрос. Там то и появляется X-Instagram-GIS, а сам url будет выглядеть примерно так:
Код:
Развернуть Свернуть Копировать 
https://www.instagram.com/graphql/query/?query_hash=f0986789a5c5d17c2400faebf16efd0d&variables=%7B%22shortcode%22%3A%22BplmK_fj1HB%22%2C%22first%22%3A34%2C%22after%22%3A%22QVFBbTBVWS04UU9RR1BUTnZfV1FLRzZ2Z1E2NGVZQ2JRalpoRDYxazdCcWYycW9VTVZkN1FuZHhCZEhTVUVDSW93LU5TSVdYbk1NLUlySVlQMHUzcjlObA%3D%3D%22%7D
- это второй запрос
4)Из содержимого ответа на первый запрос парсите rhx_gis, получите примерно это: 4e60f00c4f846e6f8b7d0a4f75c66015
5)Декодируете url второго запроса (urldecode) и парсите все, что идет после variables=, получится примерно такая строка:
Код:
Развернуть Свернуть Копировать 
{"shortcode":"BplmK_fj1HB","first":34,"after":"QVFBbTBVWS04UU9RR1BUTnZfV1FLRzZ2Z1E2NGVZQ2JRalpoRDYxazdCcWYycW9VTVZkN1FuZHhCZEhTVUVDSW93LU5TSVdYbk1NLUlySVlQMHUzcjlObA=="}
6)Наконец-то получаем хеш сумму MD5 вот такой строки:
Код:
Развернуть Свернуть Копировать 
4e60f00c4f846e6f8b7d0a4f75c66015:{"shortcode":"BplmK_fj1HB","first":34,"after":"QVFBbTBVWS04UU9RR1BUTnZfV1FLRzZ2Z1E2NGVZQ2JRalpoRDYxazdCcWYycW9VTVZkN1FuZHhCZEhTVUVDSW93LU5TSVdYbk1NLUlySVlQMHUzcjlObA=="}
Сделать это можно здесь или вот таким сниппетом:
Код:
Развернуть Свернуть Копировать 
string input = @"4e60f00c4f846e6f8b7d0a4f75c66015:{""shortcode"":""BplmK_fj1HB"",""first"":34,""after"":""QVFBbTBVWS04UU9RR1BUTnZfV1FLRzZ2Z1E2NGVZQ2JRalpoRDYxazdCcWYycW9VTVZkN1FuZHhCZEhTVUVDSW93LU5TSVdYbk1NLUlySVlQMHUzcjlObA==""}"; //заданая строка
// Md5 хеш
System.Security.Cryptography.MD5 md5Hasher = System.Security.Cryptography.MD5.Create();
byte[] data = md5Hasher.ComputeHash(Encoding.Default.GetBytes(input));
StringBuilder md5hash = new StringBuilder();
for (int i = 0; i < data.Length; i++)
{
    md5hash.Append(data[i].ToString("x2"));
}
//Возвращаем MD5 хеш для строки
return md5hash.ToString();
Сравниваем результат с значением из сниффера и радуемся жизни:-) Другими словами, X-Instagram-GIS - это md5 хеш строки rhx_gis:queryVariables. Откуда взять все остальные значения вы должны разобраться сами, я и так всегда мечтал, что бы ответ на мой вопрос был настолько разжеван:D
Нажмите для раскрытия...

Блин наткнулся бы на пару деньков раньше -)))

Теперь проблема с query_hash.

Я понял, что он формируется в запросах JS изучил эту тему https://www.diggernaut.ru/blog/kak-parsit-stranitsy-saytov-s-avtopodgruzkoy-na-primere-instagram/

Как сформировать правильный GET запрос к http://www.instagram.com/static/bundles/metro/ConsumerCommons.js/debea80f50a3.js что бы в ответе была понятная кодировка?
 
Последнее редактирование:
Raids написал(а):
Блин наткнулся бы на пару деньков раньше -)))

Теперь проблема с query_hash.

Я понял, что он формируется в запросах JS изучил эту тему https://www.diggernaut.ru/blog/kak-parsit-stranitsy-saytov-s-avtopodgruzkoy-na-primere-instagram/

Как сформировать правильный GET запрос к http://www.instagram.com/static/bundles/metro/ConsumerCommons.js/debea80f50a3.js что бы в ответе была понятная кодировка?
Нажмите для раскрытия...
честно говоря я уже ничего не помню :D то для чего я это делал не оправдалось и все забылось
 
Войдите или зарегистрируйтесь для ответа.

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)

Сверху Снизу