5 место Парсер фото и видео из профилей Instagram

[Err0r]

Всем привет!

Хочу поделиться с вами шаблоном по скачиванию фото и видео из профилей Instagram.
Шаблон написан полностью на POST/GET запросах с минимальным использованием C#.
Сложность парсинга фото с Instagram осложняется тем что каждый запрос подписывается идентификатором, который генерируется скриптом.

Настройки шаблона простые:
- указываете список с usernames (не забывайте делать бэкап списка, шаблон берет строки с удалением)
- и папку куда скачивать, шаблон так же создает подпапку с username. По умолчанию скачивает в папку с шаблоном.

Со временем собираюсь добавить в шаблон докачивание новых фото к уже скаченным.
Как использовать шаблон решайте сами. Всем спасибо за внимание

 

[enjoy1337]

Спасибо за шаблон. Было бы отлично дописать парсинг с закрытых профилей, например, как реализовано на http://zasasa.com/en/download_instagram_videos_or_photos.php

 

[vrska]

Спасибо за шаблон. Было бы отлично дописать парсинг с закрытых профилей, например, как реализовано на http://zasasa.com/en/download_instagram_videos_or_photos.php

Если это сделать, то парсер станет комбайном. А за комбайны принято платить

 

[loshpek]

Было бы хорошо еще добавить настройку кол-во фото с юзера и прокси.

 

[uRusure]

Еще было бы просто супер добавить уникализацию картинок на выходе))

 

[kagorec]

Еще было бы просто супер добавить уникализацию картинок на выходе))

xnconvert попробуй, хороший инструмент чтобы пакетно изменить параметры картинок

 

[Ylvov]

скачивание по поиску по словам или #

 

[Ylvov]

У всех работает? Или только у меня руки не из плечей?

 

[loshpek]

У всех работает? Или только у меня руки не из плечей?

А где ошибка?

 

[Ylvov]

А где ошибка?

У меня не берет из списка юзеров, а только удаляет по одному.

 

[loshpek]

У меня не берет из списка юзеров, а только удаляет по одному.

Если удаляет значит должно брать. Посмотри или в настройках правильно все добавил.

 

[Lite]

Подскажите, а что вообще позволяет делать api инстаграма?
(я так понимаю, раз автор заморочился с запросами, то даже фото спарсить через api нельзя)

 

[Err0r]

раз автор заморочился с запросами, то даже фото спарсить через api нельзя

Можно, но там авторизацию делать нужно, а мне ее реализовать не удалось.

 

[Reysh]

Спасибо за шаблон!

 

[Err0r]

Доработал шаблон, теперь можно указать сколько скачивать фото с профиля. Указывайте в настройках, по умолчанию стоит 10000.

 

[eliadsonet]

Доработал шаблон, теперь можно указать сколько скачивать фото с профиля. Указывайте в настройках, по умолчанию стоит 10000.

@Err0r А как ты понял, какую информацию нужно отправлять в склейку токена для дальнейшего хеширования?

 

[loshpek]

@Err0r А как ты понял, какую информацию нужно отправлять в склейку токена для дальнейшего хеширования?

Тоже интересно)

 

[JAGUAR COSMIC]

Шаблон простенький и отличный !

 

[uRusure]

Затестил шаб. С некоторых профилей из списка шаб выкачивает по одной фотке и все... В чем проблема?

Вот мой лог: http://joxi.ru/a2XbNwXUw01w6r

 

[uRusure]

В общем нашел баг, что если изменить путь "Папка куда скачивать" на любую другую директорию, то шаб выкачивает 1 или 2 фотки и завершается с ошибкой. Но если запустить шаб, но с дефолтной директорией сохранения файлов, то все нормально.

 

[She]

@Err0r приветствую.Спасибо за шаблон.Очень удачная находка.Хотел запустить его в работу по 2-м разным спискам.Не вышло.Работает только одна копия.2-ю копию как полагается положил в другую папку,настроил,запустил.Ошибка.Не могли бы вы сделать так,чтобы его можно было запускать на одном железе,в несколько копий.Это очень удобно.Каждая копия парсит свой список.

 

[She]

@Err0r приветствую.Гляньте пожалуйста шаблон.
Ставлю делать 1000 .Может выдать ошибку,и нагенерить 1000 пустых папок.Или 1000 папок по 1 фото в каждой.
Из последних ошибок:
2e516f16-b971-4f8a-8587-101152fbd5d1
Выполнение действия Parse Json/Xml Error reading JToken from JsonReader. Path '', line 0, position 0.
ef6972b4-d746-4d5b-8e74-00502ae93f2a
Выполнение действия File Ошибка при работе с файлом
И так весь день.100 папок с ошибками,1 скачалась.
Файл профилей доступен.В файле более 1000 профилей.Вчера пробовал в 1-2-3 потока.Сегодня оставил в 1 поток.
Сделайте пожалуйста,когда ошибки,шаблон не генерит пустые папки,или папки с ммнимумом фото.Может удастся сделать так,чтобы можно было выбирать минимальное количество фото/видео,которое должно быть на акке,чтобы его взял в работу шаблон.

 

[Err0r]

Обновил, потестил, теперь вроде работает как надо. Были ошибки в логике, переменные не везде обновил после добавления входных настроек.

 

[She]

Обновил, потестил, теперь вроде работает как надо. Были ошибки в логике, переменные не везде обновил после добавления входных настроек.

@Err0r приветствую.Спасибо за доработку.Очень быстро.Очень оперативно.Благодарствую.
Включите пожалуйста шаблон в 1-2 потока,на скачку 100-200 аккаунтов.Понаблюдайте за его работой.
У меня через раз все таки теже ошибки вылетают.Скачал одну папку,а с другим акком ошибка.Снова скачал.Снова ошибка.
Так лучше чем никак.Но возможно как появится время,ещё что-то подкрутить удастся.

 

[Err0r]

Включите пожалуйста шаблон в 1-2 потока,на скачку 100-200 аккаунтов.Понаблюдайте за его работой.

Вижу, инстаграм не всегда запросы нормально обрабатывает, похоже не нравится ему что его парсят =)

1. Добавил в шаблон "обработку ошибок", шаблон теперь стал похож на ежика, надо будет со временем переписать на C#
2. Также добавил прокси, рекомендуется использовать при многопотоке

Спасибо всем за тесты и сообщения об ошибках.

 

[uRusure]

Вижу, инстаграм не всегда запросы нормально обрабатывает, похоже не нравится ему что его парсят =)

1. Добавил в шаблон "обработку ошибок", шаблон теперь стал похож на ежика, надо будет со временем переписать на C#
2. Также добавил прокси, рекомендуется использовать при многопотоке

Спасибо всем за тесты и сообщения об ошибках.

Можете еще пожалуйста добавить возможность выбора выкачивать все фото из постов в которых больше 1 фотографии или нет? Ну то есть в инсте можно закинуть несколько фоток в один пост, но хотелось бы чтобы шаб выкачивал только первую фотку, если их несколько.

 

[She]

А мне как раз наоборот нужно было,чтобы не брал аккаунты в которых всего 1 фото.Или в которых меньше 100 фото.Я как раз хотел насобирать акки,в которых ближе к 1000 фото.

Можете еще пожалуйста добавить возможность выбора выкачивать все фото из постов в которых больше 1 фотографии или нет? Ну то есть в инсте можно закинуть несколько фоток в один пост, но хотелось бы чтобы шаб выкачивал только первую фотку, если их несколько.

 

[She]

Вижу, инстаграм не всегда запросы нормально обрабатывает, похоже не нравится ему что его парсят =)

1. Добавил в шаблон "обработку ошибок", шаблон теперь стал похож на ежика, надо будет со временем переписать на C#
2. Также добавил прокси, рекомендуется использовать при многопотоке

Спасибо всем за тесты и сообщения об ошибках.

@Err0r приветствую.Запускал с прокси на 5,10,20 потоков. 3a5bbb07-88a1-4880-964f-f46e29c23bcb
Выполнение логического оператора If Результат: False

 

[GSX_RU]

Указываю список с username, при начале работы пишет "Выполнение действия List Список пуст" кто -нибудь знает почему так?

 

[She]

@Err0r приветствую.Сделайте пожалуйста возможным,чтобы при новом запуске по тому же списку,не качались дубли,или не перезакачивались теже медиа снова.