Парсер подписчиков Instagram

[Yosemite]

Описание

Доступ к подписчикам возможен только после авторизации. Поэтому, в первую очередь шаблон пытается авторизоваться через заданные данные. Instagram в большинстве случаев запрашивает код подтверждения, отправленный на почту или телефон. Работа этой части шаблона реализована под ручной ввод. Возникнет поле как для капчи. После успешной авторизации будет сохранён профиль и Instagram в дальнейшем не должен запрашивать код.
По итогу шаблон переходит на указанную страницу пользователя. Открывает его подписчиков, скроллит их до конца и за раз парсит всех. Такой подход не позволит комфортно парсить пользователей с большим числом подписчиков. Результат сохранится в текстовый файл с именем указанного пользователя. Существующий файл перезапишется.
Шаблон однопоточный.

Как пользоваться?

Поля во входных настройка:
1. Логин.
Логин для авторизации.

2. Пароль.
Пароль для авторизации.

3. Куда отправлять код безопасности при авторизации.
Телефон или почта на выбор. Instagram отправит код на данные, которые привязаны к аккаунту.

4. Ссылка на пользователя инстаграм.
Ссылка должна содержать instagram.com/логин_пользователя

За одно выполнение шаблон постарается собрать всех подписчиков.

 

[She]

Добрый вечер @Yosemite
А что будет с шаблоном при парсинге пользователей у которых несколько миллионов, десятков миллионов подписчиков?
Сколько максимум подписчиков парсит без проблем?
Очень интересует этот момент, так как soctool парсит таких уже 4 дня и дошел только до 7.500.000 за 4 дня.Это на машине с hdd жд и 5 летним процессором. На современной машине с nwme и 2мя процами и огромной оперативкой soctool просто умирает примерно через 20-35% напаршенного списка. Падает база данных. Только переустановка. Потом всё снова по кругу. Поддержка говорит, что такая проблема только у меня и ничем помочь не могут А скорость парсинга на той машине была космическая.
Поэтому если ваш парсер сможет парсить миллионы, для меня ваш парсер будет спасением.

 

[Yosemite]

Добрый вечер @Yosemite
А что будет с шаблоном при парсинге пользователей у которых несколько миллионов, десятков миллионов подписчиков?
Сколько максимум подписчиков парсит без проблем?
Очень интересует этот момент, так как soctool парсит таких уже 4 дня и дошел только до 7.500.000 за 4 дня.Это на машине с hdd жд и 5 летним процессором. На современной машине с nwme и 2мя процами и огромной оперативкой soctool просто умирает примерно через 20-35% напаршенного списка. Падает база данных. Только переустановка. Потом всё снова по кругу. Поддержка говорит, что такая проблема только у меня и ничем помочь не могут А скорость парсинга на той машине была космическая.
Поэтому если ваш парсер сможет парсить миллионы, для меня ваш парсер будет спасением.

Привет. Шаблон не создан под такие объёмы. Веб-шаблоны в принципе не созданы для такого. Здесь нужны запросы

 

[She]

Привет. Шаблон не создан под такие объёмы. Веб-шаблоны в принципе не созданы для такого. Здесь нужны запросы

Добрый вечер @Yosemite так какой максимум этот шаблон потянет?

 

[Yosemite]

Добрый вечер @Yosemite так какой максимум этот шаблон потянет?

Боюсь, я не могу дать точный ответ. Тесты проводились на нескольких тысячах. Тут нужно понимать, что механизм подразумевает накопление данных на странице. Подписчики постоянно подгружаются, увиденные не удаляются. Нагрузка на браузер постоянно растёт. И помимо того, что способ сам по себе медленный, кто знает, с какое число загруженных подписчиков станет для инстанса перебором

 

[wideybro]

Решил протестить на одном аккаунте с 2,1кк сабов. За 13 часов спарсил 22к сабов. Мейкер 4 гига оперативки занял. На этом остановил

 

[specialist]

Мейкер 4 гига оперативки занял. На этом остановил

интересно, мейкер тут причем, должен был бы постер работать

 

[astralpi]

Не дает ввести код авторизации, который пришел на почту - сразу закрывает. Что делать?

 

[Yosemite]

Не дает ввести код авторизации, который пришел на почту - сразу закрывает. Что делать?

Какая-то ошибка есть при этом в логе?

 

[Yosemite]

Не дает ввести код авторизации, который пришел на почту - сразу закрывает. Что делать?

Шаблон обновлён, попробуйте с новой версией

 

[astralpi]

заработало, только надо быстрее вводить цифры.. не всегда успевала )

 

[Agent]

Делает несколько прокруток (3-4), потом повторяет по кругу. Заметил, что одних и тех же пользователей показывает.
На 7.2.1 пробовал.

 

[Yosemite]

Делает несколько прокруток (3-4), потом повторяет по кругу. Заметил, что одних и тех же пользователей показывает.
На 7.2.1 пробовал.

Обновил шаблон, попробуйте на нём спарсить.
Если повторится ошибка, напишите подробнее. На всех ли ссылках такая проблема и много ли подписчиков на страницах

 

[djbratislav]

Здраствуйте,у вас шаб работает, у меня нет. Проверил ка кто просто чтоб 3 штуки спарсить не выходит,посмотрите почему так шаб делает.
Вот на срине показано где стайот шаблон

 

[Yosemite]

Здраствуйте,у вас шаб работает, у меня нет. Проверил ка кто просто чтоб 3 штуки спарсить не выходит,посмотрите почему так шаб делает.
Вот на срине показано где стайот шаблон

Здравствуйте.
Обновил шаблон, теперь должен парсить и трёх подписчиков

 

[djbratislav]

Ваш шаблон не работает.

 

[Yosemite]

Ваш шаблон не работает.

Что именно не работает? Ошибка какая-то есть в логе?

 

[DrSkif]

не работает шаблон, у меня даже не кликает на своих подписчиков, дальше еще не смотрел

 

[fadim]

шаблон работает спасибо

 

[Trofer]

Что именно не работает? Ошибка какая-то есть в логе?

Здравствуйте. У вас в шаблоне накрутчика дзена есть просмотр из ленты. Это значит что вы знаете как накручиваются показы? Если да - напишите мне пожалуйста в телеграм @Getenari

 

[fivanch1]

Случайно никто такой же не видел но только чтобы была возможность ни 1 сслылку на аккаунт сделать, а списком их закинуть и отправить бота в долгое парсинговое плавание?)

 

[9088815443]

На этапе "Получение значения подписчиков" вылетает ошибка "Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска?

"

 

[Nick]

Если есть обновление, плз выложи