Парсинг изображений из Яндекс картинок

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Описание

Шаблон открывает Яндекс, вводит запрос, переходит в картинки, прокручивает страницу, пока не будет загружено нужное количество или пока не перестанут подгружаться новые.
Парсит ссылки на оригиналы изображений в список.
Сохраняет этот список в файл, если выбран соответствующий режим.
Далее сохраняет файлы, если выбран режим с сохранением файлов.

Как пользоваться?

Во входных настройках:
  • ввести поисковые запросы;
  • выбрать режим работы (Ссылки, Файлы или Ссылки + файлы);
  • указать, сколько парсить;
  • выбрать сервис для решения капчи;
  • выбрать нужные фильтры (размер, ориентация, формат изображений, только свежие. только товары).

Для работы через прокси, добавить их в файл proxy.txt

В папке Results создаётся папка "Запрос_дата_время", в которую сохраняется .txt файл со ссылками и папка с файлами изображений.
 
Категория
Парсинг
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
02.11.2020
Описание обновления
Добавлена возможность выбирать фильтры поиска.
Обновлено решение капчи.
Добавлена возможность выбрать количество попыток решения капчи.
Добавлены новые оповещения.

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

Ylvov

Client
Регистрация
23.01.2017
Сообщения
63
Благодарностей
12
Баллы
8
Не работает. Не скачивает
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Не работает. Не скачивает
Только что проверил, изображения скачиваются, ссылки сохраняются.
Ошибка какая-нибудь появляется? Во входных настройках сохранение изображений выбрано?
 

Ylvov

Client
Регистрация
23.01.2017
Сообщения
63
Благодарностей
12
Баллы
8
Ошибок не показывает, прокручивает все картинки, ждет их полной прогрузки, тупо висит после этого в 0% выполнено.
Сохранение да выбрано.
Зенка последняя
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Ошибок не показывает, прокручивает все картинки, ждет их полной прогрузки, тупо висит после этого в 0% выполнено.
Сохранение да выбрано.
Зенка последняя
Сколько по времени ждали после загрузки и сколько картинок установлено во входных настройках?
В папке Results вообще ничего не появляется?
 

meriin

Client
Регистрация
30.01.2020
Сообщения
59
Благодарностей
57
Баллы
18
Описание

Шаблон открывает Яндекс, вводит запрос, переходит в картинки, прокручивает страницу, пока не будет загружено нужное количество.
Парсит ссылки на оригиналы изображений в список.
Сохраняет этот список в файл, если выбран соответствующий режим.
Далее сохраняет файлы, если выбран режим с сохранением файлов.

Как пользоваться?

Во входных настройках ввести поисковые запросы, выбрать режим работы (Ссылки, Файлы или Ссылки + файлы), указать, сколько парсить и выбрать сервис для решения капчи.

Для работы через прокси, добавить их в файл proxy.txt

В папке Results создаётся папка "Запрос_дата_время", в которую сохраняется .txt файл со ссылками и папка с файлами изображений.
Спасибки. Хорошо работает.
 

Ylvov

Client
Регистрация
23.01.2017
Сообщения
63
Благодарностей
12
Баллы
8
  • Спасибо
Реакции: karachev_og

mulltimen

Client
Регистрация
15.08.2020
Сообщения
3
Благодарностей
2
Баллы
3
Тоже не работает. Список Прокси пуст - на самом деле 28 живых. Не удалось решить капчу. В проекте перебрасывает на yandex.ua и не переходит на картинки.
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Тоже не работает. Список Прокси пуст - на самом деле 28 живых. Не удалось решить капчу. В проекте перебрасывает на yandex.ua и не переходит на картинки.
Обновил шаблон, теперь на ua домене тоже должен работать.

С прокси проблем быть не должно, они в проекте нигде не удаляются безвозвратно.
Попробуйте открыть в ProjectMaker, посмотреть, что отображается в списке и к правильному ли файлу прикреплён список. Прокси должны быть в файле proxy.txt в директории проекта.
 
  • Спасибо
Реакции: mulltimen

mulltimen

Client
Регистрация
15.08.2020
Сообщения
3
Благодарностей
2
Баллы
3
Спасибо. Теперь все работает.
 
  • Спасибо
Реакции: Santorini

Andre70rus

Новичок
Регистрация
23.10.2020
Сообщения
8
Благодарностей
1
Баллы
3
Приветствую, сегодня только приобрел зенку, объясните как пользоваться вашим шаблонам? открыл данные ввел как написано и в итоге ничего не происходит.
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Приветствую, сегодня только приобрел зенку, объясните как пользоваться вашим шаблонам? открыл данные ввел как написано и в итоге ничего не происходит.
Добрый день.
А шаблон сам запустили после ввода входных настроек?

Чтобы запустить, нужно, чтобы "Старт" был нажат, далее добавить одно выполнение с помощью кнопки +1.
65855
 

Andre70rus

Новичок
Регистрация
23.10.2020
Сообщения
8
Благодарностей
1
Баллы
3
Добрый день.
А шаблон сам запустили после ввода входных настроек?

Чтобы запустить, нужно, чтобы "Старт" был нажат, далее добавить одно выполнение с помощью кнопки +1.
Посмотреть вложение 65855
Во спасибо заработало. Еще 2 вопроса есть, у вас сервисы антикапчи которые прикручены, они все платные?
И прокси надо в файл в каком формате сохранять и из какого файла брать soc или http
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Во спасибо заработало. Еще 2 вопроса есть, у вас сервисы антикапчи которые прикручены, они все платные?
И прокси надо в файл в каком формате сохранять и из какого файла брать soc или http
Для автоматического решения да, все сервисы антикапчи платные.
Можно выбрать MonkeyEnter.dll для ручного решения.

Прокси в формате login:password@ip:port для http/https и socks5://login:password@ip:port для socks5.
Если без авторизации, то просто ip:port
 

Andre70rus

Новичок
Регистрация
23.10.2020
Сообщения
8
Благодарностей
1
Баллы
3
как
Для автоматического решения да, все сервисы антикапчи платные.
Можно выбрать MonkeyEnter.dll для ручного решения.

Прокси в формате login:password@ip:port для http/https и socks5://login:password@ip:port для socks5.
Если без авторизации, то просто ip:port
как то странно. первый раз спарсил, а теперь пытаюсь сделать повторный сбор по тем же ключам и строка прогреса просто до 100% доходит и не какого результата нет(
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
как

как то странно. первый раз спарсил, а теперь пытаюсь сделать повторный сбор по тем же ключам и строка прогреса просто до 100% доходит и не какого результата нет(
А что в логе после завершения шаблона?
 

Andre70rus

Новичок
Регистрация
23.10.2020
Сообщения
8
Благодарностей
1
Баллы
3
А что в логе после завершения шаблона?
оказываеться проблема с прокси видимо где то не правельно указала его посмотри так ? или каких то знаков не указал я вот так сделал
00.00.00.00:00000:GNz8gcD96c:RVJYbsA3Fp
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
оказываеться проблема с прокси видимо где то не правельно указала его посмотри так ? или каких то знаков не указал я вот так сделал
00.00.00.00:00000:GNz8gcD96c:RVJYbsA3Fp
login:password@ip:port, если это http/https. То есть GNz8gcD96c:[email protected]:00000
 

Andre70rus

Новичок
Регистрация
23.10.2020
Сообщения
8
Благодарностей
1
Баллы
3
login:password@ip:port, если это http/https. То есть GNz8gcD96c:[email protected]:00000
Шаблон шикарный. нормального софта не смог найти для парсинга, а тут простенький шаблон и работает как надо! Благодарю. Вопрос а можно добавитьл опцию в настройку что бы можно еще было формат выбирать, jpeg. png, gif ну и тд?
 
  • Спасибо
Реакции: Hitachi

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Шаблон шикарный. нормального софта не смог найти для парсинга, а тут простенький шаблон и работает как надо! Благодарю. Вопрос а можно добавитьл опцию в настройку что бы можно еще было формат выбирать, jpeg. png, gif ну и тд?
Посмотрю по поводу форматов.
Возможно, получится добавить на следующей неделе
 
Регистрация
19.09.2020
Сообщения
28
Благодарностей
1
Баллы
3
А что за формат шаблона zp? Не открывается.
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Шаблон шикарный. нормального софта не смог найти для парсинга, а тут простенький шаблон и работает как надо! Благодарю. Вопрос а можно добавитьл опцию в настройку что бы можно еще было формат выбирать, jpeg. png, gif ну и тд?
Шаблон обновлён, добавлена возможность выбирать формат изображений
 
  • Спасибо
Реакции: Andre70rus

Lightest

Client
Регистрация
20.11.2020
Сообщения
16
Благодарностей
0
Баллы
1
Всем добрый вечер :bs: Только-только начал изучать зенку. Не судите строго, возможно задаю глупые вопросы :bn:
Версия зенки - 7.2.1.1.

Проверяю пошагово алгоритм:
- Берет из файла поисковую фразу
- Выполняет поиск
- Переходит в картинки
- Проверяет\перематывает страницу до нужного количества картинок.

Останавливается на парсинге ссылок!
В свойстве действия "Парсим ссылки в список" записано {-Page.Dom-} и указано, что сохраняются ссылки в список image_list (создал такой файл в корневом каталоге). Также заметил, что создается файл links_list в папке Result.
Ошибку выдает именно при попытке парсинга ссылок.
Выделил на скриншоте стрелками то, что возможно нужно изменить, а может быть и не нужно :-)
В чем может быть причина ошибки?
 

Вложения

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Всем добрый вечер :bs: Только-только начал изучать зенку. Не судите строго, возможно задаю глупые вопросы :bn:
Версия зенки - 7.2.1.1.

Проверяю пошагово алгоритм:
- Берет из файла поисковую фразу
- Выполняет поиск
- Переходит в картинки
- Проверяет\перематывает страницу до нужного количества картинок.

Останавливается на парсинге ссылок!
В свойстве действия "Парсим ссылки в список" записано {-Page.Dom-} и указано, что сохраняются ссылки в список image_list (создал такой файл в корневом каталоге). Также заметил, что создается файл links_list в папке Result.
Ошибку выдает именно при попытке парсинга ссылок.
Выделил на скриншоте стрелками то, что возможно нужно изменить, а может быть и не нужно :-)
В чем может быть причина ошибки?
Добрый день!
Сейчас проверил на 7.2.1.1 - никаких проблем, шаблон работает.

На парсинге ссылок именно ошибка в логе? Или просто останавливается?
В ZennoPoster пробовали запускать?
 

Онегин

Client
Регистрация
18.05.2019
Сообщения
65
Благодарностей
6
Баллы
8
Запустил на 7.2.1, посыпались ошибки, так и не понял что не так
11-2020 17.16.06.png
 
  • Спасибо
Реакции: Alexmd

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)