Парсинг изображений из Яндекс картинок

[Hitachi]

Описание

Шаблон открывает Яндекс, вводит запрос, переходит в картинки, прокручивает страницу, пока не будет загружено нужное количество или пока не перестанут подгружаться новые.
Парсит ссылки на оригиналы изображений в список.
Сохраняет этот список в файл, если выбран соответствующий режим.
Далее сохраняет файлы, если выбран режим с сохранением файлов.

Как пользоваться?

Во входных настройках:

• ввести поисковые запросы;
• выбрать режим работы (Ссылки, Файлы или Ссылки + файлы);
• указать, сколько парсить;
• выбрать сервис для решения капчи;
• выбрать нужные фильтры (размер, ориентация, формат изображений, только свежие. только товары).

Для работы через прокси, добавить их в файл proxy.txt

В папке Results создаётся папка "Запрос_дата_время", в которую сохраняется .txt файл со ссылками и папка с файлами изображений.

 

[Ylvov]

Не работает. Не скачивает

 

[Hitachi]

Не работает. Не скачивает

Только что проверил, изображения скачиваются, ссылки сохраняются.
Ошибка какая-нибудь появляется? Во входных настройках сохранение изображений выбрано?

 

[Ylvov]

Ошибок не показывает, прокручивает все картинки, ждет их полной прогрузки, тупо висит после этого в 0% выполнено.
Сохранение да выбрано.
Зенка последняя

 

[Hitachi]

Ошибок не показывает, прокручивает все картинки, ждет их полной прогрузки, тупо висит после этого в 0% выполнено.
Сохранение да выбрано.
Зенка последняя

Сколько по времени ждали после загрузки и сколько картинок установлено во входных настройках?
В папке Results вообще ничего не появляется?

 

[meriin]

Описание

Шаблон открывает Яндекс, вводит запрос, переходит в картинки, прокручивает страницу, пока не будет загружено нужное количество.
Парсит ссылки на оригиналы изображений в список.
Сохраняет этот список в файл, если выбран соответствующий режим.
Далее сохраняет файлы, если выбран режим с сохранением файлов.

Как пользоваться?

Во входных настройках ввести поисковые запросы, выбрать режим работы (Ссылки, Файлы или Ссылки + файлы), указать, сколько парсить и выбрать сервис для решения капчи.

Для работы через прокси, добавить их в файл proxy.txt

В папке Results создаётся папка "Запрос_дата_время", в которую сохраняется .txt файл со ссылками и папка с файлами изображений.

Спасибки. Хорошо работает.

 

[Ylvov]

Сколько по времени

пару часов +

сколько картинок

2000к

Results вообще ничего

совсем ничего

 

[Hitachi]

пару часов +

2000к

совсем ничего

Спасибо за сигнал, шаблон обновлён

 

[mulltimen]

Тоже не работает. Список Прокси пуст - на самом деле 28 живых. Не удалось решить капчу. В проекте перебрасывает на yandex.ua и не переходит на картинки.

 

[Hitachi]

Тоже не работает. Список Прокси пуст - на самом деле 28 живых. Не удалось решить капчу. В проекте перебрасывает на yandex.ua и не переходит на картинки.

Обновил шаблон, теперь на ua домене тоже должен работать.

С прокси проблем быть не должно, они в проекте нигде не удаляются безвозвратно.
Попробуйте открыть в ProjectMaker, посмотреть, что отображается в списке и к правильному ли файлу прикреплён список. Прокси должны быть в файле proxy.txt в директории проекта.

 

[mulltimen]

Спасибо. Теперь все работает.

 

[Andre70rus]

Приветствую, сегодня только приобрел зенку, объясните как пользоваться вашим шаблонам? открыл данные ввел как написано и в итоге ничего не происходит.

 

[Hitachi]

Приветствую, сегодня только приобрел зенку, объясните как пользоваться вашим шаблонам? открыл данные ввел как написано и в итоге ничего не происходит.

Добрый день.
А шаблон сам запустили после ввода входных настроек?

Чтобы запустить, нужно, чтобы "Старт" был нажат, далее добавить одно выполнение с помощью кнопки +1.

 

[Andre70rus]

Добрый день.
А шаблон сам запустили после ввода входных настроек?

Чтобы запустить, нужно, чтобы "Старт" был нажат, далее добавить одно выполнение с помощью кнопки +1.
Посмотреть вложение 65855

Во спасибо заработало. Еще 2 вопроса есть, у вас сервисы антикапчи которые прикручены, они все платные?
И прокси надо в файл в каком формате сохранять и из какого файла брать soc или http

 

[Hitachi]

Во спасибо заработало. Еще 2 вопроса есть, у вас сервисы антикапчи которые прикручены, они все платные?
И прокси надо в файл в каком формате сохранять и из какого файла брать soc или http

Для автоматического решения да, все сервисы антикапчи платные.
Можно выбрать MonkeyEnter.dll для ручного решения.

Прокси в формате login:password@ip:port для http/https и socks5://login:password@ip:port для socks5.
Если без авторизации, то просто ip:port

 

[Andre70rus]

как

Для автоматического решения да, все сервисы антикапчи платные.
Можно выбрать MonkeyEnter.dll для ручного решения.

Прокси в формате login:password@ip:port для http/https и socks5://login:password@ip:port для socks5.
Если без авторизации, то просто ip:port

как то странно. первый раз спарсил, а теперь пытаюсь сделать повторный сбор по тем же ключам и строка прогреса просто до 100% доходит и не какого результата нет(

 

[Hitachi]

как

как то странно. первый раз спарсил, а теперь пытаюсь сделать повторный сбор по тем же ключам и строка прогреса просто до 100% доходит и не какого результата нет(

А что в логе после завершения шаблона?

 

[Andre70rus]

А что в логе после завершения шаблона?

оказываеться проблема с прокси видимо где то не правельно указала его посмотри так ? или каких то знаков не указал я вот так сделал

Спойлер: глянь

00.00.00.00:00000:GNz8gcD96c:RVJYbsA3Fp

 

[Hitachi]

оказываеться проблема с прокси видимо где то не правельно указала его посмотри так ? или каких то знаков не указал я вот так сделал

Спойлер: глянь

00.00.00.00:00000:GNz8gcD96c:RVJYbsA3Fp

login:password@ip:port, если это http/https. То есть GNz8gcD96c:[email protected]:00000

 

[Andre70rus]

login:password@ip:port, если это http/https. То есть GNz8gcD96c:[email protected]:00000

Шаблон шикарный. нормального софта не смог найти для парсинга, а тут простенький шаблон и работает как надо! Благодарю. Вопрос а можно добавитьл опцию в настройку что бы можно еще было формат выбирать, jpeg. png, gif ну и тд?

 

[Hitachi]

Шаблон шикарный. нормального софта не смог найти для парсинга, а тут простенький шаблон и работает как надо! Благодарю. Вопрос а можно добавитьл опцию в настройку что бы можно еще было формат выбирать, jpeg. png, gif ну и тд?

Посмотрю по поводу форматов.
Возможно, получится добавить на следующей неделе

 

[Andreicinnamon]

А что за формат шаблона zp? Не открывается.

 

[Hitachi]

А что за формат шаблона zp? Не открывается.

Новый формат шаблонов, запускается в ZennoPoster v7, начиная с версии 7.1.3.0

 

[Hitachi]

Шаблон шикарный. нормального софта не смог найти для парсинга, а тут простенький шаблон и работает как надо! Благодарю. Вопрос а можно добавитьл опцию в настройку что бы можно еще было формат выбирать, jpeg. png, gif ну и тд?

Шаблон обновлён, добавлена возможность выбирать формат изображений

 

[Andre70rus]

Шаблон обновлён, добавлена возможность выбирать формат изображений

спасибо большое

 

[Lightest]

Всем добрый вечер Только-только начал изучать зенку. Не судите строго, возможно задаю глупые вопросы
Версия зенки - 7.2.1.1.

Проверяю пошагово алгоритм:
- Берет из файла поисковую фразу
- Выполняет поиск
- Переходит в картинки
- Проверяет\перематывает страницу до нужного количества картинок.

Останавливается на парсинге ссылок!
В свойстве действия "Парсим ссылки в список" записано {-Page.Dom-} и указано, что сохраняются ссылки в список image_list (создал такой файл в корневом каталоге). Также заметил, что создается файл links_list в папке Result.
Ошибку выдает именно при попытке парсинга ссылок.
Выделил на скриншоте стрелками то, что возможно нужно изменить, а может быть и не нужно
В чем может быть причина ошибки?

 

[Hitachi]

Всем добрый вечер Только-только начал изучать зенку. Не судите строго, возможно задаю глупые вопросы
Версия зенки - 7.2.1.1.

Проверяю пошагово алгоритм:
- Берет из файла поисковую фразу
- Выполняет поиск
- Переходит в картинки
- Проверяет\перематывает страницу до нужного количества картинок.

Останавливается на парсинге ссылок!
В свойстве действия "Парсим ссылки в список" записано {-Page.Dom-} и указано, что сохраняются ссылки в список image_list (создал такой файл в корневом каталоге). Также заметил, что создается файл links_list в папке Result.
Ошибку выдает именно при попытке парсинга ссылок.
Выделил на скриншоте стрелками то, что возможно нужно изменить, а может быть и не нужно
В чем может быть причина ошибки?

Добрый день!
Сейчас проверил на 7.2.1.1 - никаких проблем, шаблон работает.

На парсинге ссылок именно ошибка в логе? Или просто останавливается?
В ZennoPoster пробовали запускать?

 

[Онегин]

Запустил на 7.2.1, посыпались ошибки, так и не понял что не так

 

[Alexmd]

Другие запросы пробовали? Этот не очень вяжется с аватаркой

 

[Онегин]

Другие запросы пробовали? Этот не очень вяжется с аватаркой

Я не для себя всё для дела!
Другие не пробовал, а надо?)