- Регистрация
- 25.09.2019
- Сообщения
- 384
- Благодарностей
- 347
- Баллы
- 63
Попробуйте в ProjectMaker запустить.
Если такая же ошибка будет, когда остановится на этом кубике, пришлите, что в переменной get_answer
Парсинг изображений из Яндекс картинок
- Автор темы Hitachi
- Дата начала
Если такая же ошибка будет, когда остановится на этом кубике, пришлите, что в переменной get_answer
- Регистрация
- 25.09.2019
- Сообщения
- 384
- Благодарностей
- 347
- Баллы
- 63
Онегин
Client
- Регистрация
- 18.05.2019
- Сообщения
- 64
- Благодарностей
- 6
- Баллы
- 8
Онегин
Client
- Регистрация
- 18.05.2019
- Сообщения
- 64
- Благодарностей
- 6
- Баллы
- 8
В общем как всегда, я посыпался на моменте использования ProjectMakerа, не понимаю я как в нём всё настроить, куда запросы прописать, как изменить capmonster (у меня его нет) на рукаптчу и т.д..
- Регистрация
- 25.09.2019
- Сообщения
- 384
- Благодарностей
- 347
- Баллы
- 63
Попробуйте вот этим шаблоном спарсить.В общем как всегда, я посыпался на моменте использования ProjectMakerа, не понимаю я как в нём всё настроить, куда запросы прописать, как изменить capmonster (у меня его нет) на рукаптчу и т.д..
Если ошибка повторится - в папке Results сохранятся текстовые файлы с ответами на запросы.
Пришлите их потом сюда или в ЛС
приветствую, скажите, а к функционалу можно еще прикрутить выбор размера в ручную, есть необходимость искать картинки по конкретному размеру?
Большое спасибо автору! Шаблон, то-что надо. Скачал, вписал поисковый запрос, запустил. Никаких проблем невозникло!!!
- Регистрация
- 25.09.2019
- Сообщения
- 384
- Благодарностей
- 347
- Баллы
- 63
Добрый день.
Имеете в виду в пикселях задавать размер конкретный?
В самом яндексе вроде как нет такого фильтра
Плохо( а можно как то сделать что бы шаблон подгонял под заданные размеры при сохранении. Например я в настройках ставлю 1600х1200 он мне в этом размере сохраняет
- Регистрация
- 25.09.2019
- Сообщения
- 384
- Благодарностей
- 347
- Баллы
- 63
Здравствуйте. Подскажите пожалуйста как сделать, чтобы сохранялся в результатах название папки только запрос без ( _дата_время)
- Регистрация
- 25.09.2019
- Сообщения
- 384
- Благодарностей
- 347
- Баллы
- 63
Valiksim
Client
- Регистрация
- 14.04.2012
- Сообщения
- 1 344
- Благодарностей
- 298
- Баллы
- 83
Нет, думаю, имелось ввиду, чтобы он не парсил картинки меньше определённого количества киллобайт.
Сейчас парсятся картинки любого размера, но, картинки размером меньше 50кб, это миниатюры с спичечный коробок и даже меньше. Их бы отсеять на уровне парсинга, было бы круто
Valiksim
Client
- Регистрация
- 14.04.2012
- Сообщения
- 1 344
- Благодарностей
- 298
- Баллы
- 83
Valiksim
Client
- Регистрация
- 14.04.2012
- Сообщения
- 1 344
- Благодарностей
- 298
- Баллы
- 83
Отключи, он не нужен.
Может памяти не хватает?
В любом случае, проблема у тебя. Проверь настройки и т.д.
а покажите свои настройки шаблона. Просто у меня завелся с полоборота - скачал настроил запустил. И все работает нормально
Посмотрел по Инстансе, проходит по всем трем позициям, картинки не вытягивает, пишет, что не удалось спарсить ссылки на изображение, а парсинг изображений выполнен успешно, хотя никаких картинок не качнул:
BP10442960020 https://yadi.sk/i/KvkSKzAxksmzsg
BP10442960010
BP10652960020
Но если оставить настройки по дефолту, где прописана циферка 100 в "Сколько парсить?", начинает качать все подряд, то есть пытается выгрузить по 100 картинок по каждой позиции.
BP10442960020 https://yadi.sk/i/KvkSKzAxksmzsg
BP10442960010
BP10652960020
Но если оставить настройки по дефолту, где прописана циферка 100 в "Сколько парсить?", начинает качать все подряд, то есть пытается выгрузить по 100 картинок по каждой позиции.
Последнее редактирование:
Mixis
Client
- Регистрация
- 07.05.2020
- Сообщения
- 67
- Благодарностей
- 10
- Баллы
- 8
Не знаю как кто применят, я на свой сайт добавляю, к каждой новости по запросу. Да иногда чушь парсит, но в основном норм.
Mixis
Client
- Регистрация
- 07.05.2020
- Сообщения
- 67
- Благодарностей
- 10
- Баллы
- 8
Ну какое РСЯ, разве не видно что это сайт с музыкой? Как-то не сложилось парсить на PHP c Last.fm. , хотя от туда можно брать любую инфу об исполнителе (кроме самой музыки).
Спасибо автору за шаблон!
Парсер работает Хорошо!
Только из-за того, что яндекс при каждой загрузке выдает разные варианты кода, шаблон парсит через раз, нужно в кубике "Парсим ссылки в список" исправить регулярку, вот вроде как получилась универсальная: "(?<=img_href\D+)https://.*?\b\w+\b(?="|&|\?)"
Еще, у меня наверное из-за медленных проксей, не успевает прогружаться страница, особенно когда необходимо проскролить страницу несколько раз! Вылетала ошибка "Не удалось спарсить ссылки на изображения"!
Я, в кубик "Проверяем наличие картинок", добавил задержку 1-3 сек.
И еще несколько кубиков, для ожидания прогрузки страницы!
Парсер работает Хорошо!
Только из-за того, что яндекс при каждой загрузке выдает разные варианты кода, шаблон парсит через раз, нужно в кубике "Парсим ссылки в список" исправить регулярку, вот вроде как получилась универсальная: "(?<=img_href\D+)https://.*?\b\w+\b(?="|&|\?)"
Еще, у меня наверное из-за медленных проксей, не успевает прогружаться страница, особенно когда необходимо проскролить страницу несколько раз! Вылетала ошибка "Не удалось спарсить ссылки на изображения"!
Я, в кубик "Проверяем наличие картинок", добавил задержку 1-3 сек.
И еще несколько кубиков, для ожидания прогрузки страницы!
Вложения
Последнее редактирование:
AGAT
Активный пользователь
- Регистрация
- 17.11.2018
- Сообщения
- 139
- Благодарностей
- 33
- Баллы
- 28
