Парсер данных о компаниях из Яндекс.Карты по поисковому запросу

[Santorini]

Описание

Парсер собирает информацию о компаниях из сервиса Яндекс.Карты по поисковому запросу. И избавляет вас от необходимости делать это вручную, поскольку вся работа происходит в автоматическом режиме. Вам нужно лишь задать ключевые слова или фразы для поиска, а в результате вы получите таблицу с готовым результатом.

Шаблон будет полезен для создания баз организаций и сбора контактных данных различных компаний для последующей рассылки писем.

Функционал

Парсер данных о компаниях из Яндекс.Карты по поисковому запросу - шаблон для ZennoPoster, выполняющий сбор данных о компаниях, по ключевым словам. В качестве входных данных задаются запросы для поиска (каждый ключ с новой строки). Результатом работы шаблона, являются Excel файл с данными об организациях, название Excel файла соответствует запросу и дате окончания сбора

Спойлер: Пример итоговой таблицы

Пример итоговой таблицы по запросу "торговый центр", по региону "Екатеринбург":

Как пользоваться?

Перед запуском шаблона на выполнение, необходимо заполнить входящие настройки:

• Основные
  • Брать поисковой запрос из:
    • файла
    • входящих настроек
  • Укажите путь к файлу со списком запросов (каждый запрос с новой строки, например: торговый центр)
  • Укажите поисковой запрос (например: торговый центр)
  • Выберите сервис для решения каптчи
  • Максимум страниц для сбора
  • Брать прокси из:
    • файла
    • входящих настроек
  • Укажите путь к файлу с прокси (формат: protocol://login:password@ip:port, справка по формату прокси)
  • Укажите прокси (необязательно, формат: protocol://login:password@ip:port)
  • Скачивать логотипы компаний
  • Удалять дубли логотипов
  • Скачивать первые 10 фото
• Область поиска
  • Поиск организаций
    • от центра координат с зумом (справка: центр карты, уровень масштабирования карты)
    • в пределах координат прямоугольника (справка: область показа карты)
    • по гео-коду региона
  • Выберите регион или укажите гео-код вручную (список гео-кодов, для более точного поиска по региону, можно скачать здесь)
  • Координаты центра или левого нижнего угла (широта, долгота)
  • Координаты правого верхнего угла (широта, долгота)
  • Зум карты (от 2 до 21, справка: масштабирования карты)
  • Выберите локаль (справка: локализация карты)

Минимальная версия ZennoPoster, для работы шаблона 7.1.3.0

 

[NeGamer]

Привет!
Спасибо за шаблон. У меня ошибка в действии Клик по последнему элементу (id: 53bc81d5-f2de-47f2-8649-08ca9d079ad0)

 

[BPOH]

Всё работает спасибо за шаблон

 

[Sanekk]

с какой версии зенки можно юзать шаб ? у меня 5.11.5.0 , шаб запускается, но ни чего не происходит
запустил в ПМ там трабл

Спойлер: тыц

 

[Santorini]

с какой версии зенки можно юзать шаб ? у меня 5.11.5.0 , шаб запускается, но ни чего не происходит
запустил в ПМ там трабл

Спойлер: тыц

Посмотреть вложение 43380

Для работы шаблона, необходима версия начиная от 5.29.6.0 и выше

 

[Sanekk]

Для работы шаблона, необходима версия начиная от 5.29.6.0 и выше

Как-то можно адаптировать шаб по старую версию зенки(путем удаления/замены новых функций), подскажите в каких кубиках они используются, а то я вчера весь шаб просмотрел, но не нашел там кубиков которые не используются в 5 11 5 0 , может я плохо смотрел?
Обновляться на новые версии не очень хочется, т.к. на 5 11 5 0 десятки шабов написанно...

 

[mr.wolf]

Описание

Парсер данных о компаниях с Яндекс.Карты по поисковому запросу - шаблон для ZennoPoster, выполняющий сбор данных о компаниях, по ключевым словам. В качестве входных данных задаются слова или фразы для поиска (каждый ключ с новой строки). Результатом работы шаблона, являются Excel файлы, название Excel файла соответствует определённому ключу (запросу).

Как пользоваться?

• Во входящие настройки шаблона внести одно или несколько ключевых слов, указать прокси (при необходимости), ввести количество компаний для сбора данных
• Запустить шаблон для выполнения
• После завершения работы шаблона, будут доступны Excel файлы с результатом работы шаблона

не работает(затык на проверке конца строки).+парсит не все организации по запросу

 

[Sanekk]

после ввода ключ фразы отваливается не дождавшись полной подгрузки элементов, нужно таймаут увеличить

 

[Santorini]

не работает(затык на проверке конца строки).+парсит не все организации по запросу

Добавили дополнительную проверку окончания организаций в списке выдачи. Если у вас наблюдаются проблемы при работе с шаблоном, напишите пожалуйста конкретнее что не работает и код ошибки (если есть).

 

[Santorini]

после ввода ключ фразы отваливается не дождавшись полной подгрузки элементов, нужно таймаут увеличить

Скорость загрузки страницы зависит от вашего интернет-соединения и прокси. Если страница не успевает загрузится, вы можете увеличить паузу, до начала сбора данных. Шаблон открыт для редактирования, вы можете модифицировать его конкретно под ваши задачи!

 

[sniperok]

Нормуль мододцы все работает.

 

[Добрый]

Отлично работает, спасибо

 

[hackoff]

Все супер! Отлично работает и в тоже время ... друзья поясните почему в таком виде (30,384447:59,950135) гео данные парсятся?
В YandexMap такое на стартует! На самих картах они выглядят координаты так: 59.935062, 30.411966
Поясните пожалуйста, что с этим делать?

 

[finista]

А как можно собрать еще ФИО руководителя и ИНН организации?

 

[Santorini]

Все супер! Отлично работает и в тоже время ... друзья поясните почему в таком виде (30,384447:59,950135) гео данные парсятся?
В YandexMap такое на стартует! На самих картах они выглядят координаты так: 59.935062, 30.411966
Поясните пожалуйста, что с этим делать?

Исправлен формат записи координат. Скачайте пожалуйста обновлённый шаблон

А как можно собрать еще ФИО руководителя и ИНН организации?

Можете попробовать собирать на специальных сайтах, которые предоставляют эту информацию, например по названию организации

 

[Добрый]

Можете попробовать собирать на специальных сайтах, которые предоставляют эту информацию, например по названию организации
[/QUOTE]
Спарк, сбис, контур и т.п.

 

[Ikigai]

А бесплатны прокси не подходят ?
( в формате без логина и пароля )
и насчет капчи вопрос, она часто выскакивает? . Просто покупал раньше шаблон по парсингу яндекс карт ( не нужны были капчи )

 

[Santorini]

А бесплатны прокси не подходят ?
( в формате без логина и пароля )

Можно настроить получение прокси из прокси-чекера

и насчет капчи вопрос, она часто выскакивает? . Просто покупал раньше шаблон по парсингу яндекс карт ( не нужны были капчи )

Не часто, но иногда появляется

 

[Ikigai]

Не хватает конечно списка локаций по которым необходимо осуществлять поиск ( города или области ) и реализации многопоточности.

 

[Santorini]

Не хватает конечно списка локаций по которым необходимо осуществлять поиск ( города или области ) и реализации многопоточности.

Шаблон обновлён! Добавлена мультипоточность и возможность указать гео поиска

 

[alexeipigilov12]

А можно ли в один файл экселя собрать выдачу всех запросов из файла?

 

[Santorini]

А можно ли в один файл экселя собрать выдачу всех запросов из файла?

На данный момент нельзя, добавлю такую функцию

 

[alexeipigilov12]

Такое ощущение что по ключевому запросу собираются не все компании с яндекс карт, есть какие-то решения может быть, чтобы собрать все фирмы по запросу?

 

[Santorini]

Такое ощущение что по ключевому запросу собираются не все компании с яндекс карт, есть какие-то решения может быть, чтобы собрать все фирмы по запросу?

Собираются все, которые есть в выдаче по запросу и гео

 

[mr.wolf]

Собираются все, которые есть в выдаче по запросу и гео

Хорошего вечера.без проксей как нибудь можно запустить?

 

[Santorini]

Хорошего вечера.без проксей как нибудь можно запустить?

Добрый вечер!

Да, укажите пустые строки в файле, вместо прокси (через Enter)

 

[mr.wolf]

Добрый вечер!

Да, укажите пустые строки в файле, вместо прокси (через Enter)

спасибо за оперативный ответ. в ПМ чуть подправил уже)

 

[Добрый]

Пользуюсь долгое время без нареканий, а есть возможность добавить парсинг рейтинга компании на карте?

 

[Santorini]

Пользуюсь долгое время без нареканий, а есть возможность добавить парсинг рейтинга компании на карте?

Добавлен парсинг рейтинга и количества отзывов. Скачайте обновлённый шаблон из главного поста

 

[Добрый]

Добавлен парсинг рейтинга и количества отзывов. Скачайте обновлённый шаблон из главного поста

Спасибо большое!