Парсер данных о компаниях из Яндекс.Карты по поисковому запросу

[Korik222]

Отличный шаблон, спасибо. Всё работает на высоте, ни разу не подвёл

 

[Shogo]

Подскажите, а в каком виде ему давать запросы?

 

[Santorini]

Подскажите, а в каком виде ему давать запросы?

В виде ключевых слов

 

[Онегин]

Подскажите, как конвертнуть координаты в адреса и почему вообще вместо адресов в шаблоне взяты координаты?

 

[Santorini]

Подскажите, как конвертнуть координаты в адреса и почему вообще вместо адресов в шаблоне взяты координаты?

Должны собираться и адреса и координаты. Подскажите пожалуйста какой запрос и регион указан во входящих настройках шаблона?

 

[Онегин]

Должны собираться и адреса и координаты. Подскажите пожалуйста какой запрос и регион указан во входящих настройках шаблона?

Посмотреть вложение 72394

Сорри, протупил, excel открылся не с первого столбца, а начиная с координат))

 

[Онегин]

Santorini
подскажи, можно ли собрать данные без привязки к региону, т.е. например по всей России?

 

[Santorini]

Santorini
подскажи, можно ли собрать данные без привязки к региону, т.е. например по всей России?

Для этого нужно выбрать страну во входящих настройках шаблона

 

[Онегин]

Для этого нужно выбрать страну во входящих настройках шаблона

Посмотреть вложение 72410

Я тоже так подумал, но после парсинга обнаружил, что там нет не Москвы, не Питера и возможно других городов, т.е. собраны организации по всей России, но по какому то непонятному алгоритму..

 

[sten30]

Из 5 тысяч организаций собирает 120 штук

 

[alexeipigilov12]

Что-то не собирается информация

 

[Reputazzi]

Не работает.

 

[Santorini]

Шаблон обновлен, список изменений:

• добавлена проверка работоспособности прокси перед началом работы
• добавлено удаление файла результата, если не удалось собрать данные организаций
• обновлен алгоритм парсинга организаций
• обновлены входящие настройки шаблона
• обновлена структура шаблона
• обновлены условия поиска элементов
• обновлены комментарии для кубиков и сообщения, которые выводятся в лог
• добавлена возможность задать область поиска от центра указанных координат с зумом, а также в пределах координат прямоугольной области
• добавлена возможность выбрать локаль
• другие мелкие изменения

Из 5 тысяч организаций собирает 120 штук

Скачайте пожалуйста обновленный шаблон из первого поста. На данный момент парсер собирает максимум 700-900 организаций (без дублей) по одному запросу. Увеличить это число можно указав во входящих настройках несколько областей для поиска

Что-то не собирается информация

Не работает.

Скачайте пожалуйста обновленный шаблон из первого поста

 

[finoz0]

Скачал протестить, независимо от любых других настроек проекта находит всего - 25 организаций, хотя проходит 20 и больше страниц, результат всегда 25штук

 

[Santorini]

Скачал протестить, независимо от любых других настроек проекта находит всего - 25 организаций, хотя проходит 20 и больше страниц, результат всегда 25штук

Можете пожалуйста прислать скриншот входящих настроек, которые у вас указаны, а также сделать трассировку проекта

 

[finoz0]

Можете пожалуйста прислать скриншот входящих настроек, которые у вас указаны, а также сделать трассировку проекта

Трассировку сделал, но как ошибки искать, к сожалению сам не разобрался

 

[Daivel]

Без прокси запустить можно?

 

[igarik]

Добрый день! а можно настроить ,чтобы скачивал логотип компании? То есть в колонке название фото появляется, а в указанной папке на локальном диске сохраняет файл?
Спасибо за шаблон!

 

[Santorini]

Здравствуйте!

Без прокси запустить можно?

Да, можно

Добрый день! а можно настроить ,чтобы скачивал логотип компании? То есть в колонке название фото появляется, а в указанной папке на локальном диске сохраняет файл?
Спасибо за шаблон!

Обновил шаблон, скачайте его пожалуйста из первого поста
Список изменений:

• добавлена возможность сохранения логотипов организаций
• добавлено сохранение ссылки на логотип в таблицу результата
• добавлена возможность сохранения первых 10 фото для организации
• обновлены входящие настройки шаблона
• обновлён файл шаблона таблицы
• другие мелкие изменения

 

[igarik]

Здравствуйте!

Да, можно

Обновил шаблон, скачайте его пожалуйста из первого поста
Список изменений:

• добавлена возможность сохранения логотипов организаций
• добавлено сохранение ссылки на логотип в таблицу результата
• добавлена возможность сохранения первых 10 фото для организации
• обновлены входящие настройки шаблона
• обновлён файл шаблона таблицы
• другие мелкие изменения

Спасибо!!!

 

[WGN]

Можно ли добавить еще европейские страны? Помимо России и Украины. К примеру: Германия, Польша, Франция и т.д.
И подскажите пожалуйста выскакивает вот такая ошибка скрин ниже: id действия 7bd3fcd7-7cbd-408b-b064-b1aacff6989e

 

[Zenkagood]

Добрый день.Такая проблемы наблюдается
Тип Время Сообщение
08:41:33 Запрос: "�������� ����" - собрали 3 оранизаций
Запросы вписываю на русском языке.Соответсвенно и таблица потом имеет такое же название ввиде символов.В чем может быть дело?

 

[Fedman09]

Отличный парсер! Благодарю автора!
Протестировал, всё отлично собирает.
Подскажите, пожалуйста, вы можете реализовать сбор информации раздела "Координаты" в двух раздельных столбцах и без лишних разделяющих знаков?
Сейчас в столбце "Координаты" отображается в одной ячейке сначала долгота, затем, через запятую широта. Чтобы можно было удобно использовать координаты, практически во всех сервисах очерёдность противоположная.
Будет крайне удобно, если вместо столбца "Координаты", значения будут помещаться в столбец "Широта" и идущий за ним "Долгота".
Будет удобно копировать для использования. Сможете реализовать?

 

[Santorini]

Добрый день.Такая проблемы наблюдается
Тип Время Сообщение
08:41:33 Запрос: "�������� ����" - собрали 3 оранизаций
Запросы вписываю на русском языке.Соответсвенно и таблица потом имеет такое же название ввиде символов.В чем может быть дело?

В каком формате у вас файл со списком запросов?

Отличный парсер! Благодарю автора!
Протестировал, всё отлично собирает.
Подскажите, пожалуйста, вы можете реализовать сбор информации раздела "Координаты" в двух раздельных столбцах и без лишних разделяющих знаков?
Сейчас в столбце "Координаты" отображается в одной ячейке сначала долгота, затем, через запятую широта. Чтобы можно было удобно использовать координаты, практически во всех сервисах очерёдность противоположная.
Будет крайне удобно, если вместо столбца "Координаты", значения будут помещаться в столбец "Широта" и идущий за ним "Долгота".
Будет удобно копировать для использования. Сможете реализовать?

Да, добавлю. Спасибо за предложение

 

[penisita333]

Описание

Парсер собирает информацию о компаниях из сервиса Яндекс.Карты по поисковому запросу. И избавляет вас от необходимости делать это вручную, поскольку вся работа происходит в автоматическом режиме. Вам нужно лишь задать ключевые слова или фразы для поиска, а в результате вы получите таблицу с готовым результатом.

Шаблон будет полезен для создания баз организаций и сбора контактных данных различных компаний для последующей рассылки писем.

Функционал

Парсер данных о компаниях из Яндекс.Карты по поисковому запросу - шаблон для ZennoPoster, выполняющий сбор данных о компаниях, по ключевым словам. В качестве входных данных задаются запросы для поиска (каждый ключ с новой строки). Результатом работы шаблона, являются Excel файл с данными об организациях, название Excel файла соответствует запросу и дате окончания сбора

Посмотреть вложение 77350Посмотреть вложение 77352

Спойлер: Пример итоговой таблицы

Пример итоговой таблицы по запросу "торговый центр", по региону "Екатеринбург":

Посмотреть вложение 77353

Как пользоваться?

Перед запуском шаблона на выполнение, необходимо заполнить входящие настройки

• Основные
  • Укажите путь к файлу со списком запросов (каждый запрос с новой строки, например: торговый центр)
  • Укажите путь к файлу с прокси (формат: protocol://login:password@ip:port, справка по формату прокси)
  • Выберите сервис для решения каптчи
• Область поиска
  • Поиск организаций
    • от центра координат с зумом (справка: центр карты, уровень масштабирования карты)
    • в пределах координат прямоугольника (справка: область показа карты)
    • по гео-коду региона
  • Выберите регион или укажите гео-код вручную (список гео-кодов, для более точного поиска по региону, можно скачать здесь)
  • Координаты центра или левого нижнего угла (широта, долгота)
  • Координаты правого верхнего угла (широта, долгота)
  • Зум карты (от 2 до 21, справка: масштабирования карты)
  • Выберите локаль (справка: локализация карты)

Добрый день, а что делать если после выполнения задачи ексель таблица не появилась ?

 

[penisita333]

Добрый день! А что делать если эксель табличка после окончания парсинга не появилась

 

[Santorini]

Добрый день! А что делать если эксель табличка после окончания парсинга не появилась Посмотреть вложение 85171

Добрый вечер!
Необходимо указать путь к файлу с прокси. Для Demo-версии ZennoPoster - можете указать пустые строки в файле, вместо прокси

 

[igarik]

Приветствую! Хотел спросить, чтобы я не делал, больше чем 25 организаций не собирает, в чем может быть причина?

Возможно ли добавить сбор "Прочее" http://joxi.ru/82QDJl8hwOoqRm ?

 

[igarik]

Приветствую! Хотел спросить, чтобы я не делал, больше чем 25 организаций не собирает, в чем может быть причина?

Возможно ли добавить сбор "Прочее" http://joxi.ru/82QDJl8hwOoqRm ?

Дополню пост. Сделал трассировку на всякий.

 

[Santorini]

Все супер! Отлично работает и в тоже время ... друзья поясните почему в таком виде (30,384447:59,950135) гео данные парсятся?
В YandexMap такое на стартует! На самих картах они выглядят координаты так: 59.935062, 30.411966
Поясните пожалуйста, что с этим делать?

Отличный парсер! Благодарю автора!
Протестировал, всё отлично собирает.
Подскажите, пожалуйста, вы можете реализовать сбор информации раздела "Координаты" в двух раздельных столбцах и без лишних разделяющих знаков?
Сейчас в столбце "Координаты" отображается в одной ячейке сначала долгота, затем, через запятую широта. Чтобы можно было удобно использовать координаты, практически во всех сервисах очерёдность противоположная.
Будет крайне удобно, если вместо столбца "Координаты", значения будут помещаться в столбец "Широта" и идущий за ним "Долгота".
Будет удобно копировать для использования. Сможете реализовать?

Обновил в шаблоне формат сохранения координат

Приветствую! Хотел спросить, чтобы я не делал, больше чем 25 организаций не собирает, в чем может быть причина?

Попробуйте скачать новую версию шаблона в первом посте

Возможно ли добавить сбор "Прочее" http://joxi.ru/82QDJl8hwOoqRm ?

Добавил сбор данных организаций из вкладки "Особенности"

Скачать обновлённый шаблон можно в первом посте, полный список изменений:

• обновлены комментарии для кубиков и сообщения, которые выводятся в лог
• добавлена возможность выбора источника, для получения прокси и поисковых запросов (файл или входящие настройки)
• добавлена возможность указать максимальное количество страниц для парсинга из выдачи
• добавлено сохранение координат организации в отдельные колонки (широта, долгота)
• добавлен парсинг данных организации из вкладки "Особенности"
• обновлены входящие настройки шаблона
• обновлён файл шаблона таблицы
• другие мелкие изменения