Парсер данных о компаниях из Яндекс.Карты по поисковому запросу

Korik222

Banned
Регистрация
31.10.2020
Сообщения
5
Благодарностей
1
Баллы
3
Отличный шаблон, спасибо. Всё работает на высоте, ни разу не подвёл
 
  • Спасибо
Реакции: Santorini

Shogo

Client
Регистрация
07.04.2015
Сообщения
430
Благодарностей
91
Баллы
28
Подскажите, а в каком виде ему давать запросы?
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93

Онегин

Client
Регистрация
18.05.2019
Сообщения
64
Благодарностей
6
Баллы
8
Подскажите, как конвертнуть координаты в адреса и почему вообще вместо адресов в шаблоне взяты координаты?
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Подскажите, как конвертнуть координаты в адреса и почему вообще вместо адресов в шаблоне взяты координаты?
Должны собираться и адреса и координаты. Подскажите пожалуйста какой запрос и регион указан во входящих настройках шаблона?

72394
 
  • Спасибо
Реакции: Онегин

Онегин

Client
Регистрация
18.05.2019
Сообщения
64
Благодарностей
6
Баллы
8

Вложения

  • Спасибо
Реакции: Santorini

Онегин

Client
Регистрация
18.05.2019
Сообщения
64
Благодарностей
6
Баллы
8
Santorini
подскажи, можно ли собрать данные без привязки к региону, т.е. например по всей России?
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93

Онегин

Client
Регистрация
18.05.2019
Сообщения
64
Благодарностей
6
Баллы
8
Для этого нужно выбрать страну во входящих настройках шаблона

Посмотреть вложение 72410
Я тоже так подумал, но после парсинга обнаружил, что там нет не Москвы, не Питера и возможно других городов, т.е. собраны организации по всей России, но по какому то непонятному алгоритму..
 

sten30

Client
Регистрация
05.09.2017
Сообщения
232
Благодарностей
28
Баллы
28
Из 5 тысяч организаций собирает 120 штук
 
Регистрация
20.02.2019
Сообщения
289
Благодарностей
34
Баллы
28
Что-то не собирается информация
 

Reputazzi

Client
Регистрация
22.02.2021
Сообщения
31
Благодарностей
5
Баллы
8
Не работает.
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Шаблон обновлен, список изменений:
  • добавлена проверка работоспособности прокси перед началом работы
  • добавлено удаление файла результата, если не удалось собрать данные организаций
  • обновлен алгоритм парсинга организаций
  • обновлены входящие настройки шаблона
  • обновлена структура шаблона
  • обновлены условия поиска элементов
  • обновлены комментарии для кубиков и сообщения, которые выводятся в лог
  • добавлена возможность задать область поиска от центра указанных координат с зумом, а также в пределах координат прямоугольной области
  • добавлена возможность выбрать локаль
  • другие мелкие изменения

Из 5 тысяч организаций собирает 120 штук
Скачайте пожалуйста обновленный шаблон из первого поста. На данный момент парсер собирает максимум 700-900 организаций (без дублей) по одному запросу. Увеличить это число можно указав во входящих настройках несколько областей для поиска

Что-то не собирается информация
Скачайте пожалуйста обновленный шаблон из первого поста
 
  • Спасибо
Реакции: pagan3d

finoz0

Client
Регистрация
20.01.2021
Сообщения
105
Благодарностей
17
Баллы
18
Скачал протестить, независимо от любых других настроек проекта находит всего - 25 организаций, хотя проходит 20 и больше страниц, результат всегда 25штук
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Скачал протестить, независимо от любых других настроек проекта находит всего - 25 организаций, хотя проходит 20 и больше страниц, результат всегда 25штук
Можете пожалуйста прислать скриншот входящих настроек, которые у вас указаны, а также сделать трассировку проекта
 

finoz0

Client
Регистрация
20.01.2021
Сообщения
105
Благодарностей
17
Баллы
18

Вложения

  • 130,8 КБ Просмотры: 171
  • Спасибо
Реакции: Santorini

Daivel

Новичок
Регистрация
19.06.2021
Сообщения
5
Благодарностей
0
Баллы
1
Без прокси запустить можно?
 

igarik

Client
Регистрация
23.08.2021
Сообщения
9
Благодарностей
3
Баллы
3
Добрый день! а можно настроить ,чтобы скачивал логотип компании? То есть в колонке название фото появляется, а в указанной папке на локальном диске сохраняет файл?
Спасибо за шаблон!
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Здравствуйте!
Без прокси запустить можно?
Да, можно
Добрый день! а можно настроить ,чтобы скачивал логотип компании? То есть в колонке название фото появляется, а в указанной папке на локальном диске сохраняет файл?
Спасибо за шаблон!
Обновил шаблон, скачайте его пожалуйста из первого поста
Список изменений:
  • добавлена возможность сохранения логотипов организаций
  • добавлено сохранение ссылки на логотип в таблицу результата
  • добавлена возможность сохранения первых 10 фото для организации
  • обновлены входящие настройки шаблона
  • обновлён файл шаблона таблицы
  • другие мелкие изменения
 
  • Спасибо
Реакции: igarik

igarik

Client
Регистрация
23.08.2021
Сообщения
9
Благодарностей
3
Баллы
3
Здравствуйте!

Да, можно

Обновил шаблон, скачайте его пожалуйста из первого поста
Список изменений:
  • добавлена возможность сохранения логотипов организаций
  • добавлено сохранение ссылки на логотип в таблицу результата
  • добавлена возможность сохранения первых 10 фото для организации
  • обновлены входящие настройки шаблона
  • обновлён файл шаблона таблицы
  • другие мелкие изменения
Спасибо!!!
 
  • Спасибо
Реакции: SerZantus

WGN

Client
Регистрация
01.10.2021
Сообщения
80
Благодарностей
8
Баллы
8
Можно ли добавить еще европейские страны? Помимо России и Украины. К примеру: Германия, Польша, Франция и т.д.
И подскажите пожалуйста выскакивает вот такая ошибка скрин ниже: id действия 7bd3fcd7-7cbd-408b-b064-b1aacff6989e
Ошибка яндекс мапс.png
 
Последнее редактирование:

Zenkagood

Client
Регистрация
27.11.2019
Сообщения
58
Благодарностей
10
Баллы
8
Добрый день.Такая проблемы наблюдается
Тип Время Сообщение
08:41:33 Запрос: "�������� ����" - собрали 3 оранизаций
Запросы вписываю на русском языке.Соответсвенно и таблица потом имеет такое же название ввиде символов.В чем может быть дело?
 

Fedman09

Client
Регистрация
25.02.2020
Сообщения
92
Благодарностей
40
Баллы
28
Отличный парсер! Благодарю автора!
Протестировал, всё отлично собирает.
Подскажите, пожалуйста, вы можете реализовать сбор информации раздела "Координаты" в двух раздельных столбцах и без лишних разделяющих знаков?
Сейчас в столбце "Координаты" отображается в одной ячейке сначала долгота, затем, через запятую широта. Чтобы можно было удобно использовать координаты, практически во всех сервисах очерёдность противоположная.
Будет крайне удобно, если вместо столбца "Координаты", значения будут помещаться в столбец "Широта" и идущий за ним "Долгота".
Будет удобно копировать для использования. Сможете реализовать?
 
  • Спасибо
Реакции: Santorini

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Добрый день.Такая проблемы наблюдается
Тип Время Сообщение
08:41:33 Запрос: "�������� ����" - собрали 3 оранизаций
Запросы вписываю на русском языке.Соответсвенно и таблица потом имеет такое же название ввиде символов.В чем может быть дело?
В каком формате у вас файл со списком запросов?
Отличный парсер! Благодарю автора!
Протестировал, всё отлично собирает.
Подскажите, пожалуйста, вы можете реализовать сбор информации раздела "Координаты" в двух раздельных столбцах и без лишних разделяющих знаков?
Сейчас в столбце "Координаты" отображается в одной ячейке сначала долгота, затем, через запятую широта. Чтобы можно было удобно использовать координаты, практически во всех сервисах очерёдность противоположная.
Будет крайне удобно, если вместо столбца "Координаты", значения будут помещаться в столбец "Широта" и идущий за ним "Долгота".
Будет удобно копировать для использования. Сможете реализовать?
Да, добавлю. Спасибо за предложение
 
  • Спасибо
Реакции: Fedman09

penisita333

Новичок
Регистрация
08.11.2021
Сообщения
2
Благодарностей
0
Баллы
1
Описание

Парсер собирает информацию о компаниях из сервиса Яндекс.Карты по поисковому запросу. И избавляет вас от необходимости делать это вручную, поскольку вся работа происходит в автоматическом режиме. Вам нужно лишь задать ключевые слова или фразы для поиска, а в результате вы получите таблицу с готовым результатом.

Шаблон будет полезен для создания баз организаций и сбора контактных данных различных компаний для последующей рассылки писем.

Функционал

Парсер данных о компаниях из Яндекс.Карты по поисковому запросу
- шаблон для ZennoPoster, выполняющий сбор данных о компаниях, по ключевым словам. В качестве входных данных задаются запросы для поиска (каждый ключ с новой строки). Результатом работы шаблона, являются Excel файл с данными об организациях, название Excel файла соответствует запросу и дате окончания сбора

Посмотреть вложение 77350Посмотреть вложение 77352
Пример итоговой таблицы по запросу "торговый центр", по региону "Екатеринбург":

Посмотреть вложение 77353

Как пользоваться?

Перед запуском шаблона на выполнение, необходимо заполнить входящие настройки
  • Основные
    • Укажите путь к файлу со списком запросов (каждый запрос с новой строки, например: торговый центр)
    • Укажите путь к файлу с прокси (формат: protocol://login:password@ip:port, справка по формату прокси)
    • Выберите сервис для решения каптчи
  • Область поиска

Добрый день, а что делать если после выполнения задачи ексель таблица не появилась ?
 

penisita333

Новичок
Регистрация
08.11.2021
Сообщения
2
Благодарностей
0
Баллы
1
Добрый день! А что делать если эксель табличка после окончания парсинга не появилась
85171
 

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Добрый день! А что делать если эксель табличка после окончания парсинга не появилась Посмотреть вложение 85171
Добрый вечер!
Необходимо указать путь к файлу с прокси. Для Demo-версии ZennoPoster - можете указать пустые строки в файле, вместо прокси
 

igarik

Client
Регистрация
23.08.2021
Сообщения
9
Благодарностей
3
Баллы
3
Приветствую! Хотел спросить, чтобы я не делал, больше чем 25 организаций не собирает, в чем может быть причина?

Возможно ли добавить сбор "Прочее" http://joxi.ru/82QDJl8hwOoqRm ?
 
Последнее редактирование:

igarik

Client
Регистрация
23.08.2021
Сообщения
9
Благодарностей
3
Баллы
3

Вложения

  • 132,3 КБ Просмотры: 130

Santorini

Creators Template
Регистрация
29.08.2019
Сообщения
775
Благодарностей
990
Баллы
93
Все супер! Отлично работает и в тоже время ... друзья поясните почему в таком виде (30,384447:59,950135) гео данные парсятся?
В YandexMap такое на стартует! На самих картах они выглядят координаты так: 59.935062, 30.411966
Поясните пожалуйста, что с этим делать?
Отличный парсер! Благодарю автора!
Протестировал, всё отлично собирает.
Подскажите, пожалуйста, вы можете реализовать сбор информации раздела "Координаты" в двух раздельных столбцах и без лишних разделяющих знаков?
Сейчас в столбце "Координаты" отображается в одной ячейке сначала долгота, затем, через запятую широта. Чтобы можно было удобно использовать координаты, практически во всех сервисах очерёдность противоположная.
Будет крайне удобно, если вместо столбца "Координаты", значения будут помещаться в столбец "Широта" и идущий за ним "Долгота".
Будет удобно копировать для использования. Сможете реализовать?
Обновил в шаблоне формат сохранения координат
Приветствую! Хотел спросить, чтобы я не делал, больше чем 25 организаций не собирает, в чем может быть причина?
Попробуйте скачать новую версию шаблона в первом посте
Возможно ли добавить сбор "Прочее" http://joxi.ru/82QDJl8hwOoqRm ?
Добавил сбор данных организаций из вкладки "Особенности"

Скачать обновлённый шаблон можно в первом посте, полный список изменений:
  • обновлены комментарии для кубиков и сообщения, которые выводятся в лог
  • добавлена возможность выбора источника, для получения прокси и поисковых запросов (файл или входящие настройки)
  • добавлена возможность указать максимальное количество страниц для парсинга из выдачи
  • добавлено сохранение координат организации в отдельные колонки (широта, долгота)
  • добавлен парсинг данных организации из вкладки "Особенности"
  • обновлены входящие настройки шаблона
  • обновлён файл шаблона таблицы
  • другие мелкие изменения
 
  • Спасибо
Реакции: igarik

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)