Парсинг объектов с карт

maks-granata

Client
Регистрация
23.01.2015
Сообщения
21
Благодарностей
0
Баллы
1
Буду благодарен, если подскажите каким подходом спарсить объекты с Яндекс и Гугл карт с условием, что задается начальная область, например Россия - http://bit.ly/2zIAUyJ, после чего по этой области зеннопостером собираются, к примеру, все названия городов, с условием, что готового списка городов нет. Как научить парсер считывать данные именно с области карты, ведь в коде страницы этой инфы нет и её не вытянуть. И в апи ничего такого нет, особенно, если надо выпарсить нестандартные объекты.
 

orka13

Client
Регистрация
07.05.2015
Сообщения
2 177
Благодарностей
2 184
Баллы
113
Все можно, по крайней мере под ЯндексКарты. Есть у меня свой парсер, отрекламирую:
Барсик - парсер Яндекс.Карт (Справочника), 20 000 организаций в минуту + Геокодер. На запросах
А теперь опишу его алгоритм работы под вашу задачу, а вы уже, если хоте сэкономить, и самому подобное сделать, то подключается голову, руки и на зенке реализуйте:
с условием, что задается начальная область, например Россия - http://bit.ly/2zIAUyJ,
Нет, крупную страну не рекомендую задавать, пробовал, коряво ищет в таком огромной участке.
Можно легко найти список областей, и по ним пройтись поиском. И если делать это через API, то сначала при парснге надо под каждую область узнать координаты прямоугольника вокруг границ этой области. Именно прямоугольника, то есть точных границ не получится задать, у нас всегда в поиск будут попадать части соседних областей, которые тоже чуть в этот прямоугольник влезают.
И потом уже по этому прямоугольнику запускать поиск объектов на карте. И опять столкнетесь с ошибкой, что слишком популярные элементы не все получится спарсить, ибо там лимит у яндекс карт ~500…2500 объектов отдает на 1 запрос. Тогда надо либо города отдельно парсить, либо делить область поиска на мелкие прямоугольники, и по ним проходится.
Но вот как получить все списки городов из одной области я не пробовал, под мои задачи не надо было. Максимум искал ближайший город (точнее любой населенный пункт) по заданным координатам, это там можно.
А список всех городов\областей в нужной стране искал по сайтах-справочниках.

UPD:
Материал по теме:
API поиска по организациям
API Геокодера
Ну и через фиддлер при поиске через браузер по Якартам можно увидеть пример запросов.
 
Последнее редактирование:
  • Спасибо
Реакции: maks-granata

maks-granata

Client
Регистрация
23.01.2015
Сообщения
21
Благодарностей
0
Баллы
1
1. А как обстоят дела с с доступом к API поиск по организациям https://tech.yandex.ru/maps/doc/geosearch/concepts/request-docpage/? В вашем шабе ключ действующий ключ привязан? И насколько его сложно получить, я имею ввиду бесплатный вариант до 500 запросов, этого будет достаточно.

2. На запросы к геокодеру под анонимом есть какие ограничения? - не актуально. Прочитал в теме парсера.

Все можно, по крайней мере под ЯндексКарты. Есть у меня свой парсер, отрекламирую:
Барсик - парсер Яндекс.Карт (Справочника), 20 000 организаций в минуту + Геокодер. На запросах
А теперь опишу его алгоритм работы под вашу задачу, а вы уже, если хоте сэкономить, и самому подобное сделать, то подключается голову, руки и на зенке реализуйте:
 
Последнее редактирование:

orka13

Client
Регистрация
07.05.2015
Сообщения
2 177
Благодарностей
2 184
Баллы
113
1. А как обстоят дела с с доступом к API поиск по организациям https://tech.yandex.ru/maps/doc/geosearch/concepts/request-docpage/? В вашем шабе ключ действующий ключ привязан? И насколько его сложно получить, я имею ввиду бесплатный вариант до 500 запросов, этого будет достаточно.
проблем нет, покупные ключи не нужны. В шаблоне генерируется бесплатный ключ на каждый поток в начале его работы. Этого ключа хватает чтобы с одного прокси послать на ЯндексКарты ~<500 запросов, потом просто в пределах потока меняется прокси и на него генеририруется новый ключ, и так по кругу.
Также стоит заметить, что чтобы получить все объекты из нужного квадрата поиска надо повторить его парсинг по самым популярным словам несколько раз. Обычно тут используют названия разделов Яндекс-справочника (~1000 штук). Ибо если искать с "пустым" ключом, то оно покажет только самые популярные объекты, пропуская все остальное. Чтобы понять принцы парсинга посмотрите у меня видео, поищите еще подобные программы для парсинга ЯКарт, посмотрите описание их алгоритмов.
У меня главное отличие среди плюсов: многопоток без использования браузера (скорость на максимуме), автоматическое деление квадрата поиска на мелкие квадраты, если шаболон видит что там слишком много объектов, и он не сможет обычным методом спарсить их все. Минусы: наверное, слишком запутанные настройки.
 

maks-granata

Client
Регистрация
23.01.2015
Сообщения
21
Благодарностей
0
Баллы
1
проблем нет, покупные ключи не нужны. В шаблоне генерируется бесплатный ключ на каждый поток в начале его работы. Этого ключа хватает чтобы с одного прокси послать на ЯндексКарты ~<500 запросов, потом просто в пределах потока меняется прокси и на него генеририруется новый ключ, и так по кругу.
А как автоматически ключ к API поиска по организациям выдается если там заявку надо оформлять на каждый аккаунт - https://i.imgur.com/DduRkIJ.jpg
 

orka13

Client
Регистрация
07.05.2015
Сообщения
2 177
Благодарностей
2 184
Баллы
113
Перехватите в Fiddler как в обычном браузере при поиске на картах Яндекс выдает анонимному пользователю временный "бесплатный" ключ, и пробуйте подобное в зенке повторить, если есть знания нужные для работы с такой связкой.
 

zedkey

Новичок
Регистрация
25.10.2018
Сообщения
2
Благодарностей
0
Баллы
1
Перехватите в Fiddler как в обычном браузере при поиске на картах Яндекс выдает анонимному пользователю временный "бесплатный" ключ, и пробуйте подобное в зенке повторить, если есть знания нужные для работы с такой связкой.
не подскажете как спарсить выдачу гугла по запросу "model agency"

Есть ли возможность парсинга емайлов организаций?
Цель - собрать базу модельных агенств мира в таблице типа:
Название \ Емайл \ Телефон
Может подскажете как это можно реализовать?
 

orka13

Client
Регистрация
07.05.2015
Сообщения
2 177
Благодарностей
2 184
Баллы
113
  1. Собираете сначала ссылки из выдачи (пишете парсер гугла, либо покупаете готовый на зенке или других инструментах, их полно).
  2. Приходитесь по найденным сайтам, выкачивая из главной страницы и из внутренних страниц в пределах 1 клика от главной почтовые адреса. Тут толковый парсер самому не написать, проще купить. на форуме предлагали, и я свой выставлю вскоре, но у меня телефон не парсит, только почту.
 

Vlad_bogdanov1

Новичок
Регистрация
06.02.2019
Сообщения
1
Благодарностей
0
Баллы
1
не подскажете как спарсить выдачу гугла по запросу "model agency"

Есть ли возможность парсинга емайлов организаций?
Цель - собрать базу модельных агенств мира в таблице типа:
Название \ Емайл \ Телефон
Может подскажете как это можно реализовать?
Если писать парсер самому или заказывать его на фрилансе есть вероятность, что он перестанет работать через время т.к. гугл может его забанить или изменить алгоритм.

Попробуйте вот этот сервис, у них достаточно налаженный процесс и есть возможность собрать емайлы с организаций.
https://outscraper.com/google-maps-parser/
 

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)