Барсик - парсер Яндекс.Карт (Справочника), 20 000 организаций в минуту + Геокодер. На запросах

[orka13]

​

Технические особенности шаблона:

1. Шаблон делался в ProjectMaker RU 5.17.1.0 (так как последняя 5.17.2.0 версия слишком сырая и с багами, не рекомендую на ней запускать). Тестировался и на старых версиях (5.10.0.1). Стоит ограничение по запуску минимум 5.9.9.1, но как поведет себя на такой старой версии – хз. Закрытого типа (только выполнение). Если у вас нет ZennoPoster, то можно выписать лицензию вместе с Zennobox (мини-версия ZennoPoster), но это стоит +10$ к цене шаблона.
2. Шаблон работает исключительно на запросах (без запуска вкладок браузера), что позитивно отражается на использовании ресурсов ПК и позволяет неплохо поднимать быстродействие парсинга в многопотоке, ибо основана нагрузка идет только на CPU.
3. В работе шаблона используется свой алгоритм на основе C#-библиотек HtmlAgilityPack.dll (для работы с XML-ответами сервиса) и Newtonsoft.Json.dll (для обработки JSON ответов).
4. Ключей API или логинов Яндекса здесь НЕ надо.

Алгоритм поиска такой: шаблон сначала берет заданное пользователем название объекта (города\региона), в пределах которого будет искать, автоматом получает координаты его размеров (прямоугольника, или условно «квадрата», в который вписаны границы объекта) с сервисов Яндекса, и ищет в нем нужные фразы.
Минусы такого метода: если мы ищем в какой-то области, то в пределы ее квадрата могут попасть мелкие пограничные части соседних областей. А если эта область на границе с другой страной, то соответственно поиск затронет эту маленькую часть соседней страны. Потом ети «левые» объекты можно удалить по столбце адресов вручную, но в ~10% адресов может быть нестандартный синтаксис адреса (иногда нет указания страны, только город\область). То есть для чистоты результатов лучше все же парсить «по городам» а не «по областям». Хотя даже в ситуации с городом в квадрат поиска могут попасть пригородные поселки, но это уже не так критично.

Вот наглядный пример с картинкой. Допустим был задан регион поиска “Беларусь, Гомельска область”. На картинке видно, что в наш квадрат поиска попали как части соседних областей, так и часть других стран (снизу целый областной центр Украины, справа часть области России с мелкими городами). То есть в результатах поиска мы будем видеть объекты из этих участков карты тоже. Аналогичное произойдёт если мы парсим в каком-то городе, который плотно к пограничной зоне прилегает. Но таких городов мало, да и квадрат поиска вокруг города намного меньше получается, и обычно он захватит максимум части соседних деревень, а не соседних областей. То есть процент неточностей при парсинге городов не так страшен, как при парсинга областей.

Чтобы спарсить почти все организации в нужном регионе хватит просто использовать для поиска разнообразные фразы-ключи, под которые наиболее логично подходит список разделов Яндекс.Справочника (~ 1200 фраз, выдается в комплекте с файлами парсера). Используя этот метод получается за пару минут собрать практически все организации любого крупного города. Например, у меня на 100 потоках такие результаты (без пост-парсинга Email):

1. Москва: 20 минут ~ 400 000 объектов (400 000 со словом «Москва» в адресе, но 530 000 в самом квадрате вокруг города Москва).
2. Санкт-Петербург: 10 минут ~ 228 000 объектов (233 000).
3. Самара: 3 минуты ~ 52 000 объектов (59 000).
4. Сочи - 2 минуты ~28 880 объектов (29 180).

Варианты использования:

1. Поиск конкурентов в своей нише\городе.
2. Поиск фирм под рассылку\спам по телефону\Email.
3. Поиск соц-страниц и сайтов организаций.
4. Заполнение собственных сайтов\досок характеристиками объектов из Яндекс.Карт (есть же картинки-миниатюры, можно все аккуратно оформить).
5. Заработок на указании услуг по парсингу Яндекс.Карт (создаёте темы по форумах, на Kwork).

Спойлер: Отчет содержит такие столбцы (все что указала организация в карточке Яндекс Карт):

1. Фраза поиска
2. Регион поиска
3. Название
4. Категории
5. Адрес полностью
6. Район области (не работает с конца 2019 года, но не убрал пока со структуры отчета)
7. Населённый пункт (не работает с конца 2019 года, но не убрал пока со структуры отчета)
8. Улица (не работает с конца 2019 года, но не убрал пока со структуры отчета)
9. Отдельный дом (не работает с конца 2019 года, но не убрал пока со структуры отчета)
10. Все услуги
11. Время работы
12. Телефоны (мобильные из России)
13. Телефоны (бесплатная линия справки)
14. Телефоны остальные (городские и нераспознанные)
15. Главный сайт
16. Все сайты
17. Вконтакте
18. Facebook
19. Instagram
20. Twitter
21. Одноклассники
22. Мой мир
23. YouTube
24. Все соц. и бизнес ссылки
25. Страничка на Яндекс. Карты
26. ID на Яндекс. Карты
27. Координаты Широта
28. Координаты Долгота
29. Мини-фото из поиска
30. Все мини-фото (макс. 3)
31. Мини-фото из панорамы
32. Картинка-логотип
33. Рейтинг
34. Количество Оценок
35. Количество Отзывов
36. Email (собираются отдельно из страниц ячейки [16. Все сайты])

Пример случайной выборки на 4000 строк из результатов парсинга разных фраз по нескольким городам\областям + результат работы в режиме [2. Геокодер]:
Скачать с Яндекс.Диск (файл CSV + XLSX, последний вручную заполнил и раскрасил).
Или посмотреть на гугл-докс:
1. Обычный парсинг - выборка на 4000 строк.CSV
2. Геокодер - популярные города-области Росии+СНГ

Подсказки по работе с крупными CSV файлами ищите в теме: Справочная: выборка из файловых баз, крупные *.txt файлы, регулярки, EmEditor, *.csv.

Спойлер: Скриншот мини-карты шаблона:

Спойлер: Скриншоты «Входные настройки» с кучей параметров и описаний:

Видео-инструкция с примером первого запуска шаблона:

Спойлер: Дополнительные видео с парсингом Email и запуском Геокодера:

Цена: Не продается, так как схему безбраузерного парсинга Яндекс прикрыл и я так и не нашел альтернативы.
Контакты: личка форума, Telegram: orka13 (ссылка кликабельная, добавляйтесь по ней, а то могут быть мошенники с подобными никами), Skype: orkanavtica

Гарантия: возврат средств (манибек) за шаблон в течении 14 дней после его получения (за вычетом комиссии платежных систем). Здесь проблем нет, лояльно отношусь к такому требованию, даже если шаблон на 100% рабочий был, и дело чисто во вкусах покупателя.
Бесплатная Trial-версия: любому форумчанину со стаусом Client готов выдать шаблон наперед без оплаты (триалка на 14 дней). Даже под зенобокс (оплата комиссии сервиса за мой счет).
Лицензия: вечная, шаблон будет закрыт и прикреплен к вашему Email (ID) Zennolab. То есть можете запускать одновременно и на разных ПК, если у вас купленно несколько копий Zennoposter. Если же Zennoposter отсутствует вовсе, то выпишу лицензию под Zennobox, но оплата комиссии сервиса тогда за ваш счет (+10$).
Поддержка: стараюсь обновлять парсер после каждых изменений в сервисе ЯндексКарт (они где-то раз…два в год случаются). Но иногда это затягивается на длительные сроки. Именно вот последний раз больше месяца были проблемы с поиском рабочего решения. Если же нужны индивидуальные консультации по первому запуску шаблона или ZennoPoster, так как вы совсем дуб-дубом и ничего не понимаете, то и это возможно: схема «TeamViewer + Skype», ценник: 3$/10 минут. Если я вдруг пропаду, или кардинально сменю вид деятельности то понятно, что никто поддерживать шаблон вместо меня не будет. Открою тогда исходники и дальше уже сами разбирайтесь.

 

[orka13]

...Пока шаблон заточен под обработку в многопотоке с разными фразами только одного города за 1 запуск. Может в будущем придумаю алгоритм для одновременной обработки разных городов...

Алгоритм для одновременной обработки нескольких городов (и даже областей) придуман, и сейчас тестируется мной в бета-версии шаблона. Как пройдет все испытания, то обновлю шаблон, ну и подниму чуть цену. А пока собрал на новой версии >4 млн объектов из всей России и продаю на складчике, можете вписываться, через недельку-две сбор средств:
База организаций России из Яндекс Карты (Яндекс Справочник)
Дополнительным шаблоном получилось еще собрать почтовые ящики из сайтов организации, так что база будет полезна и в качестве материала для рассылок.

 

[ssXXXss]

сейчас на бесплатном апи можно весь гис выпарсить ))) лучше снифайте ))

 

[ssXXXss]

Алгоритм для одновременной обработки нескольких городов (и даже областей) придуман, и сейчас тестируется мной в бета-версии шаблона. Как пройдет все испытания, то обновлю шаблон, ну и подниму чуть цену. А пока собрал на новой версии >4 млн объектов из всей России и продаю на складчике, можете вписываться, через недельку-две сбор средств:
База организаций России из Яндекс Карты (Яндекс Справочник)
Дополнительным шаблоном получилось еще собрать почтовые ящики из сайтов организации, так что база будет полезна и в качестве материала для рассылок.

а вот добей к этой базе ещё ИНН, ОКРП, КПП
номер руководителя

 

[orka13]

сейчас на бесплатном апи можно весь гис выпарсить ))) лучше снифайте ))

По ГИС уже видел шаблоны, а вот по Яндекс.Картам их практически нет, даже утилитки не на зенке у конкурентов очень унылые, медленные, живут недолго, часто умирают после ближайшего обновления алгоритмов сервиса.

По теме: полностью переделал шаблон, добавил кучу новых опций, видео. Поэтому и поднял ценник. В описании часто отсылки на ресурс складчика, так как именно оттуда брались пожелания насчет расширения функционала программы.

 

[pilot203]

Всем привет!
Очень интересует исполнитель, но не сам парсер, а более специфично: выгрузка по одной рублике, но желательно со всеми данными, что есть в справочнике (картинка, ИНН, ОГРН, КПП, номером руководителя и пр.) если есть в карточке организации, лучше всего в формате json. С яндекс справочника, все службы такси, нужны все компании такси России (около 21000) и ближнего зарубежья (Казахстан, Беларусь, Армения, Украина, Грузия, еще около 20000). все "поля" как в ЯндексСправочнике: название, адрес, телефон, сайт и социальные сети, виды деятельности, услуги, реквизиты, картинки.
Не нарушить структуру каталога по региональности по принципу:
Страна – Федеральный округ – область, край – район – город

Также интересует выгрузка данных с сайта ФНС по компаниям, для проверки и дозаливки в каталог компаний. Не по названию категории, а по видам деятельности прописанным к той или иной компании, но это позже.

Кто возьмётся и бюджет?
Мои контакты:
Skype aoleg203
email [email protected]
tel^ +7926-873-семь-3-05

 

[Sveta666]

Orka13, есть предложение по Вашему парсеру! Напишите пожалуйста [email protected] или в вайбер по тому же номеру. Очень жду!

 

[orka13]

Orka13, есть предложение по Вашему парсеру! Напишите пожалуйста [email protected] или в вайбер по тому же номеру. Очень жду!

Связался.

А теперь чуть инфы по теме парсера:
Как показала практика, яндекс выдает капчу при частом обращении к сервису определения координат. Это происходит чаще при парсинге в режиме «геокодер» и реже при обычном парсинге карты, особенно если парсятся популярные города, ведь их координаты и так уже «вшиты» в файлы шаблона («\BARSIK_Yandex_Maps_ParserGeocoder\Input_Yandex_Maps\Популярные_RU_города_регионы.tsv»).
На днях попался один клиент, у которого не было под рукой надежных платных прокси, и после того как Яндекс начал активно выводить капчу, работа встала. И поскольку шаблон не умеет пока распознавать капчу (не задумывался над этим, так как ротация прокси дешевле обходилась), и не умеет брать прокси с «живого списка» зенопостеровского проксичекера, то пришлось искать где бы это получить более-менее пригодные бесплатные прокси списком.
Уточню, что нам не нужны супер-приватные дорогие прокси. Ведь даже если прокси уже «закапчен\забанен» в обычном сервисе Яндекс-Поиск, то он в 90% случаев НЕзакапчен в Яндекс-Картах (то есть подходит нам). И под такие требования сойдут бесплатные прокси, которые собирает сервис AWM: https://awmproxy.com/freeproxy.php - просто введите там капчу, и через 30 секунд получите обычный список прокси, которые можно скопировать в файл шаблона («\BARSIK_Yandex_Maps_ParserGeocoder\Input_Yandex_Maps\Proxy - сюда вставляем прокси.txt»). Только что проверил – Барсик нормально на них парсит как в обычном режиме поиска объектов на Яндекс-Карте, так и в режиме определения координат по списку (Геокодер). Проверка работоспособности прокси вшита в самом шаблоне, так что не страшно если в том списке будет много нерабочих прокси, Барсик их просто проигнорирует после проверки, то есть будет брать строки из списка пока не найдет рабочий прокси.

 

[orka13]

Новая версия:
Барсик 1.05 (24.08.2018 )
Исправленные баги:
[*] Яндекс на днях поменял чуть формат возвращаемых данных, из за этого шаблон вылетал с ошибкой в логе "...The given key was not present in the dictionary". Решение проблемы найдено, шаблон обновил.

Новый файл ищите по той же ссылке что получали после покупки.

 

[orka13]

Новая версия:
Барсик 1.07 (24.09.2018 )
Правки:
[*] Подправлена работа алгоритмов в условиях очень плохих паблик-прокси. Увеличены тайминги и количество повторных запросов в сетевых настройках.
[*] Расширен вывод в лог-файлы информации при сбоях работы шаблона.
[*] Добавил требования к очистке некоторых файлов при повторном прогоне проблемных ключей, которые не спарсилоись с первого раза (настройка «#1.23.3»).
[*] Добавил в настройках (#10.7.) описание откуда брать бесплатно прокси, если под рукой нет надежней варианта.

Метод обновления тот же: для обновления владельцам ZennoPoster надо перекачать архив\папку (по той ссылке, которую они получали после покупки) и извлечь оттуда файл «BARSIK_Yandex_Maps_ParserGeocoder_by_orka13_v_1.07.xmlz» в свою папку с шаблоном. Владельцам ZennoBox хватит просто перезапустить программу, «Входные параметры» могут при этом «сброситься».

 

[orka13]

Новая версия:
Барсик 1.08 (12.10.2018 )
Новые фичи:
[+] Добавил пункт настроек #1.7:

#1.7. Укажите значение для параметра «rspn». Подробнее читайте про него в документации API ЯКарт. Вкратце: если активировать его (1), то шаблон ищет только жестко в рамках указанной локации запрос. Если не активировать, то может по соседним локациям еще искать.
Например, если задать фразу «аэропорт в Москве», а город поиска задать «Питер», то с включенным параметром оно ищет только в Питере, а с выключенным сервис ЯКарт может добавить в отчет и результаты из локации «Москва», если видит, что запрос «спорный», или слишком мало результатов в заданной изначально области поиска нашло.

[+] По желанию одного из покупателей для возможности обработки результатов парсера собственными отдельными скриптами\сервисами добавил пункт настроек #1.8:

#1.8. Логировать успешные JSON-ответы сервиса в отдельные файлы:

Метод обновления тот же: для обновления владельцам ZennoPoster надо перекачать архив\папку (по той ссылке, которую они получали после покупки) и извлечь оттуда файл «BARSIK_Yandex_Maps_ParserGeocoder_by_orka13_v_1.08.xmlz» в свою папку с шаблоном. Владельцам ZennoBox хватит просто перезапустить программу, «Входные параметры» могут при этом «сброситься».

UPD: Сделал закрытую телеграм-группу для покупателей. Палева там никакого нет, просто если вдруг возникнут вопросы у новичков, а я не успею ответить, то более опытные пользователи помогут. Есть минимум два покупателя, которые постоянно парсят шаблоном, и уже ориентируются в деталях не хуже меня . Кому не выдал ссылку, стучитесь.

 

[specialist]

Последнее обновление было в октябре, шаблон ещё живой?

 

[orka13]

Последнее обновление было в октябре, шаблон ещё живой?

Вполне. Просто все работает стабильно, Яндекс не обновлял верстку, палки в колеса не совал, нет критических причин для обновлений.

 

[orka13]

Небольшой апдейт.
Обновил шаблон отвечающий за парсинг email. Перекачайте файл "Emails_Site_Parser.xmlz" с облака. В нем вносились небольшие правки по логике отбора писем, чтобы меньше мусора захватывал. Также, если кому то надо подправить маску\регулярку поиска писем, то найдете в облаке 2 файла:
1. «\Input\Список отсева плохих email.txt» - тут можете задать список неподходящих ников (например, badnick@) или доменов (например, @mail.ru). Каждое значение с новой строки. Шаблон по очереди берет каждую строку и проверяет нет ли вхождения (регулярки не поддерживаются) этой строки в найденной email. Если есть, то этот email отбрасывается из обработки и в финальный отчет не попадает. Если не нужно использовать этот список, то оставьте файл пустым, или переименуйте.
2. «\Input\Рулярка отсева плохих email.txt» - тут можете подкорректировать мою регулярку для удаления неподходящих email, но крайне не советую ее трогать, если нет навыков работы с Regex. Если вдруг не нужно использовать эту регулярку, то оставьте файл пустым, или переименуйте.

 

[exinor]

Ребят у кого есть до сих пор работает нормально?

 

[specialist]

Пока работает, тут никогда не угадаешь, сейчас работает, завтра яндекс алготим сменил и оно не будет, это нужно понимать.
Шаблон отлично сделан, давно пользуюсь.

 

[exinor]

Пока работает, тут никогда не угадаешь, сейчас работает, завтра яндекс алготим сменил и оно не будет, это нужно понимать.
Шаблон отлично сделан, давно пользуюсь.

А при прошлых сменах автор быстро делал обнову? денег за нее требовал отдельно?

 

[specialist]

По скорости, зависит от загруженности, уточняйте у автора. Обновления были бесплатны, можете посмотреть по этой теме. Перезагрузить по ссылке.

 

[orka13]

Да, все в порядке, позавчера последнюю версию покупателю выдавал.

По скорости, зависит от загруженности, уточняйте у автора. Обновления были бесплатны, можете посмотреть по этой теме. Перезагрузить по ссылке.

Да, тут все верно. Сейчас вот у меня проблемы чуть с временем, и если что накроется, то правки в шабе сделаю в течении 3..30 дней. Для примере вот в соседней ветке с продажей парсера фоток с Мамбы уже месяц тяну с обновлением...

 

[ordoabchao]

Добрый день,

Шаблон рабочий в данный момент?

 

[orka13]

Добрый день,

Шаблон рабочий в данный момент?

Добрый. С октября не рабочий после смены алгоритмов работы сервиса Яндексом. Пока все еще не нашел решения. Апну топик как разберусь.

 

[orka13]

Новая версия:
Барсик 1.09 (31.12.2019 )
Исправленные баги:
[*] Где-то с сентября яндекс подправил верстку и шаблон перестал работать. Выяснилось, что там поумнели и отключили возможность парсить крупными запросами по API, сделав ограничение в 25 строк. А шаблон был настроен на куски по 200 строк, поэтому у меня не получалось найти быстро причину. Скорость чуть-чуть упадет, так как придется мелкими порциями работать, но в многопотоке это не особо заметно. Сейчас вроде исправил все и поменял чуть алгоритм парсера. Пока он «сыроват», так что жду отзывов если заметите неправильную работу.
[*] Исправил заполнение колонки [Все мини-фото]. А то ее уже как год не заполняло. Хотя никто вроде и не жаловался. Наверное, всем хватало главной фотки из соседнего столбца «Мини-фото из поиска».
Новые фичи:
[+] Оптимизировал логику добавления\убавления попыток в шаблоне. А то пользователи жаловались, что надо было добавлять с запасом попыток в поле "сколько делать" чтобы шаблон беспрерывно парсил крупные объёмы.
Теперь после плановой остановки потока будет автозапуск нового потока с сообщением типа [...Все ок, но преждевременно заканчиваем поток, так как больше ~400 веб-запросов обработали с того-же прокси, и скоро он может заблокироваться. Новый поток запустится автоматом ("Сколько делать" увеличится на +1).]
А при окончании содержания входящих файлов больше не будет "холостых запусков шаблона". Выведется сообщение типа [...Кончились строки городов, конец потока. Обнуляем количество "Сколько делать".] и после этого шаблон перестанет новые потоки запускать.
[+] По просьбе одного из покупателей добавил в конце таблицы три колонки: Рейтинг, Количество Оценок, Количество Отзывов. А то на момент создания шаблона не было еще этих полей в сервисе.
Всех с праздниками ! .
Метод обновления тот же: для обновления владельцам ZennoPoster надо перекачать архив\папку (по той ссылке, которую они получали после покупки) и извлечь оттуда файл «BARSIK_Yandex_Maps_ParserGeocoder_by_orka13_v_1.08.xmlz» в свою папку с шаблоном. Владельцам ZennoBox хватит просто перезапустить программу, «Входные параметры» могут при этом «сброситься».

 

[orka13]

Новая версия:
Барсик 1.10 (20.02.2020 )
Список правок:
[*] Исправлен частый сброс сессии на плохих прокси, из-за чего поток заканчивал работу недопарсив нужные данные и писал логи в файл «Temp_data_Yandex_Maps\Не получилось спарсить.txt»
[*] Исправлено авто-добавление потоков ("Сколько делать" увеличится на +1) после планового завершения потока.
[*] Исправлено редкое появление пустых строк в файлах отчета
[*] Исправлено ненужное деление области на кластеры в ситуации, когда область поиска настолько мала, что уже не делится. Это случалось, когда несколько раз уже область делилась перед этим.
[*] Сделал отлов ситуации, когда Яндекс для сложных названий городов (например, с цифрами: «россия, юхнов-2») ставит координаты только для того что может распознать, игнорируя остальное, то есть понимает строку как «Россия» с огромными координатами (19.484764x41.18599x191.128003x81.886117). А шаблон начинал тогда очень долго весь этот кусок кластерами перегонять. Теперь шаблон просто пропустит такой регион с выводом сообщение в лог.
[*] Яндекс сменил чуть формат вывода JSON-данных для телефонов и соцсетей. Так что подправил логику в шаблоне под нововведения.
[*] Добавил отдельным файлом список актуальных разделов из Яндекс карт начиная от самых популярных на основе свежего парсинга РФ 02.2020. Их удобно под ключи поиска использовать для парсинга всего подряд.

Также подправил стартпост:
1) Поднял ценник.
2) Указал политику лицензии, гарантии, манибека, получения бесплатной триалки. А то судя по спорам на форуме за последнюю неделю это лучше сразу указывать до момента продажи. Планирую понемножку для всех своих шаблонов внедрить такое.

 

[hackoff]

Все супер! Отлично работает и в тоже время ... друзья поясните почему в таком виде (30,384447:59,950135) гео данные парсятся?
В YandexMap такое на стартует! На самих картах они выглядят координаты так: 59.935062, 30.411966
Поясните пожалуйста, что с этим делать?

 

[hackoff]

Сорри! Топиком промахнулся удалите пожалуйста данный пост!

 

[finista]

ИНН, ФИО руководителя сможет собрать?

 

[orka13]

Шаблон временно нерабочий.
Недавно Яндекс сменил алгоритм работы и по старому формату запросов больше не отдает ожидаемые данные. Надо изучать новую схему и переделывать шаблон. Планирую это сделать через 1…2 недели.

 

[Ikigai]

Ждем...

 

[BraG.A]

Планирую это сделать через 1…2 недели.

А сколько стоит открытый шаблон ? 2 недели на доработку довольно большой срок.

 

[orka13]

А сколько стоит открытый шаблон ? 2 недели на доработку довольно большой срок.

открытый еще не планируется продаваться.