Парсер данных о компаниях из Яндекс.Карты по поисковому запросу
- Автор темы Santorini
- Дата начала
Ssmodey
Client
- Регистрация
- 10.12.2016
- Сообщения
- 138
- Реакции
- 29
- Баллы
- 28
Подскажите пожалуйста, если допустим я хочу собрать условно всю страну (Россия как пример) по списку запросов, какие оптимальные входные параметры стоит выставить, чтобы собралось максимально большее кол-во организаций? Пусть даже мусорные, отфильтровать потом не проблема.
P.S. Ну и совет по доработке. Не претензия, но как идея (всё же коллективный разум лучше работает). Было бы неплохо добавить в конце шаблона кубик, который будет создавать файл, в который будет записываться всё что напарсилось. С дозаписью. Ну и ещё один кубик с удалением дублей в этом файле.
А для понимания что-где-откуда добавить ещё столбец с "запрос поиска". Думаю такой столбец будет полезен даже и для тех таблиц, которые сейчас создаются. Кто-то например будет их объединять. А из имени файла не совсем удобно выдёргивать запрос.
P.S. Ну и совет по доработке. Не претензия, но как идея (всё же коллективный разум лучше работает). Было бы неплохо добавить в конце шаблона кубик, который будет создавать файл, в который будет записываться всё что напарсилось. С дозаписью. Ну и ещё один кубик с удалением дублей в этом файле.
А для понимания что-где-откуда добавить ещё столбец с "запрос поиска". Думаю такой столбец будет полезен даже и для тех таблиц, которые сейчас создаются. Кто-то например будет их объединять. А из имени файла не совсем удобно выдёргивать запрос.
Доброго времени суток. подскажите для этого нужно покупать сам зенопост или на демо можно это сделать? И если можно то как?
Добрый день!
Перестала работать промотка списка организаций. Снимает данные только с 1 страницы. Вроде как атрибута "data-chunk" со значением "search-snippet" по которому был клик для прокрутки списка - больше в DOM нет. Самостоятельно починить не получается..
Перестала работать промотка списка организаций. Снимает данные только с 1 страницы. Вроде как атрибута "data-chunk" со значением "search-snippet" по которому был клик для прокрутки списка - больше в DOM нет. Самостоятельно починить не получается..
Последнее редактирование:
todayer
Client
- Регистрация
- 07.08.2013
- Сообщения
- 1 001
- Реакции
- 414
- Баллы
- 83
Сделал через движение мыши
C#:
HtmlElement he = instance.ActiveTab.FindElementByAttribute("div", "class", "scroll__scrollbar-thumb", "regexp", 0);
instance.WaitFieldEmulationDelay();
int x = Convert.ToInt32(he.GetAttribute("left"));
int y = Convert.ToInt32(he.GetAttribute("top"));
instance.ActiveTab.FullEmulationMouseDragAndDrop(x,y, x+10, y+1000);Использую код вместо кубика "клик по последнему элементу".
А у меня второй день не работает парсинг json, может кто подскажет как пофиксить? А то не совсем понимаю, как в этом действии работает регулярка
Мне помогло так:
- в кубике "Парсинг JSON кода" заменить регулярку на (?<=type="application/json"\ class="(.*)">)[\w\W]*?(?=<)
- в кубике "Парсинг названия города" заменить на {-Json.config.meta.breadcrumbs[2].name-}
Здравствуйте, а парсер работает с версией 7.7.0?
Потому что у меня никаких действий вообще нет при запуске проекта, ни в логе, ни в инстансах.
Потому что у меня никаких действий вообще нет при запуске проекта, ни в логе, ни в инстансах.
Как с Вами можно связаться ?) Хочу узнать подробнее о регере ДС, но нет возможности посмотреть обьявления. Можно как то связаться с Вами в ТГ?
Прописываю координаты Ташкента, по итогу ссылка открывается вообще в области Норвежского моря, поэтому говорить уже о формировании поискового запроса нет смысла(
Добрый день. Необходимо разместить отзывы на яндекс картах, на постоянной основе. Кто может взяться за задачу ?Пишите
- Регистрация
- 06.11.2018
- Сообщения
- 11 789
- Реакции
- 5 738
- Баллы
- 113
Скачал шаблон, ничего не работает 
Подкрутил кое-где гайки, стала парситься первая страница выдачи, но дальше не идет. Потом сделал, как написал выше finoz0, и промотка списка организаций заработала. Казалось бы, ура, но нет - сохраняются только первые 25 организаций из результатов поиска, т.е. первая страница, а то, что дальше, не сохраняется несмотря на работающую промотку списка. Поковырял еще код, ничего не получается. Обратился к паре ребят, которые разрабатывают шаблоны на заказ, они тоже не смогли помочь.
У кого-нибудь есть рабочая версия этого парсера? Готов купить за дорого
Подкрутил кое-где гайки, стала парситься первая страница выдачи, но дальше не идет. Потом сделал, как написал выше finoz0, и промотка списка организаций заработала. Казалось бы, ура, но нет - сохраняются только первые 25 организаций из результатов поиска, т.е. первая страница, а то, что дальше, не сохраняется несмотря на работающую промотку списка. Поковырял еще код, ничего не получается. Обратился к паре ребят, которые разрабатывают шаблоны на заказ, они тоже не смогли помочь.У кого-нибудь есть рабочая версия этого парсера? Готов купить за дорого
Коллеги, добрый день, помогите пожалуйста с проблемой - по окончании работы шаблоны я не вижу excel документа с отчетом, куда он может его складывать и где искать? )) Сорри за тупой вопрос заранее
todayer
Client
- Регистрация
- 07.08.2013
- Сообщения
- 1 001
- Реакции
- 414
- Баллы
- 83
Делал подобный шаблон под свои нужды. Если кто-то хочет купить - пишите в личку или @zennokiller
- Регистрация
- 11.11.2020
- Сообщения
- 956
- Реакции
- 395
- Баллы
- 63
- Регистрация
- 11.11.2020
- Сообщения
- 956
- Реакции
- 395
- Баллы
- 63
В рекламном разделе куча исполнителей. Договаривайся с ними, они починят за бабки.