- Регистрация
- 25.08.2011
- Сообщения
- 862
- Благодарностей
- 930
- Баллы
- 93
Здравствуйте.
На форуме не очень много информации по бессерверным базам данным, поэтому попытаюсь частично это исправить.
Предлагаю вашему вниманию парсер недвижимости сайта domofond.ru с сохранением информации в базу данных Sqlite.
Парсер написан на C# и на запросах (отслеживал запросы, кстати, в ZP, не хуже Fiddler'а), работает стабильно, после окончания парсинга все данные сохраняются в базу.
Без входных настроек, для эстетов.
Поиск в шаблоне не делал, поэтому придется потратить минуту на подготовку.
Перед парсингом нужно выбрать город и объект недвижимости для парсинга,
я покажу на примере города Кириши, 1-комнатные квартиры.
На главной cтранице сайта https://www.domofond.ru/ нажимаете область (Ленинградская, например) в строке поиска - Кириши,
и ниже выбираете 1. Затем кликаете на желтую кнопку Найти.
На открывшейся странице копируете в браузере ссылку.
Вставляете эту ссылку в 35-ю строку кода в PM и запускаете парсинг.
Открыть полученную базу данных можно с помощью программы SQLite Studio. Выбираете базу, а затем в ней таблицу.
Также добавил конвертер данных из Sqlite в обычный файл Excel. Конвертация происходит автоматически после завершения парсинга.
Кроме того, отдельно добавлен парсер номеров телефонов (на web) продавцов квартир,
который запустится после создания Excel таблицы и в неё же допишет номер напротив каждого объявления.
Получится вот так:
Библиотеки HtmlAgilityPack и System.Data.Sqlite прилагаются.
Их нужно скопировать в папку ExternalAssemblies, а затем выбрать в GAC.
Парсер легко переделать для сбора информации почти с любого сайта.
Для этого нужно изменить только данные GET запроса, пагинацию и пути XPath.
На форуме не очень много информации по бессерверным базам данным, поэтому попытаюсь частично это исправить.
Предлагаю вашему вниманию парсер недвижимости сайта domofond.ru с сохранением информации в базу данных Sqlite.
Парсер написан на C# и на запросах (отслеживал запросы, кстати, в ZP, не хуже Fiddler'а), работает стабильно, после окончания парсинга все данные сохраняются в базу.
Без входных настроек, для эстетов.
Поиск в шаблоне не делал, поэтому придется потратить минуту на подготовку.
Перед парсингом нужно выбрать город и объект недвижимости для парсинга,
я покажу на примере города Кириши, 1-комнатные квартиры.
На главной cтранице сайта https://www.domofond.ru/ нажимаете область (Ленинградская, например) в строке поиска - Кириши,
и ниже выбираете 1. Затем кликаете на желтую кнопку Найти.
На открывшейся странице копируете в браузере ссылку.
C#:
https://www.domofond.ru/prodazha-odnokomnatnyh-kvartir-kirishi-c3341Вставляете эту ссылку в 35-ю строку кода в PM и запускаете парсинг.
Открыть полученную базу данных можно с помощью программы SQLite Studio. Выбираете базу, а затем в ней таблицу.
Также добавил конвертер данных из Sqlite в обычный файл Excel. Конвертация происходит автоматически после завершения парсинга.
Кроме того, отдельно добавлен парсер номеров телефонов (на web) продавцов квартир,
который запустится после создания Excel таблицы и в неё же допишет номер напротив каждого объявления.
Получится вот так:
Библиотеки HtmlAgilityPack и System.Data.Sqlite прилагаются.
Их нужно скопировать в папку ExternalAssemblies, а затем выбрать в GAC.
Парсер легко переделать для сбора информации почти с любого сайта.
Для этого нужно изменить только данные GET запроса, пагинацию и пути XPath.
- Категория
- Парсинг
- Номер конкурса шаблонов
- Шестой конкурс шаблонов
- Уровень сложности
- Продвинутый
Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...
Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.
Последнее редактирование:
