Парсер сайта недвижимости на Get-запросах (C#) в базу Sqlite + конвертер в Excel.

soprano

Client
Регистрация
25.08.2011
Сообщения
866
Благодарностей
948
Баллы
93
Здравствуйте.
На форуме не очень много информации по бессерверным базам данным, поэтому попытаюсь частично это исправить.
Предлагаю вашему вниманию парсер недвижимости сайта domofond.ru с сохранением информации в базу данных Sqlite.
Парсер написан на C# и на запросах (отслеживал запросы, кстати, в ZP, не хуже Fiddler'а), работает стабильно, после окончания парсинга все данные сохраняются в базу.
Без входных настроек, для эстетов.
63498


Поиск в шаблоне не делал, поэтому придется потратить минуту на подготовку.

Перед парсингом нужно выбрать город и объект недвижимости для парсинга,
я покажу на примере города Кириши, 1-комнатные квартиры.
На главной cтранице сайта https://www.domofond.ru/ нажимаете область (Ленинградская, например) в строке поиска - Кириши,
и ниже выбираете 1. Затем кликаете на желтую кнопку Найти.
63499


На открывшейся странице копируете в браузере ссылку.
C#:
https://www.domofond.ru/prodazha-odnokomnatnyh-kvartir-kirishi-c3341
63500


Вставляете эту ссылку в 35-ю строку кода в PM и запускаете парсинг.
63501


Открыть полученную базу данных можно с помощью программы SQLite Studio. Выбираете базу, а затем в ней таблицу.
63502


Также добавил конвертер данных из Sqlite в обычный файл Excel. Конвертация происходит автоматически после завершения парсинга.
Кроме того, отдельно добавлен парсер номеров телефонов (на web) продавцов квартир,
который запустится после создания Excel таблицы и в неё же допишет номер напротив каждого объявления.
Получится вот так:
63503


Библиотеки HtmlAgilityPack и System.Data.Sqlite прилагаются.
Их нужно скопировать в папку ExternalAssemblies, а затем выбрать в GAC.

Парсер легко переделать для сбора информации почти с любого сайта.
Для этого нужно изменить только данные GET запроса, пагинацию и пути XPath.
 
Категория
Парсинг
Номер конкурса шаблонов
Шестой конкурс шаблонов
Уровень сложности
Продвинутый

Вложения

Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

radv

Client
Регистрация
11.05.2015
Сообщения
3 820
Благодарностей
2 030
Баллы
113

vesb

Client
Регистрация
13.03.2010
Сообщения
139
Благодарностей
18
Баллы
18
у меня при запуске пишет, что не хватает библиотек:
Он нужны?

 

vesb

Client
Регистрация
13.03.2010
Сообщения
139
Благодарностей
18
Баллы
18
И еще я правильно понимаю, что он картинки\фото не парсит из объявлений?
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 440
Благодарностей
5 459
Баллы
113

vesb

Client
Регистрация
13.03.2010
Сообщения
139
Благодарностей
18
Баллы
18


Я скопировал, просто видим нужны и другие библиотеки
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 440
Благодарностей
5 459
Баллы
113

vesb

Client
Регистрация
13.03.2010
Сообщения
139
Благодарностей
18
Баллы
18
PM перезапускали после копирования библиотек?
Перезапускал, но на скрине видно, что он просит положить эти библиотеки. Просто возможно они не нужны, но есть в шаблоне

поэтому, если они не нужны, то видимо их надо наоборот удалить изи GAC?
 

Mikhail B.

Client
Регистрация
23.12.2014
Сообщения
14 440
Благодарностей
5 459
Баллы
113
Перезапускал, но на скрине видно, что он просит положить эти библиотеки. Просто возможно они не нужны, но есть в шаблоне

поэтому, если они не нужны, то видимо их надо наоборот удалить изи GAC?
Возможно недочет автора, попробуйте удалите лишние. Если не поможет, то лучше дождаться ответа самого автора.
 

soprano

Client
Регистрация
25.08.2011
Сообщения
866
Благодарностей
948
Баллы
93
Webdriver.dll и Epplus не нужны.
Шаблон без проблем в 5-й версии запускается, в 7-й могут быть траблы.
 
  • Спасибо
Реакции: Mikhail B.

soprano

Client
Регистрация
25.08.2011
Сообщения
866
Благодарностей
948
Баллы
93

silom2000

Client
Регистрация
16.12.2019
Сообщения
31
Благодарностей
7
Баллы
8
Запустил на версии 7.17.0
using.jpg
GAC.jpg
 

Вложения

Advert31337

Client
Регистрация
18.12.2016
Сообщения
53
Благодарностей
38
Баллы
18
72840


Почему-то тут выеживается при загрузке в пм
 

Phoenix78

Client
Read only
Регистрация
06.11.2018
Сообщения
11 789
Благодарностей
5 721
Баллы
113

Advert31337

Client
Регистрация
18.12.2016
Сообщения
53
Благодарностей
38
Баллы
18
Почистил ссылки из Gac и завелось. Тут автору стоит отслеживать этот момент.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)