Парсер сайта недвижимости на Get-запросах (C#) в базу Sqlite + конвертер в Excel.

[soprano]

Здравствуйте.
На форуме не очень много информации по бессерверным базам данным, поэтому попытаюсь частично это исправить.
Предлагаю вашему вниманию парсер недвижимости сайта domofond.ru с сохранением информации в базу данных Sqlite.
Парсер написан на C# и на запросах (отслеживал запросы, кстати, в ZP, не хуже Fiddler'а), работает стабильно, после окончания парсинга все данные сохраняются в базу.
Без входных настроек, для эстетов.

Поиск в шаблоне не делал, поэтому придется потратить минуту на подготовку.

Перед парсингом нужно выбрать город и объект недвижимости для парсинга,
я покажу на примере города Кириши, 1-комнатные квартиры.
На главной cтранице сайта https://www.domofond.ru/ нажимаете область (Ленинградская, например) в строке поиска - Кириши,
и ниже выбираете 1. Затем кликаете на желтую кнопку Найти.

На открывшейся странице копируете в браузере ссылку.

https://www.domofond.ru/prodazha-odnokomnatnyh-kvartir-kirishi-c3341

Вставляете эту ссылку в 35-ю строку кода в PM и запускаете парсинг.

Открыть полученную базу данных можно с помощью программы SQLite Studio. Выбираете базу, а затем в ней таблицу.

Также добавил конвертер данных из Sqlite в обычный файл Excel. Конвертация происходит автоматически после завершения парсинга.
Кроме того, отдельно добавлен парсер номеров телефонов (на web) продавцов квартир,
который запустится после создания Excel таблицы и в неё же допишет номер напротив каждого объявления.
Получится вот так:

Библиотеки HtmlAgilityPack и System.Data.Sqlite прилагаются.
Их нужно скопировать в папку ExternalAssemblies, а затем выбрать в GAC.

Парсер легко переделать для сбора информации почти с любого сайта.
Для этого нужно изменить только данные GET запроса, пагинацию и пути XPath.

 

[radv]

Также добавил конвертер данных из Sqlite в обычный файл Excel. Конвертация происходит автоматически после завершения парсинга.

Спасибо, полезная вещь.

 

[vesb]

у меня при запуске пишет, что не хватает библиотек:
Он нужны?

 

[vesb]

И еще я правильно понимаю, что он картинки\фото не парсит из объявлений?

 

[Mikhail B.]

у меня при запуске пишет, что не хватает библиотек:
Он нужны?

Библиотеки HtmlAgilityPack и System.Data.Sqlite прилагаются.
Их нужно скопировать в папку ExternalAssemblies, а затем выбрать в GAC.

 

[vesb]

Я скопировал, просто видим нужны и другие библиотеки

 

[Mikhail B.]

Я скопировал, просто видим нужны и другие библиотеки

PM перезапускали после копирования библиотек?

 

[vesb]

PM перезапускали после копирования библиотек?

Перезапускал, но на скрине видно, что он просит положить эти библиотеки. Просто возможно они не нужны, но есть в шаблоне

поэтому, если они не нужны, то видимо их надо наоборот удалить изи GAC?

 

[Mikhail B.]

Перезапускал, но на скрине видно, что он просит положить эти библиотеки. Просто возможно они не нужны, но есть в шаблоне

поэтому, если они не нужны, то видимо их надо наоборот удалить изи GAC?

Возможно недочет автора, попробуйте удалите лишние. Если не поможет, то лучше дождаться ответа самого автора.

 

[soprano]

Webdriver.dll и Epplus не нужны.
Шаблон без проблем в 5-й версии запускается, в 7-й могут быть траблы.

 

[soprano]

И еще я правильно понимаю, что он картинки\фото не парсит из объявлений?

Можно и фото, или ссылки на них, не хотел утяжелять.

 

[silom2000]

Запустил на версии 7.17.0

 

[Advert31337]

Почему-то тут выеживается при загрузке в пм

 

[Phoenix78]

Посмотреть вложение 72840

Почему-то тут выеживается при загрузке в пм

библиотеки не может найти.

 

[Advert31337]

Почистил ссылки из Gac и завелось. Тут автору стоит отслеживать этот момент.