Сбор ссылок с сайта на ASP.NET

[KolkaPetkinSyn]

Привет мужики, выручайте

Есть задача собрать данные с сайта https://www.globalair.com/
Как оказалось он на asp.net. Инфу дёргать получается, а вот собрать ссылки, дл этого, нет
Файла sitemap.xml нет, в поиске нужных страниц нет.

Подскажите решение. Пожалуйста.

 

[Buch]

Привет! Если ссылок не особо много можно расширение для хрома попробовать. linkgopher. Иногда пользуюсь.

 

[KolkaPetkinSyn]

Привет! Если ссылок не особо много можно расширение для хрома попробовать. linkgopher. Иногда пользуюсь.

Спасибо, но она их тоже не видит

 

[Buch]

Не оно?
От сюда https://www.globalair.com/directories/

 

[KolkaPetkinSyn]

Нет.
Допустим от сюда https://www.globalair.com/aircraft-for-sale/Citation-Bravo
нужны ссылки на все самолёты. Идеи есть, но много ручного труда

 

[arhip1985]

как вариант - кликать на каждый див самолёта переходить на страницу брать урл - и закрывать её и так далее, в однопоточном режиме будет работать.
тут дело не в том, что асп, а в том что переход на самолёт жс направляет, а не ссылка в штмл

 

[Buch]

нужны ссылки на все самолёты

Давно самолетами приторговываешь..?)))))
По делу,не знаю тогда. Думаю arhip правильно говорит.

 

[ibred]

Нет.
Допустим от сюда https://www.globalair.com/aircraft-for-sale/Citation-Bravo
нужны ссылки на все самолёты. Идеи есть, но много ручного труда

Как бы сделал я, исходя из контексте этой задачи:

Ссылка на каталог выглядит так: https://www.globalair.com/aircraft-for-sale/Citation-Bravo
Ссылка на самолёт: https://www.globalair.com/aircraft-for-sale/ListingDetail/Citation-Bravo?AdId=XXXXX

Подробная ссылка нам недоступна из исходного кода, но мы можем сформировать её самостоятельно.
Для этого с помощью регулярных выражений и замены добавляем /ListingDetail/ перед названием модели самолёта.

Далее нам нужен его ID, который можно найти здесь:

Парсим данный элемент, забирая только цифры.
Формируем ссылку:

https://www.globalair.com/aircraft-for-sale/ListingDetail/Citation-Bravo?AdId={-Variable.ID-}

 

[KolkaPetkinSyn]

Там формирование ссылок идёт с помощью добавление в урл категории слова ListingDetail и ?AdId=83666 где 83666 номер страниц объявления и эти номер есть в коде категории. Сейчас осталось придумать как листать страницы категории где их несколько

 

[KolkaPetkinSyn]

ну прям с языка сняли
Всем большое спасибо

 

[ibred]

Там формирование ссылок идёт с помощью добавление в урл категории слова ListingDetail и ?AdId=83666 где 83666 номер страниц объявления и эти номер есть в коде категории. Сейчас осталось придумать как листать страницы категории где их несколько

Там ничего придумывать не нужно, перелистывание реализовано "табами".
Все элементы доступны на первой странице, в чём можете убедиться самостоятельно.
Перейдите на страницу категории и кликните на вторую страницу:
https://www.globalair.com/aircraft-for-sale/Citation-Bravo

И возьмите AdId последнего самолёта (82884).
Далее откройте исходный код категории и увидите, что этот ID есть в исходном коде.