Нужен шаблон для парсера сайта хттр://bgp.he.net/country/RU
Есть файл, в котором построчно даны данные:
AS20764
AS20485
AS47441
AS8492
Из этого файла берется каждая строка, и генерируется URL. Пример: https://bgp.he.net/AS20764#_prefixes
Софт проходит по полученной ссылке, ивзлекает подсети и сохраняет их в результирующий файл.
Выполняется пауза со случайной длительностью, которую пользователь софта может регулировать с помощью задания диапазона. Например, пользователь может задать диапазон паузы от 1000 до 4000 мили секунд. Нужно именно в миллисекундах, чтобы можно было оперировать десятыми долями секунд.
Затем берется следующая строка из входного файла и все повторяется снова.
Если не удалось извлечь подсети со страницы, то данные из входящего файла сохраняются в специальный файл с ошибками. Либо, на усмотрения исполнителя, найденные подсети можно сохранять в отдельные файлы (например, AS20764.txt). Одно из двух. Это нужно для того, чтобы можно было обнаружить пропуски в работе софта. - На целевом сайте имеются защиты от парсинга.
С ценами и предложениями в ПМ.
Есть файл, в котором построчно даны данные:
AS20764
AS20485
AS47441
AS8492
Из этого файла берется каждая строка, и генерируется URL. Пример: https://bgp.he.net/AS20764#_prefixes
Софт проходит по полученной ссылке, ивзлекает подсети и сохраняет их в результирующий файл.
Выполняется пауза со случайной длительностью, которую пользователь софта может регулировать с помощью задания диапазона. Например, пользователь может задать диапазон паузы от 1000 до 4000 мили секунд. Нужно именно в миллисекундах, чтобы можно было оперировать десятыми долями секунд.
Затем берется следующая строка из входного файла и все повторяется снова.
Если не удалось извлечь подсети со страницы, то данные из входящего файла сохраняются в специальный файл с ошибками. Либо, на усмотрения исполнителя, найденные подсети можно сохранять в отдельные файлы (например, AS20764.txt). Одно из двух. Это нужно для того, чтобы можно было обнаружить пропуски в работе софта. - На целевом сайте имеются защиты от парсинга.
С ценами и предложениями в ПМ.
