Как получить код ответа сервера с миллиона страниц за короткий промежуток времени?

Roman1990

Новичок
Регистрация
16.10.2023
Сообщения
1
Благодарностей
0
Баллы
1
Здравствуйте!

Мне необходимо получить код ответа сервера с миллиона страниц сайта.
Урлы которые нужно проверить закинул в список.
В шаблоне беру урл, закидываю в переменную. Потом отправляю GET запрос с этим урлом, результат записывается в список. В кубике указал загружать только заголовки.
В 1 поток Зеннопостер проверяет 360 урлов в минуту. При увеличение количества потоков проверить больше 420 урлов не получается. Подскажите ,пожалуйста, что можно сделать чтобы ускорить проверку код ответа сервера?
 

Dmitriy Ka

Client
Регистрация
03.05.2016
Сообщения
713
Благодарностей
456
Баллы
63
Здравствуйте!

Мне необходимо получить код ответа сервера с миллиона страниц сайта.
Урлы которые нужно проверить закинул в список.
В шаблоне беру урл, закидываю в переменную. Потом отправляю GET запрос с этим урлом, результат записывается в список. В кубике указал загружать только заголовки.
В 1 поток Зеннопостер проверяет 360 урлов в минуту. При увеличение количества потоков проверить больше 420 урлов не получается. Подскажите ,пожалуйста, что можно сделать чтобы ускорить проверку код ответа сервера?
Попробуй параллельные запросы
 
  • Спасибо
Реакции: Roman1990

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)