Как получить код ответа сервера с миллиона страниц за короткий промежуток времени?

  • Автор темы Автор темы Roman1990
  • Дата начала Дата начала

Roman1990

Новичок
Регистрация
16.10.2023
Сообщения
1
Реакции
0
Баллы
1
Здравствуйте!

Мне необходимо получить код ответа сервера с миллиона страниц сайта.
Урлы которые нужно проверить закинул в список.
В шаблоне беру урл, закидываю в переменную. Потом отправляю GET запрос с этим урлом, результат записывается в список. В кубике указал загружать только заголовки.
В 1 поток Зеннопостер проверяет 360 урлов в минуту. При увеличение количества потоков проверить больше 420 урлов не получается. Подскажите ,пожалуйста, что можно сделать чтобы ускорить проверку код ответа сервера?
 
Здравствуйте!

Мне необходимо получить код ответа сервера с миллиона страниц сайта.
Урлы которые нужно проверить закинул в список.
В шаблоне беру урл, закидываю в переменную. Потом отправляю GET запрос с этим урлом, результат записывается в список. В кубике указал загружать только заголовки.
В 1 поток Зеннопостер проверяет 360 урлов в минуту. При увеличение количества потоков проверить больше 420 урлов не получается. Подскажите ,пожалуйста, что можно сделать чтобы ускорить проверку код ответа сервера?
Попробуй параллельные запросы
 
  • Оценить
Реакции: Roman1990

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)