Если вы когда-либо пытались написать собственный веб-краулер, вы, вероятно, сталкивались с такой ситуацией: после отправки нескольких сотен запросов вы внезапно получаете ошибку 403 или страницу CAPTCHA — ваш IP-адрес помечен как подозрительный.
Ниже приведено объяснение того, почему и как...