Паршу инет магаз косметики парфюм api их пост запросами, сначала идёт всё нормально, потом выдает 403 ошибку, лимит наверное стоит. но прокси и смена юзерагента не помогает, может надо менять что-то в заголовках. не особо разбираюсь. можно ли без проблем парсить такой сайт, в поиске не нашел.
403 на post запросах
- Автор темы Vladik
- Дата начала
zarufakis
Client
- Регистрация
- 22.03.2019
- Сообщения
- 1 832
- Благодарностей
- 1 209
- Баллы
- 113
Посмотри в заголовках ответа. Должен быть заголовок со словом "limit". Обычно значений три:
1. общее количество запросов
2. остаток запросов
3. окно в течении которого действует лимит запросв (обычно unixtime)
После истечении времени (3) открывается новое окно и обновляется лимит запросов.
Выхода два:
1. Увеличивать паузы между запросами, что бы уложиться количеством запросов в лимит
2. Смириться с тем, что выпаршиваются не все данные.
1. общее количество запросов
2. остаток запросов
3. окно в течении которого действует лимит запросв (обычно unixtime)
После истечении времени (3) открывается новое окно и обновляется лимит запросов.
Выхода два:
1. Увеличивать паузы между запросами, что бы уложиться количеством запросов в лимит
2. Смириться с тем, что выпаршиваются не все данные.
Последнее редактирование:
