Help! сайт открывается в web, но отдает 403 при get запросе

  • Автор темы Автор темы fazan
  • Дата начала Дата начала
F

fazan

Client
Регистрация
25.12.2014
Сообщения
106
Реакции
13
Баллы
18
Всем привет. Успешно парсил около полу года сайт cian.ru на get запросах.
На днях сайт начал отдавать 403 ошибку на гет запросы. В настройках экшена гет запроса перепробовал всевозможные настройки, результат все тот же 403.
Через монитор трафика при открытии страницы в вебе вижу гет запрос. Пытаюсь его повторить, а в ответ 403.
Как понимаю сайт палит что запросы поступают автоматически и запрещает мне доступ.
Дайте пожалуйста рекомендации как действовать в подобных ситуациях, какие "примитивные" меры возможно применить для обхода данной неприятности?
Согласен на платную консультацию для решения моего вопроса. Если сможете ее оказать напишите мне в TG: anMetra
Задача совершить гет запрос на страницу: https://lipetsk.cian.ru/cat.php?dea...m9=1&type=4&sort=creation_date_desc&zerocom=0 и получить ответ 200 с содержимым страницы для дальнейшего парсинга.
 
там cloudflare изо всех щелей торчит. а его на зенке и на запросах, точно не получится пройти.
 
Ilshakin написал(а):
смотря, кто будет проходить :D
Нажмите для раскрытия...
в зенке не пройдешь. до сих пор висят темы по клауду на форуме. так и не нашли решение. а разрабы морозятся по этой проблеме.
сторонние решения через доп. программы это не в зенке, если что.
 
Phoenix78 написал(а):
в зенке не пройдешь. до сих пор висят темы по клауду на форуме. так и не нашли решение. а разрабы морозятся по этой проблеме.
сторонние решения через доп. программы это не в зенке, если что.
Нажмите для раскрытия...

тормози

 
Прикольно. У меня тоже ответ 200 :bk:

Давно я запросы не пробовал делать :bk: Видать зенка что то научилась делать с клаудом :df:
Хотя может там и не клауд вообще....
 
fazan написал(а):
Всем привет. Успешно парсил около полу года сайт cian.ru на get запросах.
На днях сайт начал отдавать 403 ошибку на гет запросы. В настройках экшена гет запроса перепробовал всевозможные настройки, результат все тот же 403.
Через монитор трафика при открытии страницы в вебе вижу гет запрос. Пытаюсь его повторить, а в ответ 403.
Как понимаю сайт палит что запросы поступают автоматически и запрещает мне доступ.
Дайте пожалуйста рекомендации как действовать в подобных ситуациях, какие "примитивные" меры возможно применить для обхода данной неприятности?
Согласен на платную консультацию для решения моего вопроса. Если сможете ее оказать напишите мне в TG: anMetra
Задача совершить гет запрос на страницу: https://lipetsk.cian.ru/cat.php?dea...m9=1&type=4&sort=creation_date_desc&zerocom=0 и получить ответ 200 с содержимым страницы для дальнейшего парсинга.
Нажмите для раскрытия...
короче пробуй с такими настройками проекта.

93987
 
  • Оценить
Реакции: fazan
Работайте с альтернативным, но учитывайте, что TLS 1.3 пока не поддерживается.
 
  • Оценить
Реакции: fazan
Zymlex написал(а):
Работайте с альтернативным, но учитывайте, что TLS 1.3 пока не поддерживается.
Нажмите для раскрытия...
Phoenix78 написал(а):
короче пробуй с такими настройками проекта.
Нажмите для раскрытия...
С альтернативным способом не работает у меня. Он уже ранее был установлен в настройках проекта((( Уже у трех человек ответ отдает 200, а у меня 403. Пробовал разные прокси, подключаться к разным мобильным провайдерам, менять ПК - результат один ошибка 403. Можете ткнуть в нужном направлении?
 
fazan написал(а):
С альтернативным способом не работает у меня. Он уже ранее был установлен в настройках проекта((( Уже у трех человек ответ отдает 200, а у меня 403. Пробовал разные прокси, подключаться к разным мобильным провайдерам, менять ПК - результат один ошибка 403. Можете ткнуть в нужном направлении?
Нажмите для раскрытия...
версия зенки какая ?
 
7.7.0.0
Заголовок ответа:

HTTP/1.1 403 Forbidden
Date: Tue, 05 Jul 2022 09:42:24 GMT
Transfer-Encoding: chunked
Connection: close
CF-Chl-Bypass: 1
Permissions-Policy: accelerometer=(),autoplay=(),camera=(),clipboard-read=(),clipboard-write=(),fullscreen=(),geolocation=(),gyroscope=(),hid=(),interest-cohort=(),magnetometer=(),microphone=(),payment=(),publickey-credentials-get=(),screen-wake-lock=(),serial=(),sync-xhr=(),usb=()
Cache-Control: no-store, must-revalidate, no-cache, max-age=0, private, post-check=0, pre-check=0
X-Frame-Options: SAMEORIGIN
Expect-CT: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
Vary: Accept-Encoding
Server: cloudflare
CF-RAY: 725f26846bb716b7-DME
alt-svc: h3=":443"; ma=86400, h3-29=":443"; ma=86400
Content-Type: text/html; charset=UTF-8
Expires: Thu, 01 Jan 1970 00:00:01 GMT
Content-Encoding: gzip
Content-Length: 39893
 
fazan написал(а):
ага, есть предположения, что я делаю не так?
Нажмите для раскрытия...
вряд ли это проблема со стороны пользователя.
Какая система стоит ? .Net 4.8 установлен ? последние обновы для винды стоят ?
 
Ilshakin написал(а):
это то тут причем ?
win7 net 4.6 обнова винды году так в 2019 была ....
Нажмите для раскрытия...
хз при чем... обычные наводящие вопросы. у тебя проблемы с этим ? Блесни знаниями и без наводящих вопросов реши проблему человеку. тем более что у вас одинаковые системы.
Куда мне с моей 11-й виндой. :bk:
 
fazan написал(а):
https://zennolab.com/discussion/thr...020-pri-ispolzovanii-post-get-zaprosov.92690/ такая же проблема. У меня гет запросы на https://zennolab.com/ также 403 ошибку отдают
Нажмите для раскрытия...
да там у половины людей нормально запросы проходят, а у половины нет.
я вот как раз из-за той темы и написал первым ответом, что зенка не проходит клауд. вернее проходит, но не у всех. в общем такой вот геморой.
ну там был костыль через RestSharp во внешнем приложении. но это считай решение вне Зенно.
 
  • Оценить
Реакции: fazan
Phoenix78 написал(а):
да там у половины людей нормально запросы проходят, а у половины нет.
я вот как раз из-за той темы и написал первым ответом, что зенка не проходит клауд. вернее проходит, но не у всех. в общем такой вот геморой.
ну там был костыль через RestSharp во внешнем приложении. но это считай решение вне Зенно.
Нажмите для раскрытия...
Спасибо за подсказки. Буду перепиливать шаблон на браузерный.
 
Привет ребят, а как куки собрать используя альтернативный метод ?
 
Просто дернуть гетом нужный сайт и получите все куки что он отдает.
 
one написал(а):
Просто дернуть гетом нужный сайт и получите все куки что он отдает.
Нажмите для раскрытия...
Да получилось.

Еще вопрос: Почему-то при отправке post запроса через браузер выходит 200 ок, но как только это делаю через экшен post запрос выходит 500 ошибка, непойму в чем дело?
 
А в чем разница между стандартным и альтернативным?
У меня на стандартном 403 от CF, а на альтернативном все работает.
 
cooki написал(а):
А в чем разница между стандартным и альтернативным?
У меня на стандартном 403 от CF, а на альтернативном все работает.
Нажмите для раскрытия...
но сейчас лучше использовать curl (который в виде отдельного exe).
 
cooki написал(а):
А в чем разница между стандартным и альтернативным?
У меня на стандартном 403 от CF, а на альтернативном все работает.
Нажмите для раскрытия...
А у меня шаблон что выше выложили для теста на стандартном 200 на альтернативном 403. Постер 7.7.3
 
Войдите или зарегистрируйтесь для ответа.

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)

Сверху Снизу