Help! сайт открывается в web, но отдает 403 при get запросе

[fazan]

Всем привет. Успешно парсил около полу года сайт cian.ru на get запросах.
На днях сайт начал отдавать 403 ошибку на гет запросы. В настройках экшена гет запроса перепробовал всевозможные настройки, результат все тот же 403.
Через монитор трафика при открытии страницы в вебе вижу гет запрос. Пытаюсь его повторить, а в ответ 403.
Как понимаю сайт палит что запросы поступают автоматически и запрещает мне доступ.
Дайте пожалуйста рекомендации как действовать в подобных ситуациях, какие "примитивные" меры возможно применить для обхода данной неприятности?
Согласен на платную консультацию для решения моего вопроса. Если сможете ее оказать напишите мне в TG: anMetra
Задача совершить гет запрос на страницу: https://lipetsk.cian.ru/cat.php?deal_type=rent&engine_version=2&offer_type=flat&region=4847&room0=1&room1=1&room2=1&room3=1&room4=1&room5=1&room6=1&room7=1&room9=1&type=4&sort=creation_date_desc&zerocom=0 и получить ответ 200 с содержимым страницы для дальнейшего парсинга.

 

[Phoenix78]

там cloudflare изо всех щелей торчит. а его на зенке и на запросах, точно не получится пройти.

 

[Ilshakin]

там cloudflare изо всех щелей торчит. а его на зенке и на запросах, точно не получится пройти.

смотря, кто будет проходить

 

[Phoenix78]

смотря, кто будет проходить

в зенке не пройдешь. до сих пор висят темы по клауду на форуме. так и не нашли решение. а разрабы морозятся по этой проблеме.
сторонние решения через доп. программы это не в зенке, если что.

 

[Ilshakin]

в зенке не пройдешь. до сих пор висят темы по клауду на форуме. так и не нашли решение. а разрабы морозятся по этой проблеме.
сторонние решения через доп. программы это не в зенке, если что.

тормози

 

[Phoenix78]

Прикольно. У меня тоже ответ 200

Давно я запросы не пробовал делать Видать зенка что то научилась делать с клаудом
Хотя может там и не клауд вообще....

 

[Phoenix78]

Всем привет. Успешно парсил около полу года сайт cian.ru на get запросах.
На днях сайт начал отдавать 403 ошибку на гет запросы. В настройках экшена гет запроса перепробовал всевозможные настройки, результат все тот же 403.
Через монитор трафика при открытии страницы в вебе вижу гет запрос. Пытаюсь его повторить, а в ответ 403.
Как понимаю сайт палит что запросы поступают автоматически и запрещает мне доступ.
Дайте пожалуйста рекомендации как действовать в подобных ситуациях, какие "примитивные" меры возможно применить для обхода данной неприятности?
Согласен на платную консультацию для решения моего вопроса. Если сможете ее оказать напишите мне в TG: anMetra
Задача совершить гет запрос на страницу: https://lipetsk.cian.ru/cat.php?deal_type=rent&engine_version=2&offer_type=flat&region=4847&room0=1&room1=1&room2=1&room3=1&room4=1&room5=1&room6=1&room7=1&room9=1&type=4&sort=creation_date_desc&zerocom=0 и получить ответ 200 с содержимым страницы для дальнейшего парсинга.

короче пробуй с такими настройками проекта.

 

[Yuriy Zymlex]

Работайте с альтернативным, но учитывайте, что TLS 1.3 пока не поддерживается.

 

[fazan]

Работайте с альтернативным, но учитывайте, что TLS 1.3 пока не поддерживается.

короче пробуй с такими настройками проекта.

С альтернативным способом не работает у меня. Он уже ранее был установлен в настройках проекта((( Уже у трех человек ответ отдает 200, а у меня 403. Пробовал разные прокси, подключаться к разным мобильным провайдерам, менять ПК - результат один ошибка 403. Можете ткнуть в нужном направлении?

 

[Phoenix78]

С альтернативным способом не работает у меня. Он уже ранее был установлен в настройках проекта((( Уже у трех человек ответ отдает 200, а у меня 403. Пробовал разные прокси, подключаться к разным мобильным провайдерам, менять ПК - результат один ошибка 403. Можете ткнуть в нужном направлении?

версия зенки какая ?

 

[fazan]

7.7.0.0
Заголовок ответа:

HTTP/1.1 403 Forbidden
Date: Tue, 05 Jul 2022 09:42:24 GMT
Transfer-Encoding: chunked
Connection: close
CF-Chl-Bypass: 1
Permissions-Policy: accelerometer=(),autoplay=(),camera=(),clipboard-read=(),clipboard-write=(),fullscreen=(),geolocation=(),gyroscope=(),hid=(),interest-cohort=(),magnetometer=(),microphone=(),payment=(),publickey-credentials-get=(),screen-wake-lock=(),serial=(),sync-xhr=(),usb=()
Cache-Control: no-store, must-revalidate, no-cache, max-age=0, private, post-check=0, pre-check=0
X-Frame-Options: SAMEORIGIN
Expect-CT: max-age=604800, report-uri="https://report-uri.cloudflare.com/cdn-cgi/beacon/expect-ct"
Vary: Accept-Encoding
Server: cloudflare
CF-RAY: 725f26846bb716b7-DME
alt-svc: h3=":443"; ma=86400, h3-29=":443"; ma=86400
Content-Type: text/html; charset=UTF-8
Expires: Thu, 01 Jan 1970 00:00:01 GMT
Content-Encoding: gzip
Content-Length: 39893

 

[fazan]

Пример проекта

 

[Phoenix78]

Пример проекта

 

[fazan]

Посмотреть вложение 94008

ага, есть предположения, что я делаю не так?

 

[Phoenix78]

ага, есть предположения, что я делаю не так?

вряд ли это проблема со стороны пользователя.
Какая система стоит ? .Net 4.8 установлен ? последние обновы для винды стоят ?

 

[Ilshakin]

Какая система стоит ? .Net 4.8 установлен ? последние обновы для винды стоят ?

это то тут причем ?
win7 net 4.6 обнова винды году так в 2019 была ....

 

[fazan]

последние обновы для винды стоят ?

Давненько не устанавливал

.Net 4.8 установлен ?

Установил не помогло

Какая система стоит ?

Windows7 и Windows Server 2019

 

[Phoenix78]

это то тут причем ?
win7 net 4.6 обнова винды году так в 2019 была ....

хз при чем... обычные наводящие вопросы. у тебя проблемы с этим ? Блесни знаниями и без наводящих вопросов реши проблему человеку. тем более что у вас одинаковые системы.
Куда мне с моей 11-й виндой.

 

[fazan]

https://zennolab.com/discussion/threads/net-podderzhki-tls-1-3-oshibki-403-1020-pri-ispolzovanii-post-get-zaprosov.92690/ такая же проблема. У меня гет запросы на https://zennolab.com/ также 403 ошибку отдают

 

[Phoenix78]

https://zennolab.com/discussion/threads/net-podderzhki-tls-1-3-oshibki-403-1020-pri-ispolzovanii-post-get-zaprosov.92690/ такая же проблема. У меня гет запросы на https://zennolab.com/ также 403 ошибку отдают

да там у половины людей нормально запросы проходят, а у половины нет.
я вот как раз из-за той темы и написал первым ответом, что зенка не проходит клауд. вернее проходит, но не у всех. в общем такой вот геморой.
ну там был костыль через RestSharp во внешнем приложении. но это считай решение вне Зенно.

 

[fazan]

.

 

[fazan]

да там у половины людей нормально запросы проходят, а у половины нет.
я вот как раз из-за той темы и написал первым ответом, что зенка не проходит клауд. вернее проходит, но не у всех. в общем такой вот геморой.
ну там был костыль через RestSharp во внешнем приложении. но это считай решение вне Зенно.

Спасибо за подсказки. Буду перепиливать шаблон на браузерный.

 

[ser222]

Привет ребят, а как куки собрать используя альтернативный метод ?

 

[one]

Просто дернуть гетом нужный сайт и получите все куки что он отдает.

 

[ser222]

Просто дернуть гетом нужный сайт и получите все куки что он отдает.

Да получилось.

Еще вопрос: Почему-то при отправке post запроса через браузер выходит 200 ок, но как только это делаю через экшен post запрос выходит 500 ошибка, непойму в чем дело?

 

[cooki]

А в чем разница между стандартным и альтернативным?
У меня на стандартном 403 от CF, а на альтернативном все работает.

 

[Yuriy Zymlex]

А в чем разница между стандартным и альтернативным?
У меня на стандартном 403 от CF, а на альтернативном все работает.

https://zennolab.com/discussion/threads/kak-vybrat-sposob-otpravki-zaprosov-standartnyj-alternativnyj.85308/post-573513

но сейчас лучше использовать curl (который в виде отдельного exe).

 

[one]

А в чем разница между стандартным и альтернативным?
У меня на стандартном 403 от CF, а на альтернативном все работает.

А у меня шаблон что выше выложили для теста на стандартном 200 на альтернативном 403. Постер 7.7.3