Перестали работать запросы

[SlavenTyz]

Всем привет, написал проект несколько месяцев назад и все хорошо работало, до вчерашнего дня

 

[SlavenTyz]

Вот сам запрос

https://www.sofascore.com/api/v1/sport/football/categories/all

Прокси меняю при помощи платного VPN, раньше же не полился бот. Профили иногда загружаю, иногда новые создаю. Подскажите куда копать, почему сайт палит бота

 

[Phoenix78]

В ответе написано , Запрещено.
На сайт заходишь , там Клауд капча.
Тебе просто надо отснифать отправку запроса заново , возможно немного изменилось прохождение капчи.

 

[SlavenTyz]

В ответе написано , Запрещено.
На сайт заходишь , там Клауд капча.
Тебе просто надо отснифать отправку запроса заново , возможно немного изменилось прохождение капчи.

запрос не изменился, на картинке ответ один и тот же запрос но сайт по разному реагирует

 

[Phoenix78]

Снифай запросы и сравнивай, что уходит из браузера и что у тебя уходит без браузера.

 

[SlavenTyz]

А как их снифить вот кубик

А вот рабочий запрос

 

[sitemapfox]

Даже у платного впн это же общие айпишники, их могли уже другие боты засветить. Может поэтому и реагирует по разному, смотря какой сервер попался

 

[n0n3mi1y]

Вот сам запрос

https://www.sofascore.com/api/v1/sport/football/categories/all

Прокси меняю при помощи платного VPN, раньше же не полился бот. Профили иногда загружаю, иногда новые создаю. Подскажите куда копать, почему сайт палит бота

Возможно еще из-за способа передачи транспорта, попробуйте клиент Tls для запросов использовать

 

[SlavenTyz]

Возможно еще из-за способа передачи транспорта, попробуйте клиент Tls для запросов использовать

Подскажите а где это можно сделать "попробуйте клиент Tls для запросов использовать"

 

[Dmitriy_Zenno]

Подскажите а где это можно сделать "попробуйте клиент Tls для запросов использовать"

В Настройках проекта.

 

[SlavenTyz]

В Настройках проекта.

Посмотреть вложение 144599

Не помогло

 

[Zhekaz]

Проверил на curl-impersonate - работает

 

[sitemapfox]

А curl-impersonate это прямо из зенки можно дёрнуть?

 

[SlavenTyz]

Проверил на curl-impersonate - работает

а что это такое

 

[SlavenTyz]

Кстати я вот о чем подумал, при загрузке страницы нужные запросы и так прогружаются, зачем их заново делать. Можно ли эти запросы обрабатывать

 

[Zhekaz]

а что это такое

GitHub - lexiforest/curl-impersonate: An active fork of curl-impersonate with more versions and build targets. A series of patches that make curl requests look like Chrome, Firefox and Safari.

An active fork of curl-impersonate with more versions and build targets. A series of patches that make curl requests look like Chrome, Firefox and Safari. - lexiforest/curl-impersonate

github.com

В зенке юзаю где-то его
А где-то https://github.com/bogdanfinn/tls-client-api
Ну последний уже к зенке прикручен, он же Tls клиент в настройках проекта. Но как-то криво его что ль прикрутили, через одно место работает. Поэтому юзаю отдельно, а не встроенный вариант

 

[n0n3mi1y]

Кстати я вот о чем подумал, при загрузке страницы нужные запросы и так прогружаются, зачем их заново делать. Можно ли эти запросы обрабатывать Посмотреть вложение 144631

Можно. Через "Монитор трафика".

 

[Sergodjan]

GitHub - lexiforest/curl-impersonate: An active fork of curl-impersonate with more versions and build targets. A series of patches that make curl requests look like Chrome, Firefox and Safari.

An active fork of curl-impersonate with more versions and build targets. A series of patches that make curl requests look like Chrome, Firefox and Safari. - lexiforest/curl-impersonate

github.com

В зенке юзаю где-то его
А где-то https://github.com/bogdanfinn/tls-client-api
Ну последний уже к зенке прикручен, он же Tls клиент в настройках проекта. Но как-то криво его что ль прикрутили, через одно место работает. Поэтому юзаю отдельно, а не встроенный вариант

Можете подробнее описать, что именно криво работает во встроенной реализации по сравнению с оригинальной? Передам разработчикам.

 

[SlavenTyz]

Можете подробнее описать, что именно криво работает во встроенной реализации по сравнению с оригинальной? Передам разработчикам.

А вы можете обьяснить как получить ответ запроса, который Зенка и так получила, что бы заново такой же запрос не делать

 

[Moonwalker]

А вы можете обьяснить как получить ответ запроса, который Зенка и так получила, что бы заново такой же запрос не делать

Потому что обычно в таких ситуациях для каждого нового запроса формируется свой ключ для заголовков, соответственно, просто повторить со старым не получится.
Собираешь все запросы, изучаешь, смотришь, находишь, что меняется, находишь, где оно формируется (или пытаешься понять, как формируется), подставляешь, отправляешь.
Вопрос не столько в Зенке, сколько в логике работы конкретного сайта (точнее, его защиты), когда ты пытаешься работать чисто на запросах.
Ну или как выше писали, если устраивает работа через браузер, просто через монитор трафика находишь нужные ответы, работаешь с ними...

 

[SlavenTyz]

Потому что обычно в таких ситуациях для каждого нового запроса формируется свой ключ для заголовков, соответственно, просто повторить со старым не получится.
Собираешь все запросы, изучаешь, смотришь, находишь, что меняется, находишь, где оно формируется (или пытаешься понять, как формируется), подставляешь, отправляешь.
Вопрос не столько в Зенке, сколько в логике работы конкретного сайта (точнее, его защиты), когда ты пытаешься работать чисто на запросах.
Ну или как выше писали, если устраивает работа через браузер, просто через монитор трафика находишь нужные ответы, работаешь с ними...

А как через мониторинг трафика находить нужные ответы, что бы с ними работать

 

[Dmitriy_Zenno]

А как через мониторинг трафика находить нужные ответы, что бы с ними работать

В PM вы можете искать нужные запросы по URL.

Для более детального анализа и поиска запросов рекомендую использовать инструмент DevTools.

 

[n0n3mi1y]

А как через мониторинг трафика находить нужные ответы, что бы с ними работать

Через C#, методы

var traffic = instance.ActiveTab.GetTraffic();

 

[SlavenTyz]

Потому что обычно в таких ситуациях для каждого нового запроса формируется свой ключ для заголовков, соответственно, просто повторить со старым не получится.
Собираешь все запросы, изучаешь, смотришь, находишь, что меняется, находишь, где оно формируется (или пытаешься понять, как формируется), подставляешь, отправляешь.
Вопрос не столько в Зенке, сколько в логике работы конкретного сайта (точнее, его защиты), когда ты пытаешься работать чисто на запросах.
Ну или как выше писали, если устраивает работа через браузер, просто через монитор трафика находишь нужные ответы, работаешь с ними...

Я правильно понял, что из зенки ответ от запроса, который корректно отправляется сам по себе (при загрузке сайта), я получить не могу. Если это так, тогда подскажи как проанализировать ключи для заголовков, как их изучить, на что смотреть. Короче как правильно работать с запросами

 

[n0n3mi1y]

Я правильно понял, что из зенки ответ от запроса, который корректно отправляется сам по себе (при загрузке сайта), я получить не могу. Если это так, тогда подскажи как проанализировать ключи для заголовков, как их изучить, на что смотреть. Короче как правильно работать с запросами

Ну вы бы уже в гугле написали или любой нейронке вопрос задали.. Я вам выше прикрепил конкретный метод C# кода, который позволяет получить массив трафика.

 

[Moonwalker]

Я правильно понял, что из зенки ответ от запроса, который корректно отправляется сам по себе (при загрузке сайта), я получить не могу. Если это так, тогда подскажи как проанализировать ключи для заголовков, как их изучить, на что смотреть. Короче как правильно работать с запросами

Он корректно отправляется в тот момент, когда ты его отправляешь (точнее, браузер). В нем, скорее всего, есть вещи, которые просто не дадут его отправить повторно.
Ну, если базово, то смотришь всю цепочку запросов, которые появляются в браузере при открытии страницы. Сначала проверяешь последний, тот, который тебе нужен, смотришь, в нем в заголовках уходит. Соответственно, находишь то, что выглядит как "ключ", дальше ищешь по цепочке вверх, в ответ на какой запрос он приходит. И так далее. Но это, скажем так, классическая цепочка работы с запросами через какой-нибудь Фиддлер (не уверен, что твой случай конкретно такой, не вникал). Нередко ключ не приходит, но можно понять логику его формирования (что-нибудь типа timestamp его генерации подставляется). Собираешь, анализируешь, думаешь, проверяешь...
Но как выше написали: гугл/нейронка (любая, даже бесплатный дипсик условный) быстрее подскажут, если самому разбираться лень или не получается. Скормить дипсику/чатгпт свои запросы и ответы целиков, он подскажет, что и как. Собрать их можно из Монитора трафика методом, которые скинули выше.

Update: Даже без нейросетей. Просто взял заголовки запроса из браузера (обычного, которым пользуюсь), убрал одну строку оттуда, все нормально проходит. И напрямую, и через прокси (да, прокси нужны те, которые их устроят, а не будут в ответ Forbidden отдавать).

Спойлер: Наглядно

Для чистоты эксперимента еще и куки/кэш почистил, чтобы не было хвостов.

 

[Phoenix78]

Я правильно понял, что из зенки ответ от запроса, который корректно отправляется сам по себе (при загрузке сайта), я получить не могу. Если это так, тогда подскажи как проанализировать ключи для заголовков, как их изучить, на что смотреть. Короче как правильно работать с запросами

Неправильно понял.
Данные из запросов получаются из монитора трафика. Гуглится по форуму, скармливается нейросети, потом вставляется в свой проект.

Как работать с запросами, я писал сразу, снифаешь запросы и сравниваешь тела и пытаешься повторить. Учиться снифать можно по видосикам в ютубе. Или через нейросети. Они же, могут и запросы составить и если надо и реверсинженеринг скриптов сайта сделать, для получения нужных ключей в запросах.