Работа с запросами и JS скрипты.

[one]

На странице есть JS которые генерируют дополнительные параметры для запросов. Как быть в этом случае если пишется шаблона исключительно на запросах?

 

[doc]

попытаться повторить алгоритм генерации, попытаться как-то выполнить код скрипта

 

[one]

Ну вот как? Я пока логику выполнения процедуру не понимаю. В броузере делается запрос который тянет все скрипты на странице и которые выполняются. В случае с работой только запросами загружается содержание страницы без выполнения скриптов.

 

[z@jivalo]

Ну вот как?

попробуй сюда заглянуть, хотя они и старые уже но может быть что-то в этом направление пойдешь
jint и javascriptdotnet.

И вот сюда глянька на хабрилке есть что-то

 

[doc]

Когда проект браузерный - он загружает, подгружает, выполняет, генерирует и что-то отправляет.
Когда проект на запросах, то ты всё это делаешь, если надо.

Например, при реге мэил.ру при сабмите основной формы помимо заполненных полей скрипты собирают данные о браузере и включают их в отправку. В проекте на запросах ты сам подставляешь эти данные по шаблону и отправляешь.

 

[one]

Спасибо! По изучаю. Если у кого то еще какие мысли есть киньте плс.

 

[one]

Например, при реге мэил.ру при сабмите основной формы помиму заполненных ключей скрипты собирают данные о браузере и включают их в отправку. В проекте на запросах ты сам подставляешь эти данные по шаблону и отправляешь.

т.е. получается так.

1. делаем запрос (GET) получаем начальные данные (куки).
2. формируем дополнительные параметры от скриптов.
3. делаем следующий запрос с параметрами из п1 и п2.

 

[doc]

порядок действий зависит от того, как это происходит в браузере

 

[z@jivalo]

Я не давно наблюдал такую картинку в фидлере, отправляешь 1 post запрос а в ответ приходит более 10 разных ответов типа редиректы и они с разными куками.
Так вот товарищ подкинул мысль что это не просто куки это могут быть какие-то значение которые могут складываться или проводить какие-то математические операции с предыдущими редиректами для того что бы вычислять ботом как-то так.
Потому что все что на запросах надо все это учесть, а если через браузер то он сам все это делает.

 

[z@jivalo]

Исходя из этого могу предложить разбить шаб на 2 части
1) делает что-то на запросах
2) что-то делает в браузере

P.S. это если не получится все таки разобраться или не захочешь возиться с этим

 

[one]

Да вот не хочется разбивать его на части. Хочется победить и попробовать победить самостоятельно. Надо решить как получить несколько получить генерируемые JS.

Опишу ситуацию, может какие мысли по этому поводу у кого появятся.

На сайте стоит рекапча при авторизации и на странице при отправки данных после авторизации.

Авторизацию прохожу успешно подставляю куку и ответ рекапчи. А вот на странице отправки данных получаю ответ что не отправил ответ рекапчи. Явно работают скрипты. Но блин запросы полностью идентичны, никаких доп параметров не отправляется.

Сейчас поизучал немного углубленно страницу. Вижу что на странице авторизации после разгадывания рекапчи в коде страницы меняются параметры. Возможно что уже на это стадии я не правильно для сайта отсылаю свои запросы хоть и прохожу авторизацию.

 

[z@jivalo]

попробуй через фидлер с эмитировать запросы.
Все то что приходит на фидлер сделай эти запрос как replay.



и к этому подключи breackpoint до отправка запроса и после
там 2 разных результата могут быть

 

[z@jivalo]

вот брейкпойинты

 

[one]

попробуй через фидлер с эмитировать запросы.

т.е. посмотреть отработает ли JS или нет?

 

[z@jivalo]

посмотреть отработает ли JS или нет?

да именно