Хочу сделать программу на Post/Get запросах

[SlavenTyz]

Всем привет есть сайт с которого нужно спарсить информацию о компаниях. Для этого нужно кликать на них по очередно



Кликаю на 1-ю компанию в трафики появляются такие запрос, по логике самый первый запрос это и есть Post запрос т.е клик, открываю Параметры, которые нужно передать в запросе для клика и появляется такое окно, сложность в том что везде параметры разные. Вопрос как сделать клик

 

[Gunjubasik]

Всем привет есть сайт с которого нужно спарсить информацию о компаниях. Для этого нужно кликать на них по очередно
Посмотреть вложение 63427


Кликаю на 1-ю компанию в трафики появляются такие запрос, по логике самый первый запрос это и есть Post запрос т.е клик, открываю Параметры, которые нужно передать в запросе для клика и появляется такое окно, сложность в том что везде параметры разные. Вопрос как сделать клик

Посмотреть вложение 63428

Спарсите сначала ссылки на страницы, а потом спаршенные страницы используйте как гет запрос и будет счастье.

 

[SlavenTyz]

В яблочко только что это сделал и увидел закономерность, но все таки вопрос то открытый как кликать на элементы на Post/Get запросах. Я же правильно понимаю что вся фишка кроется в GET запросах во вкладке Параметры, а в POST запросах в Данные

 

[SlavenTyz]

 

[deskuznetsov]

В твоем случае все на GET запросах. нет там POST запросов.
У тебя на скрине прям слева подписано GET там где список отправленных запросов.

Просто делаешь GET запрос например сюда, если тебе надо по названию находить компании

list-org.com/search?type=all&val=цветы

Далее получаешь ответ и дергаешь нужные данные, и главное получаешь номера компаний
например вот <a href='/company/10666776'>
Это один и айди компаний, под которым они на сайте.
Дергаешь все эти айди в список через обработка текста regex и потом по очереди заходишь подставляя айди на list-org.com/company/10666776 (тоже GET запросом)
и уже получаешь все данные о этой компании и снова дергаешь нужные тебе и так со всеми найденными компаниями и страницами.
ну еще надо учесть что все компании не на 1 странице и надо спарсить сколько страниц и на каждую заходить парсить айди компаний

 

[SlavenTyz]

Спасибо это я уже понял, Только я разбираюсь с тем что бы вытащить Регуляркой нужное значение и дальше при обработке эти значения исключать. Спасибо, чувствую Post/Get запросы еще разбирать и разбирать

 

[backoff]