Применение DevTools, для парсинга сайта

[SlavenTyz]

Имею хороший опыт для парсинга сайтов и тут столкнулся с интересным сайтом для анализа футбольных матчей https://www.sofascore.com/

Сложности с которыми я столкнулся, это не удобный захват элемента
Если мышку уберать от нужного элемента, то исчезнут все данные и как составить XPath путь? Если данные постоянно прыгают. Мне кажеться что дерево элементов понятнее, но не все элементы индифицируется по чему то, когда кликаешь мышкой на исследовать элемент

 

[baracuda]

Весь сайт сделан на JSON пробуем и юзаем.. если не хватает знаний ну куда нибуть поучиться...

Ну в крайнем случае хотя бы в одной своей теме спрашивайте. что темы то про один сайт плодить... на каждое действие своя тема ?

Помогите написать XPath путь. Проблема в непонятных ТЭГ

На картинке нагляднее сайт https://www.sofascore.com/ru/

zenno.club

Подскажите как спарСенные данные конвертировать в JSON

Спарсил данные из тэга outerHtml, а как в JSON перевести

zenno.club

 

[SlavenTyz]

Весь сайт сделан на JSON пробуем и юзаем.. если не хватает знаний ну куда нибуть поучиться...

Ну в крайнем случае хотя бы в одной своей теме спрашивайте. что темы то про одни сайт плодить... на каждое действие своя тема ?

Не на каждое действие, а на каждую тему. Здесь буду учиться и обсуждать. Сайт реально сложный, поверь у меня есть хороший опыт по парсингу сайтов. Пробовал разобраться через гугл

Google Search

, но по сути ответ не нашел Почему элементы прыгают, не удобно работать
DevTools
Мне нужно не только парсить, но и кликать на нужные игры

 

[baracuda]

А зачем его сложным делать когда есть лёгкий способ... На пальцах... почему при наведение мышки изменяется контент? Яваскрипты . Есть желание с ними манипулировать ? так это совсем другая тема... Сайт про язык JS . в каждой теме говорят.. нахрен HTML, берём JSON и парсим его. быстро, просто надёжно.

P.S. JS это прям совсем на другой форум надо. а если надо кликать ну вызываем нужные события... так же через JSON

 

[SlavenTyz]

А зачем его сложным делать когда есть лёгкий способ... На пальцах... почему при наведение мышки изменяется контент? Яваскрипты . Есть желание с ними манипулировать ? так это совсем другая тема... Сайт про язык JS . в каждой теме говорят.. нахрен HTML, берём JSON и парсим его. быстро, просто надёжно.

P.S. JS это прям совсем на другой форум надо. а если надо кликать ну вызываем нужные события... так же через JSON

Как легко звучит, и как вызвать нужное событие через JSON. Основная сложность при работе с
DevTools
это прыгание и изминение элементов, что затруднят написание XPath пути. Может хитрости есть, или я что то не то делаю

 

[baracuda]

Открываем страницу
Грабим со страницы все id событий.
Берём по очереди каждый id и подставляем в запросы к вызову JSON
в предыдущих тема уже урлы указывадись

 

[SlavenTyz]

Хочу разобраться с Fiddler, для парсинага сайтов. Вот например мне интересно на данном сайте https://www.sofascore.com/ru/
При загрузки графиков реальной игры команд. Можно взять все данные из JSON и сказали что такую конструкцию нужно использовать
https://www.sofascore.com/api/v1/event/"ID -события"/graph
На вопрос откуда ее взяли, отвечают. Да все просто заходишь на пример в fiddler и там находишь эти данные. ГДЕ их взять, может посоветуете видео по обучению или так подскажите

 

[SlavenTyz]

Может кто ни будь поделится наработками

Ну реально информации мало, вот наткнулся на сайт

Поиск открытого API сайта или Ускоряем парсинг в 10 раз

Поиск открытого API сайта или Ускоряем парсинг в 10 раз Цель статьи — описать алгоритм действий поиска открытого API сайта. Целевая аудитория статьи — программисты, которым интересен парсинг и анализ...

habr.com

И что я вижу

• Анализируем запросы
• Находим запрос. Да я задолбался их анализировать и ни чего не нашел

Помогите разобрать на примере https://www.sofascore.com/ на этом сайте, говорят открытый API