Спарсить страницу, помощь Xpath или регулярное выражение

[Roman48]

Привет. Парни помогите, пожалуйста. Нужно спарсить ТВ программу, вторые сутки, пытаюсь спарсить страницу, все криво получается. Нужно из ТВ программы спарсить фильмы и сериалы, там стоят галки фильм и сериал.
https://tv.mail.ru/moskva/
Почему именно с майла, в других программах например яндекс, она выходит слишком поздно на пару дней позже майла, а других не определить, фильм или сериал.
Майл самая подходящая там есть две галки, и выделяется фильм или сериал. В идеале еще бы как нажать на ссылку чтоб открылось окно, но этого не получиться там все на аякс подгружается.
Надо просто спарсить все сериалы и все фильмы.

 

[Roman48]

Спойлер: Xpath что у меня получилось

//div[@class='p-programms__item p-programms__item_has-genre p-programms__item_genre139 p-programms__item_has-player js-genre-139']/div[2]/span[2]/span[1]|//div[@class='p-programms__item p-programms__item_has-genre p-programms__item_genre138 p-programms__item_has-player js-genre-138']/div[2]/span[2]/span[1]

 

[volody00]

//i/preceding-sibling::span[contains(@class, 'name-link')]

 

[Roman48]

//i/preceding-sibling::span[contains(@class, 'name-link')]

Спасибо большее, это уже лучше, чем у меня, может еще будут варианты

 

[nicanil]

У меня получился такой XPath:

//i[@class='p-programms__item__icon' and (@title='Сериал' or @title='Фильм')]/preceding-sibling::span[contains(@class, 'p-programms__item__name-link')]

Но в нём я привязывался к словам "Сериал" и "Фильм", возможно что при использовании не русских прокси этот текст изменится и XPath сломается.

В идеале еще бы как нажать на ссылку чтоб открылось окно, но этого не получиться там все на аякс подгружается.

А почему не получится? Можно вот такой использовать путь:

(//i[@class='p-programms__item__icon' and (@title='Сериал' or @title='Фильм')]/preceding-sibling::span[contains(@class, 'p-programms__item__name-link')])[3]

Вместо числа в квадратных скобках, в конце, можно использовать переменную.

//i/preceding-sibling::span[contains(@class, 'name-link')]

Этот XPath захватывает и спортивные ссылки

 

[Roman48]

Спасибо большее, а как узнать что суда вставить

[USER=46442]class[/USER]

почту?
Я хотел прокликать чтобы год и страну определить, но он сам сайт такой через раз может открываться, прокси использовать не буду, попробую прокликать если получиться)


Юзер не получается найти,

[USER=46442]class[/USER]

там ид должно быть? по точнее можно пожалуйста?

 

[nicanil]

Спасибо большее, а как узнать что суда вставить

[USER=46442]class[/USER]

почту?
Я хотел прокликать чтобы год и страну определить, но он сам сайт такой через раз может открываться, прокси использовать не буду, попробую прокликать если получиться)

Вместо [USER=46442]class[/USER] надо вставить

@class

(это форум сделал автозамену)
Я отредактировал прошлое сообщение, теперь там всё ОК,

Я хотел прокликать чтобы год и страну определить, но он сам сайт такой через раз может открываться

А Вы посмотрите, какой запрос уходит при клике. Возможно он не сложный и его легко будет составить? Сможете ускорить шаблон переведя часть логики на запросы.

 

[Roman48]

Ясность полная) сейчас буду делать

 

[Roman48]

Все получается, на запросах. Подскажите, момент как можно ид определить tv.mail.ru/ajax/event/?id=152245657&region_id=70
id=152245657 ?

 

[nicanil]

 

[Roman48]

Посмотреть вложение 70746

Да это понятно, и тут есть

Только как определить что это относиться к сериалы или фильму, как вариант все пройти и собрать ид, а потом делать запросы)

 

[nicanil]

Только как определить что это относиться к сериалы или фильму, как вариант все пройти и собрать ид, а потом делать запросы)

Можете попробовать вот такой XPath:

//i[@class='p-programms__item__icon' and (@title='Сериал' or @title='Фильм')]/preceding-sibling::span[contains(@class, 'p-programms__item__name-link')]/ancestor::div[@data-id][1]

 

[Roman48]

От души, все проще получилось, Вы подали идею гет запросы делать, беру дом, сериалы и фильмы, отдельно с id, а дальше запросами.