Какое регулярное выражение сейчас актуально для парсинга выдачи Яндекс?

[Likko]

не могу в конструкторе подобрать регулярное выражение которое может парсить чистые ссылки выдачи... помогите какое сейчас работает ?

 

[SHELBY]

(http|ftp|https):\/\/[\w\-_]+(\.[\w\-_]+)+([\w\-\.,@?^=%&:/~\+#]*[\w\-\@?^=%&/~\+#])?

Источник

UPD: А потом можно удалить строки, где встречается слово yandex

 

[Likko]

UPD: А потом можно удалить строки, где встречается слово yandex

такой вариант парсит и просто домены , а не именно ссылки на новости, по этому не совсем удачный вариант ...

 

[Mikhail B.]

такой вариант парсит и просто домены , а не именно ссылки на новости, по этому не совсем удачный вариант ...

Какие ссылки на новости?

 

[Likko]

Какие ссылки на новости?

То есть нужно получить конкретно выдачу 10 ссылок на страницы. Приведенный вариант дает еще мусор яндекса и чистые домены

 

[Mikhail B.]

То есть нужно получить конкретно выдачу 10 ссылок на страницы. Приведенный вариант дает еще мусор яндекса и чистые домены

Тебе остается только удалить строки яндекса и дубли. И все.
Ты не сможешь одной регуляркой чисто собрать нужные ссылки. Это невозможно, да и зачем?

Ты не знаешь как удалить строки яндекса из списка?

 

[Likko]

Ты не знаешь как удалить строки яндекса из списка?

этого мало , ведь он парсит ненужные ссылки помимо яндекса

пример запрос "марка"

Такая регулярка выдает чистые домены, а не ссылки на выдачу (те страницы которые есть в выдачи)

То есть в список идут домен https://www.youtube.com , а должен только

или такой пример https://ru.wikipedia.org/wiki/Марка , а там есть и такой https://ru.wikipedia.org/

Или как убрать именно коротки дубли?

 

[Mikhail B.]

Сложная задача, думал сделаю быстро но нет, требует времени. Хочешь могу за 1000 р решить данную задачу.

 

[Likko]

Сложная задача, думал сделаю быстро но нет, требует времени. Хочешь могу за 1000 р решить данную задачу.

Нет спасибо, я на форум пришел за советом, а не за покупкой)

 

[Mikhail B.]

Нет спасибо, я на форум пришел за советом, а не за покупкой)

Хорошо. Я попробовал сделать и думал получилось, но когда я зашел опять на страницу яндекса он, что-то поменял. т.е. надо проверять код и подгонять регулярку, это очень муторно, надо копаться с кодом. Вот что получилось, может как-то поможет.

 

[Mikhail B.]

Вроде разобрался. Вот первая регулярка

(?<=link\ organic__url\ link_cropped_no\ i-bem)[\w\W]*?(?="\ rel)

Потом что получилось этой обрабатываем

(?<=href=").*

Готово.

 

[Mikhail B.]

Лайкнул бы хоть ради приличия.

 

[Likko]

Лайкнул бы хоть ради приличия.

Только руки дошли протестирость, да все работает на ура! Спасибо