Как создать парсер текста?

[Nixens]

Хочу сделать парсер, который будет парсить просто текст со страницы.
Обычный структурированный текст, без тегов и пр. Просто текст. Как сделать? У меня получаются огромные нагромождения, может есть универсальная регулярка под такие случаи?
Просто, есть статья - 15 лайфхаков для жизни. Хочу получить её текст.

 

[Sergodjan]

Хочу сделать парсер, который будет парсить просто текст со страницы.
Обычный структурированный текст, без тегов и пр. Просто текст. Как сделать? У меня получаются огромные нагромождения, может есть универсальная регулярка под такие случаи?

Было что то на эту тему на форуме, попробуйте поискать.
А пока можете попробовать работу этой регулярки: (\b[A-ZА-Я](?:\w+[,;:]?\s+){3,}\w{2,}[.!?])

 

[discus]

Есть и готовые решения

https://zennolab.com/discussion/threads/universalnyj-ehkstraktor-tm-kontenta-osnovnoj-stati-stranicy.75657/

https://zennolab.com/discussion/threads/bystryj-parser-ru-eng-tekstovogo-kontenta-na-get-zaprosax.46484/

https://zennolab.com/discussion/threads/ischu-algoritm-parsinga-teksta-stati-html-stranicy-bez-menju-futerov-i-prochego-musora.44165/

 

[radv]

Хочу сделать парсер, который будет парсить просто текст со страницы.

Если хотите научиться парсить, посмотрите готовые бесплатные проекты и конкурсные статьи/шаблоны, там были конкретные примеры, а так же рекомендуется использовать xpath вместо регулярок.

 

[discus]

Экшен "Извлечение статьи (Article Extraction)" https://zennolab.atlassian.net/wiki/spaces/RU/pages/534315067/Article+Extraction

 

[udder]

Было что то на эту тему на форуме, попробуйте поискать.
А пока можете попробовать работу этой регулярки: (\b[A-ZА-Я](?:\w+[,;:]?\s+){3,}\w{2,}[.!?])

попробовал эту регулярку, но в таком случае она как раз мусор из переменной оставляет, а нормальный текст удаляется.

 

[Sergodjan]

попробовал эту регулярку, но в таком случае она как раз мусор из переменной оставляет, а нормальный текст удаляется.

Сейчас проверил на первом попавшемся сайте - получаю чистый текст.
Попробуйте такой штатный метод еще (тоже проверил, он полнее пропарсил текст и тоже без мусора):