Подскажите, как правильно решить задачу

[MaxLucky]

Здравствуйте. Задача такая, нужно спарсить статьи с сайта, и перевести их. По итогу нужно получить все статьи с сайта на ENG и отдельно с переводом на RU в doc документ.

Непонятно как вытаскивать именно статьи, не задевая кнопки на сайте. Потому что все статьи разные, нету одного формата.

Подскажите пожалуйста.

Пример статей:

Blog Posts | Safe Kids Worldwide

www.safekids.org

Remembering Gun Safety in the Time of COVID-19 | Safe Kids Worldwide

Parents, use these 3 gun safety tips to keep kids safe during coronavirus pandemic.

www.safekids.org

Big Kids | Safe Kids Worldwide

Safe Kids is your go-to site for tips every parent needs to keep their big kids safe.

www.safekids.org

 

[Sergodjan]

@MaxLucky Судя по структуре адресов, скорее всего на сайте два формата вывода статей - обычные и из блога.
Попробуйте исследовать эти два типа статей, потребуется два вида регулярок, скорее всего.

 

[nicanil]

Если не удастся справиться стандартными средствами, то можете посмотреть на эту тему https://zennolab.com/discussion/threads/universalnyj-ehkstraktor-tm-kontenta-osnovnoj-stati-stranicy.75657/