Парсинг статей по ключевому слову

[Alex.A]

Добрый день!
Хотелось бы получить шаблон парсинга статей по ключевому слову (фразе).

Необходим выбор поисковика, например Гугл, Яндекс (основные).
Возможность выбора языка.
Возможность выбора парсинга всей статьи и опционно абзацев с ключевым словом (словами).
Глубина парсинга - от 10 до 120 сайтов.
Возможность выбора количества потоков от 1 до 20.
Возможность использования своих прокси.
Возможность выбора сервиса (программы) анти капчи (CapMonster2 основной).
Возможность сохранения в одном файле или в разных постатейно.
Возможность выбора формата сохранения статьи или статей (txt основной).

Думаю, что такой шаблон будет востребован.

 

[IndaLab]

Так и никто не реализовал такой шаблон?

 

[bhairava7]

Чистого результата на данный момент добиться невозможно, так как вёрстка у каждого сайта уникальная. Всё равно придётся ручками править, удалять лишний мусор не относящийся к контенту и т.д.

 

[Alexmd]

https://zennolab.com/discussion/threads/universalnyj-ehkstraktor-tm-kontenta-osnovnoj-stati-stranicy.75657/

 

[Antonio Banderas]

Чистого результата на данный момент добиться невозможно, так как вёрстка у каждого сайта уникальная. Всё равно придётся ручками править, удалять лишний мусор не относящийся к контенту и т.д.

Нейронку можно обучить для этих целей. Просто те, кому это нужно не располагают ни ресурсами, ни навыками. А у тех у кого даже есть готовое решение, - не стремятся им делиться, поскольку стоимость времени затраченного на достижение приемлемого результата несравним с озвучиваемыми бюджетами покупателей