Да
Где-то может неправильно определить контент, это нормально - везде есть ошибки, идеального алгоритма нету (я про это начал свой первый пост с отсылкой на видео в моем блоге).
В пол потока парсил? Очень долго что-то.400 текстов за 20 минут - найз
Не обязательно, просто в cmd переход в другой диск выполняется с помощью команд:
Получается что не вычищаетF:
cd zenno\readability1. Попробуй закрыть/открыть cmd или перезагрузить систему.
echo %PATH%
echo %GOPATH%VPN мне помог. . Первое зависимость не устанавливается. Вторая зависимость проходит
Попробуй очистить папку
C:\Users\serov\go\src\github и установить обе зависимости через vpn заново
Да. Посмотри которое я упоминал в начале в стартпоста - там подробно объяснены проблемы
В тестовом шаблоне есть пример запуска программы - вот там можно посмотреть детально как всё работает
Из sitemap.xml ?
List<string> links = new List<string>();
foreach (dynamic elem in project.Xml.urlset.url) {
links.Add(elem.loc);
}
if(links.Count == 0) {
throw new Exception("Список links пустой!");
}
project.Lists["links_lst"].AddRange(links);
Статья и есть от А до Я. У вас 2 пути - или становиться хотя бы немного программистом или искать другие варианты извлечения текстовки из статей - их тоже не мало.
Если вам нужен просто удобный и не сложный инструмент для парсинга и извлечения контента, статей, то возьмите Х-парсер (реф) нашего разработчика, который используется тысячами вебмастеров.
Отличная штука - охотиться за текстами с 90% точностью без сложных страниц, но (как обычно, собсна)... Как настроить так, чтобы заголовки тянулись тоже - в какую-нибудь переменную? Я подкрутил, чтобы результаты в таблицу тянулись, но без заголовков, которые обычно "h1", приходится дополнительно прогонять список урлов... с дополнительной html чисткой - процесс почти удваивается в продолжительности :/
Вариант 1. Добвавить в readability_cli.go (и заново перекомпилировать!):
dstTxtFile.WriteString("<h1>")
dstTxtFile.WriteString(article.Title)
dstTxtFile.WriteString("</h1>\n")
я же ее отслеживать поставил, когда голосовал. Админы удалите пожалуйста мою писанину с данной темы. И ты автор извини что натоптал тут.