1 место Универсальный экстрактор™ контента (основной статьи страницы)

[Lord_Alfred]

Коллеги, подскажите, что пофиксить?

Скорее всего тут поможет только ап зенки.. Внутри шаблона нет ничего такого, что могло бы привести к этой ошибке. Поэтому скорее всего просто проблема в том что я создал его в более новой версии где есть что-то такое, что отбрыкивает ошибкой на старой версии.

 

[slcor]

Коллеги, подскажите, что пофиксить?

Создай новый проект и скопируй весь шаблон туда, должно заработать.

 

[zennoman]

Создай новый проект и скопируй весь шаблон туда, должно заработать.

Действительно, заработал. Спасибо.

 

[Juniorcpa]

Боже, 100 голосов. Грац Лорд, техничка всегда в тренде

 

[Lord_Alfred]

Боже, 100 голосов. Грац Лорд, техничка всегда в тренде

99 пока..
Но я сам сижу всю неделю офигеваю от голосования... Из всех моих конкурсных работ - эта заняла самое меньшее время на разработку )
Видимо, многим оказалось полезно

 

[infosimple]

Буду сотым)

 

[Nike59]

За "соточку" перевалило голосование за статью. Респект автору! Мало кому удавался такой результат.

 

[frion-seo]

Респект! Спасибо за старания!

 

[Lord_Alfred]

Всем большое спасибо!
Не зря старался, буду продолжать вас радовать своими наработками в рамках конкурсов и просто так

 

[vesb]

@Lord_Alfred

А вы не можете подсказать, для чего вот эта конструкция.
Получается при запуске обрабатывается 50 ссылок, но при этом можно запускать в многопоток. Для чего это сделано? ведь можно поставить самим "сделать 50 шт"

 

[Lord_Alfred]

Получается при запуске обрабатывается 50 ссылок, но при этом можно запускать в многопоток. Для чего это сделано?

Как написано выше в комменте - это парсинг кусками, чтоб ускорить работу.
Я не уверен в том, что открытие и привязка списка в ZP при старте потока (в многопотоке) - это "дешёвая" операция, которая не требует лишних накладных расходов, поэтому (по моему мнению!) - так будет быстрее парсится.
Но, конечно, нужно бенчить оба варианта - может быть там не будет большой разницы, поэтому можно было бы и просто через потоки регулировать количество.

 

[Rampage]

Годнота, когда-то делал генератор статейников под гугл адсенс. Только использовал API разных читалок для парсинга текста(На тот момент результаты были лучше чем с либ и самодельных велосипедов).
При комплексном подходе получалось добывать трафик в норм обьемах.

 

[dohrelion]

ого-го. этот автор сильный мозг, все его посты вызывают у меня зуд в мозгах. Достойная победа.

 

[Zoron]

>Эвристический метод для определения бинарных данных
@Lord_Alfred, подскажи, что это за метод и для чего нужен?

Я так понимаю, удаляет статьи, где много бинарных символов, типа +-%/ и прочие?

 

[Lord_Alfred]

Я так понимаю, удаляет статьи, где много бинарных символов, типа +-%/ и прочие?

Да, удаляет целиком весь контент если там много (больше 15%) символов regex-классов: \p{P}\p{S}\p{C}, за исключением хороших пунктуационных символов (как раз которые ты указал, ну и других).

Внутри шаблона я оставил urlы на документацию, которой пользовался. Может быть у кого-то по ней и лучше идеи появятся как качественнее фильтровать всякую жесть

 

[russya]

ZennoPoster Pro 7.1.2.1 (202003041207) by ZennoLab.com (568 kb) закачан 22 марта 2020 г. Joxi

сделан при помощи Joxi.net

joxi.ru

может кто подскажет почему не работает?

 

[Lord_Alfred]

может кто подскажет почему не работает?

Запусти в PM, обычно в ZP такие сообщения в лог если ошибка компиляции какая-то есть )

 

[russya]

Запусти в PM, обычно в ZP такие сообщения в лог если ошибка компиляции какая-то есть )

http://joxi.ru/D2PQNpXtqZxaOA вот где ошибка

 

[Lord_Alfred]

http://joxi.ru/D2PQNpXtqZxaOA вот где ошибка

Однако! У всех этот метод есть, я неоднократно его использовал.

Покажи какие у тебя .net framework и vcredist стоят в системе, можно сгенерить диагностику в ZP и открыть там report.html

 

[jcknick]

@Lord_Alfred, оочень подозреваю, это то, что я искал последние годы ) Надо как-то ее протестить в полевых условиях, правда...

Вопрос 1: Будет ли этот парсер обновляться по мере развития движков и т.п.?
Вопрос 2: Прочел всю тему, все возможные проблемы и решения, и в результате все равно уперся в вот это:

 

[Lord_Alfred]

Вопрос 1: Будет ли этот парсер обновляться по мере развития движков и т.п.?

Да, потому что он не мой

Вопрос 2: Прочел всю тему, все возможные проблемы и решения, и в результате все равно уперся в вот это:

А readability_cli.exe точно скомилированный лежит рядом?
Если через cmd.exe его запустить, то выведет результат как показано в стартпосте?

 

[jcknick]

А readability_cli.exe точно скомилированный лежит рядом?
Если через cmd.exe его запустить, то выведет результат как показано в стартпосте?

Да и да..

Единственное, что я зенку почти год не обновлял.. Может быть в этом причина? Винда на VirtualBox еще.

 

[Lord_Alfred]

Единственное, что я зенку почти год не обновлял.. Может быть в этом причина? Винда на VirtualBox еще.

Нет, вряд ли.

Попробуй другие урлы. Мне кажется, что там какая-то бага с тем адресом вылезла (лень перебивать его руками с картинки и тестить), я уже не одну сотню тысяч страниц спарсил и не видел чтоб так валилось всё

 

[jcknick]

Пробовал. У меня уже десятки тысяч урлов заготовлены под это дело Ни один урл не сработал. И в папке кэш тоже создаются только папки под именем доменов, никаких временных текстовых файлов в них не вижу.

 

[Lord_Alfred]

Что в переменной "cmd_stdout" после запуска кубика "Run program"?

 

[jcknick]

Что в переменной "cmd_stdout" после запуска кубика "Run program"?

Пустая

 

[Lord_Alfred]

Пустая

Даже если взять прям оригинальный мой проект (файлы шаблонов) из стартпоста и запустить на тех же урлах? Такое чувство что где-то что-то было подредактировано, поэтому валится с ошибкой.

 

[jcknick]

Я оттуда и взял.. Единственное, что сделал - это скопировал в новые проекты, как ты в форуме рекомендовал, чтобы скинуть возможные несовпадения по версиям в зенно.

Прямо перед "Run Program" блоком, у меня вот это в переменных творится - домен исправил для "приватности":

Стоит отметить, что в url_filepath - временного .txt файла нет.

 

[Lord_Alfred]

Стоит отметить, что в url_filepath - временного .txt файла нет.

Там итоговый должен появиться ) Временный - это response_body_filepath

Распакуй содержимое этого архива по соседству со всеми файлами и запусти батник.
Покажи что он выведет.
И проверь появится ли test_out.txt файл по соседству.

 

[Lord_Alfred]

Я оттуда и взял.. Единственное, что сделал - это скопировал в новые проекты, как ты в форуме рекомендовал, чтобы скинуть возможные несовпадения по версиям в зенно.

А у тебя был проблема как у юзера страницей раньше или ты просто так всё скопировал?

Попробуй без копирований этих. Они нужны только совсем с древним ZP, где ошибки валятся как у https://zennolab.com/discussion/threads/universalnyj-ehkstraktor-tm-kontenta-osnovnoj-stati-stranicy.75657/post-510141