Работа с текстом

[liveCreature]

Здравствуйте. Суть работы программы понял.
Каким образом нужно указать программе что-бы не копировала те статьи которые уже были скопированы. Только начинаю разбираться, знаю что закодить такое легко, а вод инструментами программы?

Возможно есть фак или мануал на эту тему. Интересует именно логика работы: Зашёл на страницу, скопировал новость 1, скопировал новость 2 и т.д.

 

[orka13]

«те статьи которые уже были скопированы» - записывать их урл, или заголовок, или ID в отдельный файл с новой строки, или в файл-список.
При проверке новой статьи искать ее по признакам в этом файле или файл-списке. Если статьи там нет, то обрабатываем. Если есть, то пропускаем.

 

[liveCreature]

«те статьи которые уже были скопированы» - записывать их урл, или заголовок, или ID в отдельный файл с новой строки, или в файл-список.
При проверке новой статьи искать ее по признакам в этом файле или файл-списке. Если статьи там нет, то обрабатываем. Если есть, то пропускаем.

Всё ясно и понятно, спасибо.

 

[liveCreature]

«те статьи которые уже были скопированы» - записывать их урл, или заголовок, или ID в отдельный файл с новой строки, или в файл-список.
При проверке новой статьи искать ее по признакам в этом файле или файл-списке. Если статьи там нет, то обрабатываем. Если есть, то пропускаем.

А какими инструментами это лучше делать? Через конструктор действий не могу найти юрл.
Возможно есть мини гайт. Логику понял, а собрать задание не могу

 

[liveCreature]

Проблему решил не совсем.
Для своей задачи я начал парсить ссылки на первой странице. И по ссылкам переходить и парсить контент. Проект будет постоянно запущен, и получается он парсит те-же ссылки на странице.

Подскажите как задать логику чтоб не парсил ссылки в файл с странице, которые уже присутствуют в файле?
Как только новая статья опубликуется, то он её спарсит т.к. ссылка будет уникальной.

 

[Sergodjan]

Проблему решил не совсем.
Для своей задачи я начал парсить ссылки на первой странице. И по ссылкам переходить и парсить контент. Проект будет постоянно запущен, и получается он парсит те-же ссылки на странице.

Подскажите как задать логику чтоб не парсил ссылки в файл с странице, которые уже присутствуют в файле?
Как только новая статья опубликуется, то он её спарсит т.к. ссылка будет уникальной.

записывать в особый файл номер текущей страницы парсинга, тогда в начале выполнения можно будет брать этот номер и подставлять в урл, шаблон будет переходить всегда на актуальную страницу и выполнять парсинг с прерванного места..