Запись в файл, дубли

[Unycom]

Добрый день!
На странице делаю парсинг данных со страницы сайта. Сохраняю в список List0. Далее List0 сохраняю в файл (стоит галочка Дописывать в конец файла). Задал Повторить в цикле (клики по пагинации).
Все работает, но в файл записываются дубли.Как решить проблему? Может неправильно реализовал задачу?

 

[Sergodjan]

Добрый день!
На странице делаю парсинг данных со страницы сайта. Сохраняю в список List0. Далее List0 сохраняю в файл (стоит галочка Дописывать в конец файла). Задал Повторить в цикле (клики по пагинации).
Все работает, но в файл записываются дубли.Как решить проблему? Может неправильно реализовал задачу?

Добрый день.
Сохраняйте в List0 и в конце, когда все страницы спарсены, применяйте кубик "Операции над списком - Удалить дубли" и после этого сохраните его в файл.

 

[Unycom]

Добрый день.
Сохраняйте в List0 и в конце, когда все страницы спарсены, применяйте кубик "Операции над списком - Удалить дубли" и после этого сохраните его в файл.

Спасибо за помощь!
Подскажите куда вставить данный кубик?

 

[Unycom]

Добрый день.
Сохраняйте в List0 и в конце, когда все страницы спарсены, применяйте кубик "Операции над списком - Удалить дубли" и после этого сохраните его в файл.

Так правильно?

 

[Unycom]

Вопрос еще актуален. По моей схеме цикл прерывается на 2м круге

 

[Sergodjan]

Вопрос еще актуален. По моей схеме цикл прерывается на 2м круге

Надо смотреть где прерывается, на каком кубике и с него через красный выход вести на продолжение работы. Например может выпадать на красный выход в кубике где клик по пагианции, когда стр. закончились и кнопки перехода на след. стр. уже нет. Либо из кубика парсинга данных, когда стр. не подгрузилась и данных для парсинга нет, тогда доп. паузу установить перед парсингом для ожидания загрузки стр.

Так правильно?

Да, правильно.