Как корректно обработать множество списков из папок?

[nick_aso]

Есть десятки папок с десятками txt файлов - списков.
В списках урлы, по которым надо пропарсить инфу

Структура примерно такая:

Москва
----Электроника
----Сантехника
----Косметика
СПБ
----Электроника
----Сантехника
----Косметика

Я создал список со всеми регионами и получаю доступ к директориям через переменные путь к проекту и строку из списка
Далее я обращаюсь к директории и получаю список файлов в ней

На этом этапе я думал, как можно обратиться к этим спискам динамически и единственный вариант, который придумал, это создать в проекте список и с помощью экшена "переместить файл" перемещать в него целевые
То есть я получаю путь к файлу списку "Москва/Сантехника.txt" перемещаю его в файл, который связан со списком проекта

И тут возникает проблема, что каждый раз при перемещении список не обновляется должным образом. Нормально его обновить получается только вручную, несколько раз поменяв его настройки


Есть какой-то правильный вариант обработки подобных структур?

 

[Alexmd]

Первый список - это список директорий(которых десятки); С этого все начинается и на нем же должно закончиться.
Берем по одной строке из первого списка и составляем второй список(с десятками txt файлов - списков)
Берем по одной строке из второго списка и создаем третий(с урлами).
Парсим по урлам.
Но я бы не отвлекался на парсинг, а собрал бы сначала все урлы со всех списков в один общий список.

 

[nicanil]

Я бы тоже сначала собрал все урлы. Можно даже отделный шаблон для этого написать (если это не разовая задача). Для хранения использовать Таблицы. Первая колонка - Регион, вторая - категория, третья - ссылка.

После того как первый шаблон создал файл-таблицу со ссылками, второй (Парсер) будет многопоточно обрабатывать урлы из этой таблицы. Можно даже настроить расписание, чтобы второй шаблон запускался при появлении файла-таблицы.

Спойлер: Скриншот