Парсер ВК ходит по кругу

[inshallakh]

Написал скрипт для сбора прямых ссылок на картинки из группы ВК. Схема работы: скрипту отдается файл со списком постов, скрипт из этих постов должен выдернуть прямые ссылки на картинки.

Проблема в том, что скрипт почему-то ходит по кругу: сохраняет в итоговый файл одни и те же ссылки. Кто может подсказать где ошибка?

 

[LightWood]

Глянул. Вроде все норм. С удалением все берет как надо. Нужно смотреть полную версию скрипта.

 

[inshallakh]

Это и есть полная версия, там только путь к файлу со списком постов не указан. Скачивание картинок get-запросом еще не делал, но там вряд ли могут быть сложности.

Насчет дублей у меня две версии:
- Что-то не так с удалением взятой строки (одни и те же строки берутся несколько раз).
- Ссылка на фото в source встречается несколько раз, отсюда и дубли. Но для этого стоит вычищалка дублей, непонятно почему она не срабатывает.

Еще странности: очень часто скрипт вместо ссылок сохраняет одни только пробелы (то есть пустоту). По несколько раз подряд пробуешь, а он все пробелы сохраняет. Потом запустишь снова (ничего не меняя!) - исправно сохраняет ссылки. В чем может быть причина такого странного поведения?

 

[LightWood]

Привяжите изначально списки к файлам и попробуйте опять.
И лишние шаги пропадут. Отследить будет легче и наглядней какой шаг дает сбой.
А там и истина выяснится.

 

[inshallakh]

Привяжите изначально списки к файлам и попробуйте опять.

Так они же привязаны.

 

[LightWood]

Список 2 не привязан изначально. А последним действием в цикле вы файл дозаписываете. Также шаг после очистки куков есть, по привязке списка1, но как я понял Вы его случайно воткнули перед тем как шаб заслали.