Откуда берутся дубли?

[krolist]

Всем привет. Делаю так:
1)беру первую строку из списка1 с удалением(строка содержит URL)
2)открываю этот урл
3)беру DOM данные этой страницы, регуляркой нахожу нужное(id номера), пишу их в список2
4)список2 сохраняю в файл(галка дописать в файл)
5)возвращаюсь на пункт1 (цикл с выходом по ошибке, пока не кончатся строки в списке1)

...получаю файл с кучей дублей, не понимаю откуда они там, хотел отсылать сообщения по такому же алгоритму, но совсем не надо чтобы человеку приходило по 5 одинаковых писем)))

 

[qzen4i]

Всем привет. Делаю так:
1)беру первую строку из списка1 с удалением(строка содержит URL)
2)открываю этот урл
3)беру DOM данные этой страницы, регуляркой нахожу нужное(id номера), пишу их в список2
4)список2 сохраняю в файл(галка дописать в файл)
5)возвращаюсь на пункт1 (цикл с выходом по ошибке, пока не кончатся строки в списке1)

...получаю файл с кучей дублей, не понимаю откуда они там, хотел отсылать сообщения по такому же алгоритму, но совсем не надо чтобы человеку приходило по 5 одинаковых писем)))

Может просто удалить дубли в списке да и все?

 

[sof]

А запускаешь в несколько потоков? Попробуй брать случайную строку с удалением если шаблон не зациклен.

 

[krolist]

Может просто удалить дубли в списке да и все?

При парсинге без проблем, а при рассылке?

 

[krolist]

А запускаешь в несколько потоков? Попробуй брать случайную строку с удалением если шаблон не зациклен.

в 1 поток. ок попробую.

 

[nole]

похоже что просто список2 не очищаешь, между 4 и 5 добавь очистку

 

[budora]

Возможно регулярка берёт несколько ID из разных мест в DOM отсюда и дубли. Посмотри внимательно, DOM и Source могут по разному парситься.

 

[krolist]

похоже что просто список2 не очищаешь, между 4 и 5 добавь очистку

Аааа! Точно! Спасибо большое. Просто новичек совсем в зенно))