Потоки какие то не такие...

[Lexicon]

))) написать полноценного краулера на зеннопостере - задача не из простых.
А в списке должны лежать как раз те самые 20 страниц с линками на новости, которые вам и нужны.
Если говорить про новости то суть следующая.
кладем в список урл 1 страницы.

заходим на нее и:
Берем с нее:
1) урлы на другие страницы
2) урлы на новости
3)Заносим урл №1 в блеклист

После чего:
1) урлы на другие страницы проверяются на блек-лист, если остались каике то - кладем в исходный фаил, чтобы другим потокам было что кушать.
2)заходим на урлы новостей ( или в цикле или еще как, хотя по мне так лучше сначала сделать еще один список с новостями, и для них сделать отдельный проект) - делаем свое грязное дело

Завершаем проект.

 

[nomarketing]

Не... это все запутанно если так делать..
Вообщем будет время нужно будет углубится в эту проблему, хоть она и решаема другими методами.. пусть не супер идеальными, но рабочими.
Просто все дело в потоках, их как то нужно распределять и сообщать что конец достигнут ну вообщем та еще история ..
Просто не хотелось делать все до кучи.
Еще странно что на форуме никто не хочет присоединится к дискусии.. ведь что мало тех кто делают парсеры новостей и т д т п ? не думаю, ну да и ладно.