Lexicon
Client
- Регистрация
- 27.12.2012
- Сообщения
- 1 775
- Благодарностей
- 901
- Баллы
- 113
))) написать полноценного краулера на зеннопостере - задача не из простых.
А в списке должны лежать как раз те самые 20 страниц с линками на новости, которые вам и нужны.
Если говорить про новости то суть следующая.
кладем в список урл 1 страницы.
заходим на нее и:
Берем с нее:
1) урлы на другие страницы
2) урлы на новости
3)Заносим урл №1 в блеклист
После чего:
1) урлы на другие страницы проверяются на блек-лист, если остались каике то - кладем в исходный фаил, чтобы другим потокам было что кушать.
2)заходим на урлы новостей ( или в цикле или еще как, хотя по мне так лучше сначала сделать еще один список с новостями, и для них сделать отдельный проект) - делаем свое грязное дело
Завершаем проект.
А в списке должны лежать как раз те самые 20 страниц с линками на новости, которые вам и нужны.
Если говорить про новости то суть следующая.
кладем в список урл 1 страницы.
заходим на нее и:
Берем с нее:
1) урлы на другие страницы
2) урлы на новости
3)Заносим урл №1 в блеклист
После чего:
1) урлы на другие страницы проверяются на блек-лист, если остались каике то - кладем в исходный фаил, чтобы другим потокам было что кушать.
2)заходим на урлы новостей ( или в цикле или еще как, хотя по мне так лучше сначала сделать еще один список с новостями, и для них сделать отдельный проект) - делаем свое грязное дело
Завершаем проект.