Навигация

[wekze]

Привет ребзя. Делаю парсер текста. Всё было ок, когда на траницах сайтов для парсинга была такая навигация:

, зенно нажимал на кнопочку некст, парсил текст и т.д.

Но сейчас остались сайты с такой навигацией:

урлы страницы имеют такой вид: http://www.site.com/pages1.html, http://www.site.com/pages2.html, http://www.site.com/pages3.html и т.д. Как в зенно задать чтобы он переходил на всем урлам по порядку, без создания списков, чтобы он из файла брал по порядку заранее заданные урлы. Наверняка есть более простое решение

 

[Ribas]

Если в один поток - сделать переменную с номером страницы, после каждого прохода увеличивать на единицу. А если брать из файла, то почему не устраивает работа с ним как со списком? Тогда и в несколько потоков каждый поток будет забирать свой урл.

 

[ssXXXss]

http://www.site.com/pages1.html как ты видишь в твоей сылке изменяется цифпа страницы pages , поставь цикл или счётчик до определённого числа взяв сылку подставляй номер страницы из счётчика

 

[wekze]

ну вот а как сделать, чтобы в переменно со значением http://www.site.com/pages1.html каждый раз номер pages менялось на 1,2,3 и т.д.
Со списком не устраивает тем что надо ручками в файле прописывать 500 урлов, и скрипт будет не универсален, под каждый сайт придётся менять это огроменный список.

 

[ssXXXss]

ну вот а как сделать, чтобы в переменно со значением http://www.site.com/pages1.html каждый раз номер pages менялось на 1,2,3 и т.д.
Со списком не устраивает тем что надо ручками в файле прописывать 500 урлов, и скрипт будет не универсален, под каждый сайт придётся менять это огроменный список.

Я ведь написал, создай счётчик и передавай значение в переменную, вместо цифры страницы твоя переменная

 

[Ribas]

ну вот а как сделать, чтобы в переменно со значением http://www.site.com/pages1.html каждый раз номер pages менялось на 1,2,3 и т.д.
Со списком не устраивает тем что надо ручками в файле прописывать 500 урлов, и скрипт будет не универсален, под каждый сайт придётся менять это огроменный список.

Создаём переменную, записываем туда первый необходимый номер страницы. Переходим по адресу вида http://www.site.com/pages{-Variable.counter-}.html Парсим, далее обработка переменных - увеличить счётчик на единицу, снова парсим и т.д.

 

[wekze]

Я ведь написал, создай счётчик и передавай значение в переменную, вместо цифры страницы твоя переменная

просто не имел ещё дела с счётчиками, ок сейчас погуглю и попробую, спасибо

 

[wekze]

Создаём переменную, записываем туда первый необходимый номер страницы. Переходим по адресу вида http://www.site.com/pages{-Variable.counter-}.html Парсим, далее обработка переменных - увеличить счётчик на единицу, снова парсим и т.д.

Спасибо, буду пробовать сейчас

 

[ssXXXss]

ну примерно так

P.S. Чуть не правильно, экшены if и переход на страницу поменять местами

 

[wekze]

ну примерно так
Посмотреть вложение 10677
P.S. Чуть не правильно, экшены if и переход на страницу поменять местами

Это однозначно лойс, благодарствую!