Вопрос по парсингу

[miir1981]

Подскажите пожалуйста, где-то видел и забыл, а сообразить не могу. Статейник с урлами вида https://сайт.рф/page{} как поставить условие не зная точно кол-во страниц, чтобы после крайней страницы шаблон завершал работу

 

[one]

Надо сначала собрать ко-во страниц, оно должно быть а потом уже подставлять используя счетчик.

 

[miir1981]

Надо сначала собрать ко-во страниц, оно должно быть а потом уже подставлять используя счетчик.

Зачем? На сайте 10 рубрик, в каждой рубрике N количество статей по 20 шт на страницу, нужно спарсить названия статей с сохранением в файл, отдельный для каждой рубрики. На скрине видно в одной рубрике 470 страниц * по 20 статей, а в другой рубрике будет 1200 страниц

 

[miir1981]

Делал {-Variable.i-}<470 , будет ли правильным {-Variable.i-}!=null ?

 

[BAZAg]

Делал {-Variable.i-}<470 , будет ли правильным {-Variable.i-}!=null ?

Так создайте новую переменную {-Variable.count-} и поместите в нее это значение 470.
А когда попадёте в другую категорию - поместите туда 1200.
Получится примерно то что Вы хотите. Или нет?

Условие будет такое:
{-Variable.i-}<{-Variable.count-}

 

[miir1981]

Так создайте новую переменную {-Variable.count-} и поместите в нее это значение 470.
А когда попадёте в другую категорию - поместите туда 1200.
Получится примерно то что Вы хотите. Или нет?

Условие будет такое:
{-Variable.i-}<{-Variable.count-}

я хотел бы, чтобы в автоматическом режиме осуществлялся обход всех страниц в рубрике( не знаю как это правильно выразить, когда закончатся страницы, чтобы бот переходил к выполнению следующего задания. Но я не могу задать условие (((

 

[miir1981]

пример сайта и категории https://androidinsider.ru/tag/android-13

 

[Sergodjan]

Можно привязаться к ошибке, выводимой на странице, когда страницы закончились.
Либо на некоторых сайтах бывает что если стр. закончились, то выводится контент самой последней страницы. В этом случае можно проверять спарсились ли новые данные, если нет, то значит достигли конца рубрики и новых страниц нет, пора менять рубрику.

 

[ZULI]

пример сайта и категории https://androidinsider.ru/tag/android-13

А нельзя парсить ссылки, нажимать "следующая страница" а когда кнопка не активна то переходить в следующую категорию?

 

[Sergodjan]

пример сайта и категории https://androidinsider.ru/tag/android-13

Можно проверять это и заканчивать парсинг.

 

[miir1981]

Можно проверять это и заканчивать парсинг.

Посмотреть вложение 113926

По тексту?

 

[backoff]

1. лезешь сюда - https://androidinsider.ru/robots.txt
2. находишь это - https://androidinsider.ru/sitemap.xml
3. парсишь все ссылки типа https://androidinsider.ru/sitemap-pt-post-2023-11.xml
4. парсишь все ссылки на посты типа https://androidinsider.ru/smartfony/10-argumentov-pediatra-v-polzu-zapreta-ispolzovaniya-detmi-mobilnyih-devaysov.html
5. переходишь в пост и парсишь его
6. из поста парсишь все нужное, категорию, теги и тп что надо
7. добавляешь спаршенную страницу в текстовик типа "done.txt"
8. когда надо будет спарсить заново сайт, парсишь все ссылки на посты, сравниваешь с ссылками что УЖЕ парсил, удаляешь не нужное, парсишь нужное

ps \ жаль отключен rest api на сайте, было бы еще проще )

 

[Sergodjan]

По тексту?

Да, через проверку текста на странице.