нужен шаб, выдача гугла, переход на сайт, поиск сайтмап - 2000 руб

[indaxis]

пишу цену сразу что бы "крутые" разрабы не тратили своё драгоценное время

для тех кому нужны деньги и у кого есть время и знания - более детальное тз:

даю ключ
бот переходит в гугл выдачу
далее проходит по каждому сайту - можно сразу даже не кликая по выдаче переходить на
сайт/robots.txt
сайт/sitemap.xml
задача - найти сайтмап. обычно он указывается в роботс. если нет - идем по прямому урлу sitemap.xml если нигде не нашли ну болт значит, не повезло.
в выдаче проходим первых 10 страниц, то есть проходим 100 сайтов.

ну собственно самое сложное - все. теперь переходим на сайтмап и считаем в нем количество урлов.

далее надо создать список следующего формата в ткст файле:
урл сайта | количество страниц в сайтмапе
то есть просто подсчитать количество страниц на сайте через сайтмап. усё.


ВНИМАНИЕ - бывает много сайтмапов - их все надо обойти. ну вот пример такого beforeyoubet.org/sitemap_index.xml (это конечно особый случай, уж очень много страниц, но бывает, встречается)

капча/прокси.

оплата СБП или на карту ру.

телега: indaxis

 

[artsmm]

телега: indaxis

написал в ТГ

 

[indaxis]

так, двигаемся дальше.
софт только на зенке.


детально распишу тз снова.

ключ
переход в гугл.

получаем страницу выдачи. в ней - либо кликаем по ссылкам, либо что лучше:

берем сразу домены добавляем к ним sitemap.xml и считаем количество урлов в этом сайтмапе.
бог с ним с роботсом, упрощу до перехода сразу на sitemap.xml - не нашли ну значит не судьба.

тут варианта два которые немного и усложняют весь скрипт:
1) нам везет мы и попадаем на чистый сайтмап - https://loritom.ua/sitemap.xml - тогда просто считаем количество урлов и готово.
2) нам не повезло и мы попадаем на глобальный сайтмап который ведет на более мелкие сайтмапы уже непосредственно с урлами.
пример: https://medsi.ru/sitemap.xml -тогда надо перейти по всем более мелким сайтмапам и пересчитать урлы там.
технически это просто - мы видим ссылки на xml и тег <sitemap> который и указывает нам что у нас не карта урлов а карта сайтмапов.
вообщем один раз прокликаете и все станет понятно.

пройти надо соответственно всю выдачу гугла - первые 10 страниц, сто сайтов в сумме.
прокси/капча - в принципе необязательно если у вас будет переход сразу на домен, в обход клика по самой выдаче.

далее все записываем в формат в ткст файл
урл сайта | количество страниц в сайтмапе

телега indaxis
цену увеличил до 2к руб, оплата сбп или перевод на карту ру.