Генератор 301-х редиректов на сайт

[Сибиряк]

Всем салют!
Решил поучаствовать в конкурсе со своими SEO-шаблонами генерации редиректов на сайт.

Предыстория.
На оптимизацию и продвижение пришел сайт с только что смененной CMS и не настроенными редиректами.
В итоге в выдаче ПС куча дублей (https:// , https://www. , http:// , http://www. , + тоже самое на поддомене.).
Частично какие-то редиректы были сделаны, но настолько небрежно что проще все с нуля сделать.
Собственно идея и возникла как-то это дело автоматизировать.


Общая логика работы

Парсим урлы сайта в индексах Яндекс и Гугл, выгружаем в вебмастере и копируем в файл в папке IN.

Загоняем урл в первый шаблон 01 PingPageSite_v.1 . Он начинает скачивать заголовки страниц и сохранять все редиректы и коды ответа сервера в таблицу.

Колонки в таблице
1. Код ответа.
2. Стартовый урл, по которому программа скачивает заголовки.
3-4. Промежуточные редиректы.*
5. Финальный урл.*
*Колонок может быть и больше.

Второй шаблон из таблицы берет данные и уже он генерирует редиректы для вставки в htaccess.

Файлы и папки
IN – содержит файл с урл из выдачи ПС.
ссылки на вход.txt

OUT – сохраняется xlsx таблица и готовые файл с редиректами.
Книга1.xlsx – таблица с данными.
Redirects 09-10-2020_05-06-41.txt – готовый файл с редиректами. В названии подставляется время генерации.

shab – папка содержит файл с шаблоном для редиректа.
shab_red.txt

01 PingPageSite_v.1.xmlz – качалка заголовков страниц.
02 Gen_redirekt_v.1.xmlz – генератор редиректов.



Входящие настройки шаблонов

01 PingPageSite_v.1.xmlz

Включаем фильтрацию спец символов. Что бы какой-нибудь урл поиска товаров не попал в обработку.


02 Gen_redirekt_v.1.xmlz

Шаблон редиректа – указываем файл шаблона редиректа.
Обрезаем http(s)://domen.ru – регулярка для обрезки домена из урл.
Редирект при 403 и 404 – указываем куда сделать редирект при 404 и других ошибках.
XLSX файл на вход – указываем файл с таблицей на вход.



Бонус
В архиве два парсера Яндекс XML и Google (XML River).
Там все просто. Добавляете в настройки логины\ключи, в файл, в папке IN, ключи запросов.
Примеры в файлах есть.
И вперед.

Все шаблоны работают в цикле, в одном потоке.

 

[radv]

Бонус
В архиве два парсера Яндекс XML и Google (XML River).

Хорошие бонусы

 

[Iv1]

Реализация установки региональности через GET параметры для google что-то не нашел в шаблонах...
Тема давняя, но не видел чтобы кто-то заморочился на реализацию.
Или это просто бонусное напоминание что так тоже можно?

 

[Сибиряк]

Реализация установки региональности через GET параметры для google что-то не нашел в шаблонах...

Забыл удалить папку))
Это осталось когда что-то по регионам парсил через XMLRiver.
Закачал архив без той папки.

 

[Iv1]

Забыл удалить папку))
Это осталось когда что-то по регионам парсил через XMLRiver.
Закачал архив без той папки.

А есть реализация?
Хочется потестить эффективность - но надо пилить, а это время

 

[Сибиряк]

Так в админке XMLRiver регионы настраиваются.

 

[DoReMi]

Так в админке XMLRiver регионы настраиваются.

Добрый день уважаемый автор, полез немного разбираться в чужих шаблонах, чтобы понять как надо писать, ну вообщем наткнулся на Ваш шаблон, он мне по тематике подходит

Возникло пару вопросов

1. Вопрос 1 в скрине
2. Вопрос 2 в скрине

P/S за шаблоны спасибо, понятно как работать с выдачей, на всякий случай еще прикреплю доп. инфу к теме

а. Справка Яндекс по XML - https://yandex.ru/dev/xml/doc/dg/concepts/get-request.html
б. Доп. инфа о том как работать с XMLRiver для Google - https://xmlstock.com/?do=google-help