Yandex.Wordstat: парсер истории запросов

[Hitachi]

Описание

Шаблон устанавливает прокси, загружает профиль, если он есть, получает фразу для поиска, открывает вордстат, проверяет авторизацию. Если авторизация не пройдена - логинится. Решает капчу при возникновении (счётчик установлен на 5 попыток).
Когда авторизация пройдена, выбирает регионы, если они указаны во входных настройках.
Далее открывает страницу по запросу и указанным параметрам, парсит данные в таблицу.
Переходит к следующему запросу, пока они не закончатся.
В зависимости от выбранного режима, либо сохраняет каждый запрос в отдельный файл, либо сохраняет все запросы в один файл.
Перед завершением работы сохраняет профиль.

Как пользоваться?

Во входных настройках:

• выбрать сервис для решения капчи;
• файл с ключевыми фразами (или добавить их в файл words.txt);
• ввести логин и пароль от яндекс вордстат;
• выбрать период и тип устройств;
• выбрать регионы (если не выбирать - парсятся данные для всех регионов).

Для работы через прокси, добавить их в файле proxy.txt.

Как выбрать регионы: либо ввести готовые параметры из url (например, regions=225,-59,-73,-977,183,84), либо выбрать нужные регионы вручную ил списка.
Если первое поле заполнено, второе (ручной выбор) игнорируется.

Результаты будут сохранены в папку Results в .xlsx файл с уникальным названием "запрос_период_тип_дата_время" или "Дата_время_период_тип" в зависимости от выбранного режима.
Период "Месяц" и тип устройств "Все" в названии не указываются
Формат записи в таблицу: "Запрос, период, абсолютное, относительное, Регион"

 

[xataaa]

Добрый день. У меня шаблон выдаёт "Проект не содержит входящих настроек". Что это может быть?

апд. Была старая версия зенки, обновил и всё появилось

 

[She]

Доброго дня @Hitachi
Что из всех представленных на сайте бесплатных шаблонов является таким же, но только для гугла?

 

[Hitachi]

Доброго дня @Hitachi
Что из всех представленных на сайте бесплатных шаблонов является таким же, но только для гугла?

Добрый день.
Для гугла подобный шаблон не выкладывался в разделе бесплатных. Можете пожать запрос в соответствующем разделе

 

[She]

Доброго дня @Hitachi
По возможности рассмотрите пожалуйста дополнительные фишки в этом шаблоне:
когда нажимаешь на "стоп" остановить выполнение шаблона нужно постараться сделать так,чтобы вся история парсинга на момент "стоп" сохранялась в файл.
Иногда шаблон работает по несколько дней, и ну очень надо перезагрузить комп. Сохранение процесса по нажатию кнопки "стоп" очень бы помогло.
Если будет возможность то и запуск после перезагрузки компьютера не с начала, а с места остановки.

 

[Hitachi]

Доброго дня @Hitachi
По возможности рассмотрите пожалуйста дополнительные фишки в этом шаблоне:
когда нажимаешь на "стоп" остановить выполнение шаблона нужно постараться сделать так,чтобы вся история парсинга на момент "стоп" сохранялась в файл.
Иногда шаблон работает по несколько дней, и ну очень надо перезагрузить комп. Сохранение процесса по нажатию кнопки "стоп" очень бы помогло.
Если будет возможность то и запуск после перезагрузки компьютера не с начала, а с места остановки.

Шаблон обновлён.
Теперь ключевые слова берутся из .txt файла.
Можно выбрать файл во входных настройках, можно добавить слова в words.txt

При остановке текущее ключевое слова остаётся в списке, все обработанные файлы сохраняются сразу в папку Results

 

[лютыйперец]

Описание

Шаблон устанавливает прокси, загружает профиль, если он есть, получает фразу для поиска, открывает вордстат, проверяет авторизацию. Если авторизация не пройдена - логинится. Решает капчу при возникновении (счётчик установлен на 5 попыток).
Когда авторизация пройдена, открывает страницу по запросу и указанным параметрам, парсит данные в таблицу, сохраняет её в файл.
Переходит к следующему запросу, пока они не закончатся.
Перед завершением работы сохраняет профиль.

Как пользоваться?

Во входящих настройках выбрать сервис для решения капчи, файл с ключевыви фразами (или добавить их в файл words.txt), ввести логин и пароль от яндекс вордстат, а также выбрать период и тип устройств.
Для работы через прокси, указать из в файле proxy.txt.

Результаты будут сохранены в папку Results в .xlsx файл с уникальным названием "запрос_период_тип_дата_время".
Период "Месяц" и тип устройств "Все" в названии не указываются

Здравствуй, уважаемый ТС.

Не могу решить задачку. В строке ввода в вордстат шаблон пишет символами, вместо русских слов.Но по английски пишет корректно. Что проделать для корректной работы?)

 

[Hitachi]

Здравствуй, уважаемый ТС.

Не могу решить задачку. В строке ввода в вордстат шаблон пишет символами, вместо русских слов.Но по английски пишет корректно. Что проделать для корректной работы?)

Добрый день!

Проверьте кодировку файла words. Возможно, там ANSI.
Проверить можно при сохранении в блокноте, например

 

[ilya3250]

Добрый день!
Можно увидеть файл экспорта, что я получу на выходе после парсинга?

 

[Hitachi]

Добрый день!
Можно увидеть файл экспорта, что я получу на выходе после парсинга?

Добрый день.
На выходе такая таблица для каждого запроса

 

[ilya3250]

Я так понимаю это для оценки сезонности запросов верно?
То есть для анализа спроса в определенное время года.

 

[Korik222]

Профиль устанавливает с задержкой, а так, всё супер

 

[Hitachi]

Профиль устанавливает с задержкой, а так, всё супер

В чём это выражается? Без профиля загружаться начинает сайт?

 

[Alenino19]

Добрый день! Hitachi подскажи, как можно изменить регион в этом проекте?

 

[Alenino19]

Hitachi , привет!
Подскажи, возможно ли сделать, чтобы все парсилось в один отчет?
Буду очень сильно благодарен за помощь

 

[Hitachi]

Добрый день! Hitachi подскажи, как можно изменить регион в этом проекте?

Hitachi , привет!
Подскажи, возможно ли сделать, чтобы все парсилось в один отчет?
Буду очень сильно благодарен за помощь

Добрый день!
Регион пока выбрать нельзя, добавлю чуть позже эту функцию в шаблон.
Насчёт одного отчёта посмотрю тоже

 

[Hitachi]

Добрый день! Hitachi подскажи, как можно изменить регион в этом проекте?

Hitachi , привет!
Подскажи, возможно ли сделать, чтобы все парсилось в один отчет?
Буду очень сильно благодарен за помощь

Шаблон обновлён, добавлен выбор регионов и возможность записывать все запросы в один файл

 

[Fanis]

Что означает ошибка:
Тип Время Сообщение
2020-12-11 14:23:04.256 Выполнение логического оператора If Результат: false

 

[Hitachi]

Что означает ошибка:
Тип Время Сообщение
2020-12-11 14:23:04.256 Выполнение логического оператора If Результат: false

Кликните правой кнопкой по ошибке и пришлите id действия

 

[Fanis]

Кликните правой кнопкой по ошибке и пришлите id действия

0604161e-6b0d-4106-b1e6-e114818c4b2d

 

[Hitachi]

0604161e-6b0d-4106-b1e6-e114818c4b2d

Не удалось капчу решить.
Обновил шаблон, добавил оповещения на этот случай

 

[fry-net]

При проверке капчи программа зависает

 

[Hitachi]

При проверке капчи программа зависает

В каком плане зависает? В логе что-то появляется? Сколько ждали?

И ещё обновите шаблон, текущая версия не так выглядит

 

[fry-net]

В каком плане зависает? В логе что-то появляется? Сколько ждали?

И ещё обновите шаблон, текущая версия не так выглядит

Около 2 минут

 

[Hitachi]

Около 2 минут

Капча сервис CapMonsterCloud так и должен быть?
Раньше капчи решали через него? Или сейчас с других шаблонов?

 

[fry-net]

Капча сервис CapMonsterCloud так и должен быть?
Раньше капчи решали через него? Или сейчас с других шаблонов?

Другие сервисы тоже залипают. Решали, отклик 5-10 секунд в других приложениях.

 

[Hitachi]

Другие сервисы тоже залипают. Решали, отклик 5-10 секунд в других приложениях.

Шаблон обновлённый скачали из первого поста?

 

[fry-net]

Шаблон обновлённый скачали из первого поста?

А причем тут шаблон? Скачал.

 

[Hitachi]

А причем тут шаблон? Скачал.

В нём также зависает?

Если шаблон ни при чём - это техподдержке писать нужно

 

[Alenino19]

Hitachi привет!
нужны ли тебе комментарии для доработки? Ты к этому норм относишься ?)
А так, проект оч крутой.