Yandex.Wordstat: парсер истории запросов

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Описание

Шаблон устанавливает прокси, загружает профиль, если он есть, получает фразу для поиска, открывает вордстат, проверяет авторизацию. Если авторизация не пройдена - логинится. Решает капчу при возникновении (счётчик установлен на 5 попыток).
Когда авторизация пройдена, выбирает регионы, если они указаны во входных настройках.
Далее открывает страницу по запросу и указанным параметрам, парсит данные в таблицу.
Переходит к следующему запросу, пока они не закончатся.
В зависимости от выбранного режима, либо сохраняет каждый запрос в отдельный файл, либо сохраняет все запросы в один файл.
Перед завершением работы сохраняет профиль.

Как пользоваться?

Во входных настройках:
  • выбрать сервис для решения капчи;
  • файл с ключевыми фразами (или добавить их в файл words.txt);
  • ввести логин и пароль от яндекс вордстат;
  • выбрать период и тип устройств;
  • выбрать регионы (если не выбирать - парсятся данные для всех регионов).
Для работы через прокси, добавить их в файле proxy.txt.

Как выбрать регионы: либо ввести готовые параметры из url (например, regions=225,-59,-73,-977,183,84), либо выбрать нужные регионы вручную ил списка.
Если первое поле заполнено, второе (ручной выбор) игнорируется.

Результаты будут сохранены в папку Results в .xlsx файл с уникальным названием "запрос_период_тип_дата_время" или "Дата_время_период_тип" в зависимости от выбранного режима.
Период "Месяц" и тип устройств "Все" в названии не указываются
Формат записи в таблицу: "Запрос, период, абсолютное, относительное, Регион"
 
Категория
Парсинг, SEO
Тип шаблона
Открытый
Многопоточность
Нет
Дата обновления
21.12.2020
Описание обновления
Добавлен переход к следующему запросу, если нет результатов на странице.
Обновлены оповещения.
Добавлена проверка на пустоту списка words.
Запросы теперь удаляются из списка после добавления данных в таблицу

Вложения

Для запуска проектов требуется программа ZennoPoster.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...

Для того чтобы запустить шаблон, откройте программу ZennoPoster. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.

Последнее редактирование:

xataaa

Client
Регистрация
13.11.2016
Сообщения
10
Благодарностей
1
Баллы
3
Добрый день. У меня шаблон выдаёт "Проект не содержит входящих настроек". Что это может быть?

апд. Была старая версия зенки, обновил и всё появилось
 
Последнее редактирование:

She

Client
Регистрация
11.01.2017
Сообщения
122
Благодарностей
23
Баллы
18
Доброго дня @Hitachi
Что из всех представленных на сайте бесплатных шаблонов является таким же, но только для гугла?
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Доброго дня @Hitachi
Что из всех представленных на сайте бесплатных шаблонов является таким же, но только для гугла?
Добрый день.
Для гугла подобный шаблон не выкладывался в разделе бесплатных. Можете пожать запрос в соответствующем разделе
 
  • Спасибо
Реакции: She

She

Client
Регистрация
11.01.2017
Сообщения
122
Благодарностей
23
Баллы
18
Доброго дня @Hitachi
По возможности рассмотрите пожалуйста дополнительные фишки в этом шаблоне:
когда нажимаешь на "стоп" остановить выполнение шаблона нужно постараться сделать так,чтобы вся история парсинга на момент "стоп" сохранялась в файл.
Иногда шаблон работает по несколько дней, и ну очень надо перезагрузить комп. Сохранение процесса по нажатию кнопки "стоп" очень бы помогло.
Если будет возможность то и запуск после перезагрузки компьютера не с начала, а с места остановки.
 
  • Спасибо
Реакции: Hitachi

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Доброго дня @Hitachi
По возможности рассмотрите пожалуйста дополнительные фишки в этом шаблоне:
когда нажимаешь на "стоп" остановить выполнение шаблона нужно постараться сделать так,чтобы вся история парсинга на момент "стоп" сохранялась в файл.
Иногда шаблон работает по несколько дней, и ну очень надо перезагрузить комп. Сохранение процесса по нажатию кнопки "стоп" очень бы помогло.
Если будет возможность то и запуск после перезагрузки компьютера не с начала, а с места остановки.
Шаблон обновлён.
Теперь ключевые слова берутся из .txt файла.
Можно выбрать файл во входных настройках, можно добавить слова в words.txt

При остановке текущее ключевое слова остаётся в списке, все обработанные файлы сохраняются сразу в папку Results
 
  • Спасибо
Реакции: Santorini
Регистрация
17.10.2020
Сообщения
40
Благодарностей
4
Баллы
8
Описание

Шаблон устанавливает прокси, загружает профиль, если он есть, получает фразу для поиска, открывает вордстат, проверяет авторизацию. Если авторизация не пройдена - логинится. Решает капчу при возникновении (счётчик установлен на 5 попыток).
Когда авторизация пройдена, открывает страницу по запросу и указанным параметрам, парсит данные в таблицу, сохраняет её в файл.
Переходит к следующему запросу, пока они не закончатся.
Перед завершением работы сохраняет профиль.

Как пользоваться?

Во входящих настройках выбрать сервис для решения капчи, файл с ключевыви фразами (или добавить их в файл words.txt), ввести логин и пароль от яндекс вордстат, а также выбрать период и тип устройств.
Для работы через прокси, указать из в файле proxy.txt.

Результаты будут сохранены в папку Results в .xlsx файл с уникальным названием "запрос_период_тип_дата_время".
Период "Месяц" и тип устройств "Все" в названии не указываются
Здравствуй, уважаемый ТС.

Не могу решить задачку. В строке ввода в вордстат шаблон пишет символами, вместо русских слов.Но по английски пишет корректно. Что проделать для корректной работы?)
Безымянный.jpg
 
  • Спасибо
Реакции: LimpoBo

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Здравствуй, уважаемый ТС.

Не могу решить задачку. В строке ввода в вордстат шаблон пишет символами, вместо русских слов.Но по английски пишет корректно. Что проделать для корректной работы?)
Добрый день!

Проверьте кодировку файла words. Возможно, там ANSI.
Проверить можно при сохранении в блокноте, например

65676
 

ilya3250

Новичок
Регистрация
18.10.2020
Сообщения
5
Благодарностей
0
Баллы
1
Добрый день!
Можно увидеть файл экспорта, что я получу на выходе после парсинга?
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

Вложения

  • Спасибо
Реакции: LimpoBo

ilya3250

Новичок
Регистрация
18.10.2020
Сообщения
5
Благодарностей
0
Баллы
1
Я так понимаю это для оценки сезонности запросов верно?
То есть для анализа спроса в определенное время года.
 

Korik222

Banned
Регистрация
31.10.2020
Сообщения
5
Благодарностей
1
Баллы
3
Профиль устанавливает с задержкой, а так, всё супер
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

Alenino19

Client
Регистрация
10.12.2020
Сообщения
6
Благодарностей
1
Баллы
3
Добрый день! Hitachi подскажи, как можно изменить регион в этом проекте?
 

Alenino19

Client
Регистрация
10.12.2020
Сообщения
6
Благодарностей
1
Баллы
3
Hitachi , привет!
Подскажи, возможно ли сделать, чтобы все парсилось в один отчет?
Буду очень сильно благодарен за помощь
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Добрый день! Hitachi подскажи, как можно изменить регион в этом проекте?
Hitachi , привет!
Подскажи, возможно ли сделать, чтобы все парсилось в один отчет?
Буду очень сильно благодарен за помощь
Добрый день!
Регион пока выбрать нельзя, добавлю чуть позже эту функцию в шаблон.
Насчёт одного отчёта посмотрю тоже
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Добрый день! Hitachi подскажи, как можно изменить регион в этом проекте?
Hitachi , привет!
Подскажи, возможно ли сделать, чтобы все парсилось в один отчет?
Буду очень сильно благодарен за помощь
Шаблон обновлён, добавлен выбор регионов и возможность записывать все запросы в один файл
 
  • Спасибо
Реакции: todayer и Santorini

Fanis

Client
Регистрация
28.02.2018
Сообщения
81
Благодарностей
20
Баллы
8
Что означает ошибка:
Тип Время Сообщение
2020-12-11 14:23:04.256 Выполнение логического оператора If Результат: false
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
Что означает ошибка:
Тип Время Сообщение
2020-12-11 14:23:04.256 Выполнение логического оператора If Результат: false
Кликните правой кнопкой по ошибке и пришлите id действия
 

Fanis

Client
Регистрация
28.02.2018
Сообщения
81
Благодарностей
20
Баллы
8

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

fry-net

Новичок
Регистрация
15.12.2020
Сообщения
4
Благодарностей
0
Баллы
1
При проверке капчи программа зависает
 

Вложения

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63
При проверке капчи программа зависает
В каком плане зависает? В логе что-то появляется? Сколько ждали?

И ещё обновите шаблон, текущая версия не так выглядит
 

fry-net

Новичок
Регистрация
15.12.2020
Сообщения
4
Благодарностей
0
Баллы
1

Вложения

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

fry-net

Новичок
Регистрация
15.12.2020
Сообщения
4
Благодарностей
0
Баллы
1
Капча сервис CapMonsterCloud так и должен быть?
Раньше капчи решали через него? Или сейчас с других шаблонов?
Другие сервисы тоже залипают. Решали, отклик 5-10 секунд в других приложениях.
 

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

fry-net

Новичок
Регистрация
15.12.2020
Сообщения
4
Благодарностей
0
Баллы
1

Hitachi

Creators Template
Регистрация
25.09.2019
Сообщения
384
Благодарностей
347
Баллы
63

Alenino19

Client
Регистрация
10.12.2020
Сообщения
6
Благодарностей
1
Баллы
3
Hitachi привет!
нужны ли тебе комментарии для доработки? Ты к этому норм относишься ?)
А так, проект оч крутой.
 

Кто просматривает тему: (Всего: 5, Пользователи: 0, Гости: 5)