Парсер Яндекс Вордстат

[Yosemite]

Описание

Для работы с Яндекс Вордстат необходима авторизация. Её производим через указанные в настройках данных входа в систему. Разгадываем капчу при необходимости. При удачной авторизации будет сохранён профиль, что должно избавить от необходимости авторизации в будущем. Шаблон будет парсить результаты по каждому ключу столько страниц, сколько указано в настройках с заданной глубиной. Результат будет сохранятся в файл с именем в виде даты.
Шаблон однопоточный.

Как пользоваться?

1. Логин
Логин для авторизации на яндексе

2. Пароль
Пароль для авторизации на яндексе

3. Модуль распознавания капчи
Для капчи, которая может возникнуть на этапе авторизации

4. Сколько страниц парсить
Количество страниц выдачи для каждого ключа

5. Глубина
Количество кругов парсинга с учётом новых ключей

6. Ключи
Список ключей

За одно выполнение шаблон прогонит все ключи. Результат будет записываться в файл с именем дата.txt. Дата в формате yyyyMMddHHmmss

 

[She]

Доброго дня @Yosemite
Большое спасибо за этот замечательный шаблон. Очень помогает и очень экономит время. Благодарствую за вашу работу.
1.Сделайте пожалуйста автосохранение напаршенных списков.
Паршу копиями шаба по 10-20 потоков сразу.При парсинге до 1-2 глубины очень часто парсинг обрывается на ошибке.
"Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска".
Я делаю так:1 копия шаблона всегда парсит только 1 ключ.
Обидно,когда 1-2 суток парсятся ключи с большим количеством результата выдачи, и дни парсинга уходят коту под хвост. Часто приходится по несколько раз перезапускать парсинг одного и того же ключа, и это не есть гарантия того, что шаб опять не закончит парсинг с ошибкой. Парсю всё через один подтвержденный в яндексе акк.


2.Подскажите пожалуйста по настройкам - сколько страниц парсить, максимум можно указать сколько угодно, но по факту правильной цифрой будет 100? Ставил и 1000 и 100 ошибка HTML одинаково вылезает на некоторых ключах.
3.Глубина максимально какая возможна?Максимум ставил 3,но дальше 2й не проходил.

 

[Yosemite]

Добрый день!

При парсинге до 1-2 глубины очень часто парсинг обрывается на ошибке.
"Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска".

На каком именно экшене появляется ошибка не смотрели? Чтобы узнать, нужно правой кнопкой кликнуть по оповещению и нажать "Скопировать id действия".
Сейчас шаблон тестируется, позже будет доработан.

2.Подскажите пожалуйста по настройкам - сколько страниц парсить,

При указании 100 страниц скорее всего спарсятся все, что есть. Судя по тестам, для всех запросов выдаётся 41 страница

3.Глубина максимально какая возможна?Максимум ставил 3,но дальше 2й не проходил.

Нужно тестировать после того, как перестанет появляться ошибка

 

[She]

Добрый день!



На каком именно экшене появляется ошибка не смотрели? Чтобы узнать, нужно правой кнопкой кликнуть по оповещению и нажать "Скопировать id действия".

Доброго дня @Yosemite
59deed10-18e7-4776-b4e1-a1e054cb4b3f

 

[Yosemite]

Доброго дня @Yosemite
59deed10-18e7-4776-b4e1-a1e054cb4b3f

Шаблон обновлён.

Добавлено время ожидания, если не удаётся ввести очередной ключ.
Если ввести так и не удалось, создаётся папка, в неё сохраняется txt файл с ключами, которые не удалось обработать, в названии последний взятый ключ. А так же файл с результатами на текущий момент.

Если шаблон завершается успешно, так же создаётся папка, а в ней файл с результатами

 

[She]

Добрый день @Yosemite
Обновите пожалуйста
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска
b4b0f4a8-b0ea-4c26-8d02-a65123163dea

 

[She]

Добрый день @Yosemite
Обновите пожалуйста

 

[She]

Добрый день @Yosemite
Обновите пожалуйста
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска
b4b0f4a8-b0ea-4c26-8d02-a65123163dea

 

[Yosemite]

Добрый день @Yosemite
Обновите пожалуйста
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска
b4b0f4a8-b0ea-4c26-8d02-a65123163dea

Шаблон обновлён

 

[She]

Добрый день @Yosemite спасибо за обновление шаблона.
А для гугла такой же шаблон можете сделать?
С гугла вообще реально такие же данные подтягивать?

Я видел шаблон гугл-трендс.Но это не то.

 

[Yosemite]

Добрый день @Yosemite спасибо за обновление шаблона.
А для гугла такой же шаблон можете сделать?
С гугла вообще реально такие же данные подтягивать?

Я видел шаблон гугл-трендс.Но это не то.

Добрый день.
Что вы имеете в виду под фразой "такой же шаблон"?
На каком сервисе он должен собирать информацию, какую именно?

Почему не подходит гугл трендс?
Вы про этот шаблон?

 

[maksimal2]

Добрый день, не подскажите , в чём может быть проблема:
Сообщение
Не нашли капчу при авторизации. Возможно она не требуется. Проверяем статус авторизации.
Не удалось авторизоваться. Причина не известна. После разгадывания капчи не удалось найти элемент с логином
ZennoPoster Проект G:\проекты зенопостер\_yandex_wordstat\yandex_wordstat.xmlz выполнен успешно!

 

[Yosemite]

Добрый день, не подскажите , в чём может быть проблема:
Сообщение
Не нашли капчу при авторизации. Возможно она не требуется. Проверяем статус авторизации.
Не удалось авторизоваться. Причина не известна. После разгадывания капчи не удалось найти элемент с логином
ZennoPoster Проект G:\проекты зенопостер\_yandex_wordstat\yandex_wordstat.xmlz выполнен успешно!

Добрый день!
Обновлена авторизация, теперь должно работать правильно

 

[Coopertino]

А шаблон еще рабочий? Не парсит - завис.

 

[golodec1989]

Отличный шаблон, конкретно выручает. Большое спасибо. А не могли бы выбор региона добавить?

 

[golodec1989]

Регион можно в инстансе поменять. Единственный минус, слова в один файл пишутся, если прервать, то все в никуда. Было бы круто, если бы каждое ключевое слово в отдельный файл записывалось.

 

[BoogerMel]

Добрый день,
Архив битый, можно попросить обновить?
Спасибо!

 

[garikn]

Добрый день!
Обновлена авторизация, теперь должно работать правильно

Добрый день,
Архив битый, можно попросить обновить?
Спасибо!

В первом посте написано, что архив обновлен "Последнее редактирование: 04.12.2019 ".
Получается, что не рабочий шаблон. А тема Постером накручена))))))

 

[Rusv]

Привет! А можно реализовать функцию выбора региона в настройках шаблона?

 

[She]

Здравствуйте @Yosemite или его заместитель. Обновите пожалуйста шаблон.

 

[garikn]

Отремонтировал. Так и не понял нужна ли здесь капча, удалил ее нафиг. Пока делал получился второй, который активируется по профилю чисто. Решил их так и оставить двумя вариантами.
Часть с анализом и записью хорошо работает, не вносил изменений даже. Но куски там сами болтались не нужные. Как выкладывать, не разобрался пока.

 

[Sergodjan]

Отремонтировал. Так и не понял нужна ли здесь капча, удалил ее нафиг. Пока делал получился второй, который активируется по профилю чисто. Решил их так и оставить двумя вариантами.
Часть с анализом и записью хорошо работает, не вносил изменений даже. Но куски там сами болтались не нужные. Как выкладывать, не разобрался пока.

Можете в новом посте выложить.

 

[garikn]

Можете в новом посте выложить.

Не верно выразился, но люди подсказали. Версию как изменять.
У многих спрашивал рабочий шаблон, но у самого тогда зенка из-за проблем ПК не работала адекватно, поэтому не мог поправить.
Два получившихся шаблона прилагаю, возможно пригодится кому то. Браузер изменил, так как в оригинальном отображалось очень жутко. Мне их пока хватает. Может потом перепишу.

 

[lenaole]

Не верно выразился, но люди подсказали. Версию как изменять.
У многих спрашивал рабочий шаблон, но у самого тогда зенка из-за проблем ПК не работала адекватно, поэтому не мог поправить.
Два получившихся шаблона прилагаю, возможно пригодится кому то. Браузер изменил, так как в оригинальном отображалось очень жутко. Мне их пока хватает. Может потом перепишу.

Подскажите как устранить ошибку сразу после запуска
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска

 

[Sergodjan]

Подскажите как устранить ошибку сразу после запуска
Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска

Скорее всего, изменилась верстка, нужно адаптировать под новую.