Массовая проверка "Яндекс Икс"

[Hitachi]

Описание

Шаблон сокращает ссылку до полного домена, открывает страницу статистики для него.
Парсит с неё данные, записывает в строку таблицы:

• Домен
• Показатель ИКС
• Общее количество оценок
• Положительные оценки (4 или 5 звёзд)
• Отрицательные оценки (1, 2 или 3 звезды)
• Выбор пользователей (от 0 до 5, где 5 - знак получен)
• Популярный сайт (от 0 до 5, где 5 - знак получен)
• Защищенное соединение (Есть или Нет)
• Турбо страницы (Есть или нет)

Как пользоваться?

Во входных настройках выбрать файл со ссылками на сайты или добавить эти ссылки в файл links.txt. Выбрать сервис для решения капчи.

Для работы через прокси, добавить их в файл proxy.txt

Результаты сохраняются в .csv файл с названием "Results_дата" в папку Results в формате "Домен; ИКС; Оценки; Положительные; Отрицательные; Выбор пользователей; Популярный сайт; Защищенное соединение; Турбо страницы"

 

[Banivur]

В шабе получаю ошибку ID 1412b611-cb64-4dab-ad14-e6de4b20a84d

 

[Hitachi]

В шабе получаю ошибку ID 1412b611-cb64-4dab-ad14-e6de4b20a84d

На какой-то определённой ссылке возникает?
Можете прислать пример?

 

[Banivur]

На какой-то определённой ссылке возникает?
Можете прислать пример?

На любой ссылке возникает, пока не могу чуть позже направлю пример.

 

[pchelkin]

Добрый день, Hitachi. У меня та же проблема и та же ошибка - Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска (1412b611-cb64-4dab-ad14-e6de4b20a84d). Я перешел в ProjectMaker и попытался найти id ошибки (скажу откровенно что впервые в нем) - на скрине показывает где ошибка - https://prnt.sc/ue2d4a
Прошу подсказать или помочь решить данную ошибку. Очень хочу воспользоваться Вашим шаблоном и прошу помочь в данной проблеме.
Заранее спасибо.
С уважением ДМитрий

 

[pchelkin]

Hitachi, еще хотел добавить. Мне нужно только проверка на ИКС, все остальные параметры не нужны. Возможно это упростит решение проблемы. Можете убрать проверку остальных параметров и оставить только ИКС, и выложить такой упрощенный шаблон? Если надо, готов заплатить копеечку.
С уважением Дмитрий

 

[Hitachi]

Добрый день, Hitachi. У меня та же проблема и та же ошибка - Выполнение действия HtmlElement Не найден HTML элемент, по условиям поиска (1412b611-cb64-4dab-ad14-e6de4b20a84d). Я перешел в ProjectMaker и попытался найти id ошибки (скажу откровенно что впервые в нем) - на скрине показывает где ошибка - https://prnt.sc/ue2d4a
Прошу подсказать или помочь решить данную ошибку. Очень хочу воспользоваться Вашим шаблоном и прошу помочь в данной проблеме.
Заранее спасибо.
С уважением ДМитрий

Добрый день.
Скорее всего проблема в том, что страница не успевает прогрузиться.
Увеличил паузы, добавил несколько попыток проверить загрузку.
Попробуйте обновлённый шаблон запустить

 

[pchelkin]

Hitachi, я сейчас ошибка ушла. Видимо проблема была именно в этом. Спасибо за оперативную помощь.
Подскажите, если у меня не хочет парсить домены: https://prnt.sc/ue60qs
Это может быть связано с тем что я нахожусь территориально в Украине? Прокси поставил Россия, выкачанные из ProxyChecker.
И еще вопрос, как сделать так чтоб проверка была только на ИКС, а остальные параметры убрать, чтоб сократить количество запросов и быстрее делать проверку? То есть урезать функционал проверки для ускорения процесса? Хотя сейчас сделал тест на ТОП сайтах и все проверило)))) - https://prnt.sc/ue6xt0

 

[Hitachi]

Hitachi, я сейчас ошибка ушла. Видимо проблема была именно в этом. Спасибо за оперативную помощь.
Подскажите, если у меня не хочет парсить домены: https://prnt.sc/ue60qs
Это может быть связано с тем что я нахожусь территориально в Украине? Прокси поставил Россия, выкачанные из ProxyChecker.
И еще вопрос, как сделать так чтоб проверка была только на ИКС, а остальные параметры убрать, чтоб сократить количество запросов и быстрее делать проверку? То есть урезать функционал проверки для ускорения процесса?

Похоже, прокси нерабочие или очень медленные.
В инстансе вообще что-то отображается при работе шаблона?

 

[pchelkin]

Похоже, прокси нерабочие или очень медленные.
В инстансе вообще что-то отображается при работе шаблона?

В инстансе ничего не отображается.
Может быть проблема и в прокси. Подскажите какие лучше покупать для парсинга?
Пока у меня не удается спарсить.
И еще вопрос - если скоратить работу шаблона до парсинга только ИКС - парсинг быстрее будет происходить? Или время то же будет затрачено?

 

[Hitachi]

В инстансе ничего не отображается.

Тогда нужно либо приватные прокси использовать, либо вообще без прокси.
Список прокси можно оставить пустым

 

[pchelkin]

Тогда нужно либо приватные прокси использовать, либо вообще без прокси.
Список прокси можно оставить пустым

Без прокси как и ожидалось идет блокировка Яндекса - https://prnt.sc/ue7db6
С прокси инста выглядит так - https://prnt.sc/ue7g9g
Но все равно не парсит. Попробую подключить прокси

 

[Hitachi]

Без прокси как и ожидалось идет блокировка Яндекса - https://prnt.sc/ue7db6
С прокси инста выглядит так - https://prnt.sc/ue7g9g
Но все равно не парсит. Попробую подключить прокси

А, точно, без прокси же не открывается он.

Тогда нужно использовать приватные прокси, рабочие

 

[pchelkin]

Hitachi, извините что Вас отвлекаю. Понимаю что Вы и так много сделали что создали шаблон.
Но у меня все равно не получается спарсить:
Вот мои настройки:

Screenshot by Lightshot

Captured with Lightshot

prnt.sc

Screenshot by Lightshot

Captured with Lightshot

prnt.sc

инста - https://prnt.sc/ue8ass
links - https://prnt.sc/ue8b5s
proxy - https://prnt.sc/ue8bm9
proxy купил - IPV4 приватные
все равно не парсит данные - https://prnt.sc/ue8cal
Прошу подсказать что я делаю не так.
Заранее спасибо.
С уважением ДМитрий

 

[Hitachi]

Hitachi, извините что Вас отвлекаю. Понимаю что Вы и так много сделали что создали шаблон.
Но у меня все равно не получается спарсить:
Вот мои настройки:

Screenshot by Lightshot

Captured with Lightshot

prnt.sc

Screenshot by Lightshot

Captured with Lightshot

prnt.sc

инста - https://prnt.sc/ue8ass
links - https://prnt.sc/ue8b5s
proxy - https://prnt.sc/ue8bm9
proxy купил - IPV4 приватные
все равно не парсит данные - https://prnt.sc/ue8cal
Прошу подсказать что я делаю не так.
Заранее спасибо.
С уважением ДМитрий

Попробуйте выставить Прокси: не использовать для начала.

И ещё возможно формат прокси неправильный, там может быть авторизация через логин пароль.
В таком случае нужно будет указывать в формате login:password@ip:port или protocol://login:password@ip:port для socks прокси

 

[pchelkin]

Я писал ранее что если прокси не использовать - не срабатывает. Попробую поколдовать с форматом, так как прокси с логином и паролем.
Спасибо!

 

[Hitachi]

Я писал ранее что если прокси не использовать - не срабатывает. Попробую поколдовать с форматом, так как прокси с логином и паролем.
Спасибо!

В шаблоне прокси берутся из файла, эта настройка в ZP не влияет на получение. В принципе можно и оставить "Использовать", если Вы шаблон не меняли.
Скорее всего дело именно в формате прокси купленного

 

[pchelkin]

Все получилось! Огромное Вам спасибо!