Как яндекс определяет роботность?!

[boris99]

Здравствуйте!

Сделал просто проект на зенно - запускается с новым профилем (без прокси), чистит куких, переходит на некую страницу. Запусти 15 раз меняя ip (yota). Проверил в метрике - роботность 100%.
Сделал анаогичные действия руками в браузере - роботность 0%.
Настройки зенно были по умолчанию, проверял как хром, так и мозиллу (единственное, что менял).
Сижу и думаю... КАК?! Может я какую-то настройку зенно не ставлю.. Поделитесь опытом,у кого как, в чем хитрость?!)

 

[Valandersi]

Здравствуйте!

Сделал просто проект на зенно - запускается с новым профилем (без прокси), чистит куких, переходит на некую страницу. Запусти 15 раз меняя ip (yota). Проверил в метрике - роботность 100%.
Сделал анаогичные действия руками в браузере - роботность 0%.
Настройки зенно были по умолчанию, проверял как хром, так и мозиллу (единственное, что менял).
Сижу и думаю... КАК?! Может я какую-то настройку зенно не ставлю.. Поделитесь опытом,у кого как, в чем хитрость?!)

Вот ты серьезно так сходу решил крутить? Сделай трастовый проффиль, добавь максимум рандома и эмуляции

 

[boris99]

Вот ты серьезно так сходу решил крутить? Сделай трастовый проффиль, добавь максимум рандома и эмуляции

Я не кручу пф, если вы про это. Я делал прямые заходы, без поиска. Просто чтобы понять. Но в итоге еще больше путаницы.
И непонимание ситуации из-за того, что через простое инкогнито с разными ip я не робот, а через зенно с параметрами по умолчанию - робот.
В справке яндекса сказано, что роботность фильтруется и настройками. В моем случае это техническая информация и поведение он не должен учитывать (хотя кто его знает...)

Получается, что если взять свежеустановленную ос с браузером и перейти на сайт - поиск скажет, что это робот?!

 

[fLipE]

Получается, что если взять свежеустановленную ос с браузером и перейти на сайт - поиск скажет, что это робот?!

нет.
в метрике яндекса есть такой замечательный инструмент, как вебвизор. он позволяет посмотреть полностью ВСЮ активность юзера на сайте - как и куда нажимал, какая траектория мыши, что вводил.
используя например, траекторию мыши и простую нейросеть уже можно понять, где робот. А если еще добавить в это уравнение то, что яндекс может сравнить ваши эмулированные действия со среднестатистическими, то вообще страшно становится

 

[boris99]

нет.
в метрике яндекса есть такой замечательный инструмент, как вебвизор. он позволяет посмотреть полностью ВСЮ активность юзера на сайте - как и куда нажимал, какая траектория мыши, что вводил.
используя например, траекторию мыши и простую нейросеть уже можно понять, где робот. А если еще добавить в это уравнение то, что яндекс может сравнить ваши эмулированные действия со среднестатистическими, то вообще страшно становится

))
Опять же, при просмотре напрямую через мозиллу без зенно (инкогнито, меняя ip) и при полном отсутствии действий (открыл сайт и через 10 секунд закрыл браузер и сменил ip) - я не становлюсь роботом. Но в метрике считаюсь новым посетителем..
То есть действия мои реальные и робота - одинаковые (открыл, мышью не двигал в окне, через несколько секунд закрыл). То есть поведение с любым его анализом не должно влиять.. в теории..

ps: это кстати хорошая вешь - вебвизор - в теории можно четко повторять его записи и вме действия внутри страницы. Только нужно ли.

 

[fLipE]

))
Опять же, при просмотре напрямую через мозиллу без зенно (инкогнито, меняя ip) и при полном отсутствии действий (открыл сайт и через 10 секунд закрыл браузер и сменил ip) - я не становлюсь роботом. Но в метрике считаюсь новым посетителем..
То есть действия мои реальные и робота - одинаковые (открыл, мышью не двигал в окне, через несколько секунд закрыл). То есть поведение с любым его анализом не должно влиять.. в теории..

ps: это кстати хорошая вешь - вебвизор - в теории можно четко повторять его записи и вме действия внутри страницы. Только нужно ли.

вопрос еще в том, как именно был изменен айпи. если это расширение для браузера, это один пул айпишников, с которых сидят реальные люди. если это шэред прокси - ну вы поняли)

 

[Valandersi]

))
Опять же, при просмотре напрямую через мозиллу без зенно (инкогнито, меняя ip) и при полном отсутствии действий (открыл сайт и через 10 секунд закрыл браузер и сменил ip) - я не становлюсь роботом. Но в метрике считаюсь новым посетителем..
То есть действия мои реальные и робота - одинаковые (открыл, мышью не двигал в окне, через несколько секунд закрыл). То есть поведение с любым его анализом не должно влиять.. в теории..

ps: это кстати хорошая вешь - вебвизор - в теории можно четко повторять его записи и вме действия внутри страницы. Только нужно ли.

Кроме эмуляции мыши, есть ещё множество параметров, зайдите в баги хоть разработчики трудятся, находятся все новые и новые

 

[boris99]

вопрос еще в том, как именно был изменен айпи. если это расширение для браузера, это один пул айпишников, с которых сидят реальные люди. если это шэред прокси - ну вы поняли)

Физическим выниманием модема йоты.. без расширений и прокси.

 

[prodox]

Я думаю, что для Яндекса любой фингерпринт, которого он раньше не видел с его куками метрики, и вообще нет никаких кук, то это по умолчанию помечается как бот. Как только профиль наберет кучу кук, заведет почту, полайкает и подпишется в дзене и в вебвизоре разных сайтов проявить активность. То так он зарабатывает свою неботовость.
Если в режиме инкогнито открыть сайт, то скорее всего это бот для яндекса, как бесполезный в плане статистики мусорная информация.
Поэтому вполне логично считать посетителя без статистики ботом. Ни почты, ни фингерпринта ни кук. Кто ты такой- давай до свидания.
Если к одной единице информации добавляется веская вторая - то это один балл к неботовости. Например обнаружена кука с тем же самым фингерпринтом, которая видна была на куче сайтов в разное время, то это уже зародыш живого пользователя. Почту завел плюс балл неботовости, двигает мышкой естественно тоже плюс, есть суперкуки соцсети еще плюс, лайкал и ходил в дзене еще плюс.есть аккаунты в проектах яндекса, тоже огромный жирный плюс. и потом такой аккаунт никакой алгоритм ботом не посчитает. Плюс история поиска и активность в визоре на посещаемых сайтах. Все видели Визор активность в визоре тоже обнаруживает. Если в истории простые заходы без прокруток и движени мышью - определенно это бот.
И в итоге трудоемкость создания тысяч профилей становится очень затратным. Прокси часы на создание и тестирование шаблонов, аренда сервера, куча времени на нагуливание.
В итоге проще просто заплатить за рекламу и копирайтеру за текст и сайт быстро вылазит в поиск.
У меня был очень старый домен который себе плохую карму заработал.
написал на 1 странице написал кучу текста по канонам и запустил MyTarget и первая страница по группе запросов постепеено стала вылазить в топ.
Связываю это с тем, что с рекламы идут проверенные юзеры, хотя и много роботов с рекламы видны -будто скликивание идет. Но Яндекс скликивание кажется тоже сечет и учитывает. и анти ПФ тоже может определять
рекламу тормознул рост прекратился.

 

[prodox]

Здравствуйте!

Сделал просто проект на зенно - запускается с новым профилем (без прокси), чистит куких, переходит на некую страницу. Запусти 15 раз меняя ip (yota). Проверил в метрике - роботность 100%.
Сделал анаогичные действия руками в браузере - роботность 0%.
Настройки зенно были по умолчанию, проверял как хром, так и мозиллу (единственное, что менял).
Сижу и думаю... КАК?! Может я какую-то настройку зенно не ставлю.. Поделитесь опытом,у кого как, в чем хитрость?!)

Я как то нарегал 1500 акков с почтой, нагулял,каждый акк ходил лайкать и подписваться в дзене, ходил по новостям и сайтам, двигал мышкой, а потом с какой то версией зенки поставил Cromium движок и акки сразу яндекс палит и требует подтверждения номера. Поддержке писал - забили.
Возможно при смене движка отличного оттого сто был что-то палится.
Сейчас поток перепроверяю акки с годовой давности куками. после логина аккаунт работает. Но стоет с чистым браузером попытаться зайти - все, просит подтвердить телефон. Но с тем же акком обратно в зеннопостере куку принимает и не ругается. Еще яндекс что-то в кеше хранит помимо db и хранилища данных. Если перед сохранением профиля почистить кеш и остаить куки и хранилища и db. То яндекс бьет тревогу. Видимо он в кеш какой то JS пишет
Есть подозрение что хромиум движок как то палит. если не менять движок то все нормально

 

[p-sergei]

Я думаю, что для Яндекса любой фингерпринт, которого он раньше не видел с его куками метрики, и вообще нет никаких кук, то это по умолчанию помечается как бот.

- девственный профиль при своем самом первом посещении сайта с Метрикой с вероятностью около 70 процентов будет человеком, это по моим наблюдениям. Это на Cromium.

Как только профиль наберет кучу кук, заведет почту, полайкает и подпишется в дзене и в вебвизоре разных сайтов проявить активность. То так он зарабатывает свою неботовость.

- а вот здесь уже хрен там был, чем дольше профиль живёт тем труднее ему держать статус человека. У Яндекса уже намного больше информации о профиле и его поведении на основе которых Яндекс выносит свой вердикт.

Всё вышесказанное - это моё личное скромное мнение.

 

[prodox]

ПМ палятся как робот даже если руками ходить

 

[sw_sw]

Вон сорцы доступны, берите, смотрите, отвечайте на вопрос, расскажите людям )

 

[Wide]

Вон сорцы доступны, берите, смотрите, отвечайте на вопрос, расскажите людям )

Сомневаюсь что в 100 мб может быть что-то полезное..

 

[boris99]

Много разбирался с роботностью. Проблема в том, что ее понимают неверно. И мой начальный вопрос был от непонимания этого параметра как такового.
Например, у меня получалось стать роботом, на следующем сайте не роботом, а потом снова роботом. Или еще интереснее - сделать, чтобы на сайте нормальный траф стал определяться роботами в большинстве случаев.
Роботность метрики это не роботность антифрода. И величина высчитываемая/предполагаемая, а не привязанная к профилю.

 

[prodox]

Много разбирался с роботностью. Проблема в том, что ее понимают неверно. И мой начальный вопрос был от непонимания этого параметра как такового.
Например, у меня получалось стать роботом, на следующем сайте не роботом, а потом снова роботом. Или еще интереснее - сделать, чтобы на сайте нормальный траф стал определяться роботами в большинстве случаев.
Роботность метрики это не роботность антифрода. И величина высчитываемая/предполагаемая, а не привязанная к профилю.

ничего не понянтно что имел в виду. Если конкретный профиль виден как бот, как это не привязан к профилю. Не вижу логики сказанного.
Роботность нужна именно для антифрода.
А то что ты сначала бот а потом нет, ясно и школьнику. В момент посещения не возможно сразу определить бот это или нет. Нужно еще кучу параметров проверить после визита.
Зачем вообще зеннопостер и всякие суперэмуляции если он палится как бот. эмуляция настолько дубовая. что ИИ даже не нужен
Профиль без кук, никаких кук метрики нет, истории поиска нет, ни на каких сайтах не был, почты нет зашел на поиск щелкнул по сайту и вышел. и к бабке не ходи - бот

 

[boris99]

ничего не понянтно что имел в виду. Если конкретный профиль виден как бот, как это не привязан к профилю. Не вижу логики сказанного.
Роботность нужна именно для антифрода.
А то что ты сначала бот а потом нет, ясно и школьнику. В момент посещения не возможно сразу определить бот это или нет. Нужно еще кучу параметров проверить после визита.
Зачем вообще зеннопостер и всякие суперэмуляции если он палится как бот. эмуляция настолько дубовая. что ИИ даже не нужен
Профиль без кук, никаких кук метрики нет, истории поиска нет, ни на каких сайтах не был, почты нет зашел на поиск щелкнул по сайту и вышел. и к бабке не ходи - бот

Вы все в кучу смешиваете. Хотя бы даже "Роботность нужна именно для антифрода." - не смешивайте метрику и антифрод. Ну вы что...
"Профиль без кук, никаких кук метрики нет, истории поиска нет, ни на каких сайтах не был, почты нет зашел на поиск щелкнул по сайту и вышел. и к бабке не ходи - бот" - то есть через режим инкогнито - всегда бот? Ну вы хоть сами потестируйте...

 

[prodox]

я своих ботов по своему сайту не гонял, может разок для теста

Вы все в кучу смешиваете. Хотя бы даже "Роботность нужна именно для антифрода." - не смешивайте метрику и антифрод. Ну вы что...
"Профиль без кук, никаких кук метрики нет, истории поиска нет, ни на каких сайтах не был, почты нет зашел на поиск щелкнул по сайту и вышел. и к бабке не ходи - бот" - то есть через режим инкогнито - всегда бот? Ну вы хоть сами потестируйте...

Ну да конечно, можно подумать, что для антифрода отдельный алгоритм обнаружения ботов и отдельные ресурсы и данные. Ещё скажите что и куки отдельные.
Посмотрите в метрике пожалуйста что-то странное. В дашборде "БЕЗ ботов" нет посещений, даже с рекламы клики в боты попадают. При том что даже ни разу не видел где майтаргет мою рекламу крутит.
А в общей статистике висит такое, что параметр Роботность: "только люди" - не совместимые условия. Настройки по умолчанию
Если удалить этот параметр, то потом нельзя включить Поведение-->Роботность: Только люди"
По-моему они что-то меняют.
ЕСТЬ ТАКАЯ ВЕРСИЯ
Было много отказов. Стал копаться. Оказалось что Яндекс ввел GET параметра ?ysclid=, ?yadclid=, ?yadclid=
/?ysclid=ldiig7jozb241095789 - сколько миллиардов страниц появилось в интернете? сопоставимое с числом кликов с поиска.
Странно что дата центр яндекса и других аналитических систем не лопнули

Кеширование в итоге не работало, так как для сайта это разные страницы. В итоге одни отказы
Яндекс где то написал что тестирует новую систему распознавания кликов, и говорят что по просьбе можно чтобы они отключили для вашей метрике.
Я конечно написал чтобы для моей метрики отключили. И спросил, знают ли разработчики этой функции что они убивают кеши любого уровня, что увеличивают отказы и собственно и статистику всю.
В жопу все сайты на wordpress и хваленые композитные сайты БИТРИКС. Считай без кеширования для всех кликов с поиска, а яндексоиды радуются что лучше стали отслеживать клики
Предполагаю что после отключения этой бета функции моя метрика глючит
При том что они никого не спрашивая запустили этот бета-тест
Я думаю что многие даже не знают этого. Так как в метрике они аккуратно вырезают эти GET хвосты. А кешировщики Гугл аналитика находят тысячи новых страниц.
ПРОСТО ЗАЙДИТЕ С ПОИСКА НА САЙТ И УВИДИТЕ

 

[prodox]

? Ну вы хоть сами потестируйте...

Пжалуста - в режиме инкогнито с мобильного интернета. на второй запрос или страницу капча

 

[boris99]

...

Пжалуста - в режиме инкогнито с мобильного интернета. на второй запрос или страницу капча

и что?

 

[Besedi]

Не знаю как с яндексом, я на айфоне постоянно сижу в вебе с сафари анонимного режима, без хранения кук и удаления после закрытия, с макс. настройками конф. и НИКОГДА еще не вводил капчу))