Всем привет! Нужна помощь знающих.
Кратко суть проблемы:
есть ранее отлично работающие проекты, эмулирующие скрининг страниц на одном из нужных мне сайтов. Ранее (около полугода назад) все работало чётко и без нареканий. Сейчас попытался заново настроить работу, но возникла проблема с роботностью. В Яндекс метрике невероятно точно (буквально поминутно) определяются входы моих "ботов". Раньше такого не было. Я спокойно работал и Яндекс не мог моих ботов определить в категорию роботов.
Подробнее о том же:
Проект настроен так, что эмулятор заходит на сайт, и разными способами приходит на нужную мне страницу. Затем, он начинает её скролить и перелистывать. Как и было сказано выше, у меня есть возможность отслеживать в метрике статистику, которая ныне перенасыщена ботами. Причем исходя из ряда моих экспериментов, однозначно ясно, что это именно те заходы, которые я эмулирую.
Стоит добавить, что на ту же страницу идёт таргет вк рекламы (а иногда и яндекс директ) но все входы (99,9%) живые.
Что пытался сделать:
* Менял прокси. Были и ипв6, и ипв4(дорогие) (раньше эта проблема так решалась), на результат не влияет. Прокси брал на "Прокси.Хаус".
* Создавал совершенно разные сценарии поведения на сайте - результат - метрика видит моих ботов.
* Дошло до того, что выполнял "установку прокси" через ПроджектМейкер, там же входил на сайт и далее исключительно ручками делал нужные мне действия - опять отображаюсь как бот. То есть проблема не в том, что проект ведёт себя не как человек.
не смог вставить нормально скрин, извините
* Пробовал комбинации вышеупомянутых действий, результат - бот.
Самое интересное - захожу с другого компа на сайт, даже через ХромИнкогнито - всё нормально, ЯД не определяет этот вход за робота.
П.с. Проект чистит кэш и удаляет Куки.
Куда смотреть, где искать...
При необходимости могу дополнить сведения.
П.с. повышенная роботность приводит к теневому бану на сайте, что естественно мне никак не нужно.
Как это выглядит метрике
В общем, буду рад любой помощи, благодарю за внимание.
Кратко суть проблемы:
есть ранее отлично работающие проекты, эмулирующие скрининг страниц на одном из нужных мне сайтов. Ранее (около полугода назад) все работало чётко и без нареканий. Сейчас попытался заново настроить работу, но возникла проблема с роботностью. В Яндекс метрике невероятно точно (буквально поминутно) определяются входы моих "ботов". Раньше такого не было. Я спокойно работал и Яндекс не мог моих ботов определить в категорию роботов.
Подробнее о том же:
Проект настроен так, что эмулятор заходит на сайт, и разными способами приходит на нужную мне страницу. Затем, он начинает её скролить и перелистывать. Как и было сказано выше, у меня есть возможность отслеживать в метрике статистику, которая ныне перенасыщена ботами. Причем исходя из ряда моих экспериментов, однозначно ясно, что это именно те заходы, которые я эмулирую.
Стоит добавить, что на ту же страницу идёт таргет вк рекламы (а иногда и яндекс директ) но все входы (99,9%) живые.
Что пытался сделать:
* Менял прокси. Были и ипв6, и ипв4(дорогие) (раньше эта проблема так решалась), на результат не влияет. Прокси брал на "Прокси.Хаус".
* Создавал совершенно разные сценарии поведения на сайте - результат - метрика видит моих ботов.
* Дошло до того, что выполнял "установку прокси" через ПроджектМейкер, там же входил на сайт и далее исключительно ручками делал нужные мне действия - опять отображаюсь как бот. То есть проблема не в том, что проект ведёт себя не как человек.
не смог вставить нормально скрин, извините
* Пробовал комбинации вышеупомянутых действий, результат - бот.
Самое интересное - захожу с другого компа на сайт, даже через ХромИнкогнито - всё нормально, ЯД не определяет этот вход за робота.
П.с. Проект чистит кэш и удаляет Куки.
Куда смотреть, где искать...
При необходимости могу дополнить сведения.
П.с. повышенная роботность приводит к теневому бану на сайте, что естественно мне никак не нужно.
Как это выглядит метрике
В общем, буду рад любой помощи, благодарю за внимание.
