Мобильные прокси и как с ними жить.

[ninjaNeko]

В общем сабж, есть сервер - нужны трастовые акки для ПФ.
По началу всё было хорошо, однако, сегодня на одном из продвигаемых сайтов в разделе роботы увидел неприятную статистику "роботы" где день ото дня растет количество "Отфильтрованы по статистическим правилам"
Поскольку до самого бота не докопаться - грешу на прокси, сейчас на шаред сидит бот, вероятно кто то из соседей по проксе зафакапил траст. Собственно в связи с чем я приобрел пару 4g модемов.

Сабж:
1) мне нужны новые аккаунты или достаточно перепривязать прокси?
2) какое время ротации ip выставлять? Модемы не очень крутые, ребутятся секунд по 20, думаю поставить 15 мин (как раз примерное время работы скрипта +\- 2 мин) нормально или надо чаще? Условно говоря одновременно с одной прокси на сайте будет около 80 "человек".

/fix с одной прокси в сёрфить будет около 80 человек, на сайте будет 5-7 уников.

 

[Konrod_m]

В общем сабж, есть сервер - нужны трастовые акки для ПФ.
По началу всё было хорошо, однако, сегодня на одном из продвигаемых сайтов в разделе роботы увидел неприятную статистику "роботы" где день ото дня растет количество "Отфильтрованы по статистическим правилам"
Поскольку до самого бота не докопаться - грешу на прокси, сейчас на шаред сидит бот, вероятно кто то из соседей по проксе зафакапил траст. Собственно в связи с чем я приобрел пару 4g модемов.

Сабж:
1) мне нужны новые аккаунты или достаточно перепривязать прокси?
2) какое время ротации ip выставлять? Модемы не очень крутые, ребутятся секунд по 20, думаю поставить 15 мин (как раз примерное время работы скрипта +\- 2 мин) нормально или надо чаще? Условно говоря одновременно с одной прокси на сайте будет около 80 "человек".

/fix с одной прокси в сёрфить будет около 80 человек, на сайте будет 5-7 уников.

не надо одновременно на сайт вести с одной прокси больше 1 пользователя

 

[ninjaNeko]

не надо одновременно на сайт вести с одной прокси больше 1 пользователя

Ну это вот сомнительно, у мегафона, например, 100.8 млн абонентов и всего около 45 тысяч ip по России..
хотя черт его знает, но гору модемов не могу себе позволить)

 

[Konrod_m]

Ну это вот сомнительно, у мегафона, например, 100.8 млн абонентов и всего около 45 тысяч ip по России..
хотя черт его знает, но гору модемов не могу себе позволить)

Для меня более сомнительна фраза "Поскольку до самого бота не докопаться". Где такого купить можно?

Если у вас не какой нибудь Авито с миллионной посещалкой не стоит с одного прокси работать одновременно несколькими ботами с 1 м сайтом.

 

[specialist]

не стоит с одного прокси работать одновременно несколькими ботами с 1 м сайтом.

Без эксперимента нельзя так однозначно, может там небольшой городок и пул адресов тоже. Нужно больше данных собрать.

 

[ninjaNeko]

Для меня более сомнительна фраза "Поскольку до самого бота не докопаться". Где такого купить можно?

Если у вас не какой нибудь Авито с миллионной посещалкой не стоит с одного прокси работать одновременно несколькими ботами с 1 м сайтом.

не знаю, самому написать. я говорю, несколько месяцев на этих шаред проксях гоняю с яши и гугла запросы, было до прошлой недели норм. А тут, "роботы", меня смущает это...
Посещалка не миллионы конечно, но около 10к уников есть, ну походу придется свою мобильную ферму мутить, дорого конечно, но что делать, опять копошиться с приватными/шарами...фиг знает, мобильные стоят неприлично дорого...в целом поднять штук 20 и погнали

Мне вот больше интересно что с акками делать? По новой регать или попытаться старые пересадить на мобильные айпишники?

Без эксперимента нельзя так однозначно, может там небольшой городок и пул адресов тоже. Нужно больше данных собрать.

Питер, вроде тут не такой уж большой пул айпишников.

Уже час перезапускаю - всего 11 /24 подсетей у йопты/мегафона, вероятно у остальных операторов так же +\-, получается порядка 3 тысяч на оператора, итого - 12 тысяч на город, собственно на пару миллионов активных устройств...

 

[specialist]

А тут, "роботы", меня смущает это...

С мобильных - не роботы? Чужих блокировать можно, но нужны знания как отличить что это робот. Некоторые их на майнеры направляют, пусть майнят.

Питер

Достаточно большой, чтобы просто так рисковать без необходимости. Бывают случаи когда несколько человек на одном сайте с 1 IP, но это не так часто при малой посещаемости.

 

[deskuznetsov]

Хоть пул и не большой айпи, но практически исключено, что одновременно зайдут с одним айпи - реальные люди.
даже если будут в одной квартире сидеть, последние цифры айпи будут скорей всего разные.

 

[ninjaNeko]

Да черт его знает как оно на самом деле.
Уходить в приватные прокси? Сколько акков я на одну проксю смогу повесить безопасно? 3-4
Это получается, что с моими объемами мне надо проксей на 150к купить =_____= и весь профит сразу ушел)

 

[specialist]

но практически исключено, что одновременно зайдут с одним айпи - реальные люди.

Купить Роутер Yota + SIM-карта — интернет-магазин Yota

Роутер Yota + SIM-карта: цена устройства, характеристики и условия подключения. Есть бесплатная доставка или можно забрать товар в ближайшей точке продажи.

www.yota.ru

Сколько в торговых центрах с таким роутером сидят?
Так что заходят особенно в тематике связанной с одеждой.

Тут вопрос к алгоритмам, @Lord_Alfred уже выкладывал тут сообщение с докладом об определении роботности, как они делали при разработке, там явно описано почему не стоит с 1 IP ходить.
Нужно не догадки строить, а информацию анализировать.
Посмотрели метрику, посмотрели заходят с одного IP или нет, сколько заходят, когда, как и почему туда. Посмотреть какие алгоритмы разработчики используют, что пишут, какие рекомендации дают коллегам на конференциях.

Тут большинство тем про накрутку это давайте сделаем так, если позиции растут, значит работает (хотя на самом деле может идти под фильтр), почему работает или не работает понимают единицы.

 

[Konrod_m]

Да черт его знает как оно на самом деле.

Какой процент роботности?

Стандартные => Источники => Источники, сводка

Тыркаете по слову "Метрики", вводите "Роботность"

 

[ninjaNeko]

Какой процент роботности?

Стандартные => Источники => Источники, сводка

Тыркаете по слову "Метрики", вводите "Роботность"

было ноль, стало 11% и растет. Короче меня это парит.

Тут большинство тем про накрутку это давайте сделаем так, если позиции растут, значит работает (хотя на самом деле может идти под фильтр), почему работает или не работает понимают единицы.

Ну растут разумеется.

 

[ninjaNeko]

охлол конечно, но сегодня с утра уже наблюдаю 97% роботности)

Короче сегодня запущу тест с одной мобильной прокси в дохрена потоков с кучей юзеров с одним мобильным айпи, реально интересно как яндекс отреагирует

/fastadd в целом очередная история про то, насколько печальны шаред прокси и как они зависят от соседей)

 

[frion-seo]

Ведь написано "отфильтровано по статистическим данным". Вот нейросеть собрала достаточно информации о посетителях сайта, чтобы спалить ваших ботов. Например тепловую карту берем и видим, что именно боты клацают "не как все". Зря вы так уверены, что "до самого бота не докопаться ".

 

[ninjaNeko]

Ведь написано "отфильтровано по статистическим данным". Вот нейросеть собрала достаточно информации о посетителях сайта, чтобы спалить ваших ботов. Например тепловую карту берем и видим, что именно боты клацают "не как все". Зря вы так уверены, что "до самого бота не докопаться ".

да ну брось, там карта кликов бота как раз привязана к карте кликов с метрики. Скрипт же не первый месяц работает, не только на этом сайте. Проблема возникла только с теми ботами, которые работают на этих проксях. Ну в целом буду тестить мобильные прокси. Заказал на алике кучу модемов, приедут - возьму мешок симок. Пока посмотрю по результатам, будет какой нибудь профит в продвижении с роботностью, если будет - яндекс очень большой балабол на тему всего, что связано с антибот защитами.

 

[ninjaNeko]

А ну вот и нашел проблему, на одном из серверов что то поизошло с зенкой и эта дрянь мне на несколько сайтов сделала примерно такую картину:

см. внутренние переходы.

Короче тупо спалила ботов.
А произошло вот что: судя по логам на этом серваке перестали работать кубики отчистки куков и кэша и завидной переодичностью - принудительного перезапуска инстансов, почему - предстоит выяснить. И по итогу - зафакапленные аккаунты, зафакапленные прокси, даже новые акки на этих проксях падают в роботы.

Ну в любом случае начну переходить на мобильные прокси, учитывая, что я отваливаю около 50к в месяц за шаред - этих денег вполне хватит на 30-40 своих мобильных проксей.