3 место Король социалок 12: система по сливу трафика

[Astraport]

Хочу признаться, для меня, как виндузятника, всегда было сложным администрирование серверов, все эти линуксовые команды, баши, терминалы и прочее. Поэтому, чтобы облегчить себе работу, максимально всё автоматизировать, избавиться от возможных ошибок, и создал эти шаблоны, которыми регулярно пользуюсь. Для, так сказать, бэкенда, я использую два популярных и абсолютно бесплатных скрипта – Vesta Control Panel и zTDS.

В данном конкурсе я представляю два взаимосвязанных шаблона по сливу трафика. Их можно использовать по отдельности или объединить в один. Использоваться эта система может не только в соц. сетях, но и в рассылках, дорвеях и в любых «темах» где нужно максимально безопасно и удобно работать с партнерскими программами.

Работа с соц. сетях становится всё сложнее, но тем интереснее. Практически все крупные социалки имеют своих ботов, которые проверяют ссылки, которые вы постите, на предмет наличия запрещенного или нежелательного контента, вредоносных скриптов и д. т. Никакие редиректы, фриномы не спасают. Я нашел единственную связку, которая неплохо себя зарекомендовала и дает хорошие результаты.

Сначала нам нужен трастовый дроп домен. Например, инфошки 5-10 летней давности сейчас можно легко купить за символические 100 р. С одного домена можно получить тысячи редиректов, но боты проникают через редиректы и всё равно увидят ссылку партнерской программы, которая давно в черном списке, например, у Facebook. Для этого нужно использовать систему распределения трафика. Лучшая бесплатная TDS - это разработка нашего соотечественника, товарища root, zTDS. С ней можно работать по API и поэтому боты не «увидят» куда именно будет производиться редирект.

Итак, первый шаблон (Vesta.xmlz) настраивает на нашем хостинге панель управления VestaCP, добавляет домены и почты (опционально). Шаблон безбраузерный, работает по API Весты. Шаблон добавляет домен в панель, если его там ещё нет, и потом добавляет заданное количество субдоменов (из списка или сгенерированной строки), а также создает (опционально) один почтовый ящик на субдомен. Вы легко добавите возможность добавления большего количества почт. Затем шаблон сразу создает файлы редиректов с субдоменов на TLD. Либо с помощью .htaccess, либо JS. Результат работы отображается в логах, которые можно потом использовать в других шаблонах, но можно сразу к этому шаблону подключить второй шаблон и создавать не просто редиректы, а «умные» редиректы.



Второй шаблон заливает на сервер скрипты, архив zTDS, распаковывает его, удаляет лишние файлы, настраивает группу и поток и выдает ссылку, которую потом можно размножить в сокращалках. Но более надежный вариант – создание на основе первого шаблона и фриномов мини-сайтов с редиректом по API ТДС размещенной на основном домене. В этом случае, при бане некоторых фриномов, остальные продолжают функционировать и сливать трафик на ТДС, а затем на партнерские программы.



zTDS имеет массу настроек. Вы можете отсекать ботов, сортировать юзеров по ГЕО и устройствам. Подробнее с функционалом zTDS можно ознакомиться на Wiki (пароль для входа ztds).

Ещё раз алгоритм развертывания системы по сливу трафика такой.

1. Покупаем вебсервер. Если там только будет крутиться ТДС и фриномы, то подойдет самая дешевая конфигурация. Такие сервера можно найти за $2-3, например Hetzner или в моей подписи. После оплаты устанавливаете через панель операционку Centos. На почту вы получите ip и пароль к пользователю root. Добавьте их в настройки шаблона.

2. В терминале запускаете последовательно команды:

# Connect to your server as root via SSH
ssh root@your.server
# Download installation script
curl -O http://vestacp.com/pub/vst-install.sh
# Run it
bash vst-install.sh --nginx yes --apache yes --phpfpm no --named no --remi no --vsftpd no --proftpd no --iptables yes --fail2ban no --quota no --exim yes --dovecot no --spamassassin no --clamav no --mysql no --postgresql no

3. Вводим настройки в первый шаблон и запускаем.
4. Скачиваем архив zTDS и переупаковываем его в zip архив параллельно изменяя файл настроек config.php (например, вы можете сменить пароль). Кладем новый архив в директорию проекта.
5. Вводим настройки второго шаблона и запускаем. Получаем ссылку на скрипт.
6. При желании создаем первым шаблоном нужное количество фрином-сайтов с перенаправлением на скрипт из п. 5.

Теперь ваша система слива трафика максимально защищена. Она гибкая, функциональная и может легко масштабироваться.

БОНУС Приятным бонусом станет регистрация сотен почт через Весту, которые можно использовать как для регистраций в тех же социальных сетях, так и для массовых рассылок. Я специально перед написанием статьи проверил рассылку простейшим Roundcube Webmail, который ставится при установки Vesta, и все отправление письма с ссылками на редиректы созданными на том же домене прекрасно заходили в инбокс. Понятно, что при рассылке в сотни тысяч ящиков всё будет хуже, но если у вас есть небольшая база, то метод вполне рабочий.

Ну и в заключении поздравляю всех зенноводов с днём кодера!

 

[Nike59]

Как всегда отличная тема и шаблоны. А для меня еще и очень вовремя. Собирался прикрутить автоматизацию редиректов на дешевых серверах. А здесь на 90% готовое решение предлагается.

 

[Bollador]

Виндузятник-фанат операционной системы Windows. Пришлось погуглить.

 

[Konrod_m]

Почему в теме - Король 12,а на картинке 13?)

 

[legion2k]

12-я тема, это как Астрапорт с помощью зенки генерит конкурсные статьи )))

 

[Astraport]

Почему в теме - Король 12,а на картинке 13?)

Спасибо за внимательность! В разные дни статью писал и картинку делал.

 

[deskuznetsov]

Три раза перечитал и как я понял, шаблон делает лишь самую малую часть, а именно установит ТДС и припаркует домены.
А дальше все равно заходи руками и настраивай сам, чтобы боты не прошли и тем более живые модераторы?
Честно не понимаю зачем это вообще, а именно автоматизация развертывания ТДС.
Именно эту ТДС не использовал, но много работал с волум, кейтаро, бином, и все ставится в несколько кликов на голый сервак или вообще без установки на свой сервер. А дальше уже паркуй сколько надо доменов и работай. Либо я не так понял пост или фиг знает, зачем автоматизировать установку, или же зачем так усложнять себе работу. А если обороты не большие, то и вовсе припаркуй домен в самой партнерке, если проблема только в забаненных ссылках.
Вообщем, прошу объяснить не понятные моменты.

 

[Astraport]

дальше все равно заходи руками и настраивай сам, чтобы боты не прошли и тем более живые модераторы?

Нет, шаблон всё сам настроит. Он не просто разворачивает ТДС, но и через веб-интерфейс zTDS добавляет группу, поток, тип редиректа, ссылки на ПП, ссылка для ботов.
Сделано всё так, как у меня полгода успешно работает, но любой, даже новичок, может всё легко на основе имеющегося "скелета" подправить под себя.

Именно эту ТДС не использовал, но много работал с волум, кейтаро, бином, и все ставится в несколько кликов на голый сервак или вообще без установки на свой сервер.

Отличие в том, что предложенный вариант БЕСПЛАТЕН, для многих это важно))

А если обороты не большие, то и вовсе припаркуй домен в самой партнерке, если проблема только в забаненных ссылках.

1. Далеко не все ПП дают парковать.
2. Домены летят в бан со скоростью света, например в ФБ.

 

[Astraport]

и тем более живые модераторы?

Интересно, это как вы живых модераторов фильтруете???

 

[deskuznetsov]

Нет, шаблон всё сам настроит. Он не просто разворачивает ТДС, но и через веб-интерфейс zTDS добавляет группу, поток, тип редиректа, ссылки на ПП, ссылка для ботов.
Сделано всё так, как у меня полгода успешно работает, но любой, даже новичок, может всё легко на основе имеющегося "скелета" подправить под себя.

Отличие в том, что предложенный вариант БЕСПЛАТЕН, для многих это важно))

1. Далеко не все ПП дают парковать.
2. Домены летят в бан со скоростью света, например в ФБ.

речь наверно про спам и т.п (условно бесплатный траф)
мы просто видать о разном, я о платном трафе и там не нужно так со всем этим заморачиваться, есть заморочки, но не до такой степени

 

[deskuznetsov]

Интересно, это как вы живых модераторов фильтруете???

ну путем анализа, зная где находятся модераторы гео, с чего заходят, какой инет, передается ли метка (макрос), когда модератор переходит и т.д
например самое простое, по меткам отсекать, когда ты ставишь метку котарая в момент клика подставляет ИД объявления. модератор 99% что перейдет со значенем макроса (метки) и не будет ид объявления. вот с помощью такого подхода и ему подобных можно вычислить когда заходит модератор, а когда обычный юзер.

 

[Walterus]

Вопросы: 1. А что имелось ввиду под созданием более надежного варианта в виде фриномов мини сайтов? Схема какая, как это будет выглядеть? То есть на одном сайте публикуем все остальные ссылки как перелинковка и так далее? Пример: Если допустим один дорвей по ключу умрет, который был в топе и давал основной траф, и его забанили, то ключ-запрос всеравно теряем, но остальные, по другим запросам живут? или тут имелось ввиду охрана вообще работоспособности всего пакета ссылок на партнерку, в случаи отключения хотя бы одной на старте? 2. Что значит создаем первым шаблоном нужное количество фрином-сайтов с перенаправлением на скрипт? Это значит для каждого домена запускаем скрипт отдельно? Прошу прощения если вопросы некорректные, детские и тупые. Учусь!

 

[Astraport]

Вопросы: 1. А что имелось ввиду под созданием более надежного варианта в виде фриномов мини сайтов? Схема какая, как это будет выглядеть? То есть на одном сайте публикуем все остальные ссылки как перелинковка и так далее? Пример: Если допустим один дорвей по ключу умрет, который был в топе и давал основной траф, и его забанили, то ключ-запрос всеравно теряем, но остальные, по другим запросам живут? или тут имелось ввиду охрана вообще работоспособности всего пакета ссылок на партнерку, в случаи отключения хотя бы одной на старте? 2. Что значит создаем первым шаблоном нужное количество фрином-сайтов с перенаправлением на скрипт? Это значит для каждого домена запускаем скрипт отдельно? Прошу прощения если вопросы некорректные, детские и тупые. Учусь!

В вашем случае, если вы юзаете шаблоны во вложении для доров, я бы купил нужное количество фриномов (или зарегал сам). На одном разместил ТДС, на всех остальных доры + скрипты api.php, которые бы перенаправляли юзеров на ТДС и потом на ПП. При бане любого фринома, основной домен остается в безопасности.
При небольшой кастомизации шаблонов во вложении эта схема легко реализуется. Притом клепать такие пачки становится возможным хоть несколько раз в сутки. Были бы ключи)

 

[Astraport]

мы просто видать о разном, я о платном трафе и там не нужно так со всем этим заморачиваться, есть заморочки, но не до такой степени

Цукерберг со своим таргетом, который озолотил многих арбитражников, шлёт вам пламенный привет. Такой клоакинг нужен и для платного трафа тоже.

зная где находятся модераторы гео, с чего заходят, какой инет

Ну это крайне не надежный для крупных сеток метод.

например самое простое, по меткам отсекать, когда ты ставишь метку котарая в момент клика подставляет ИД объявления. модератор 99% что перейдет со значенем макроса (метки) и не будет ид

Эта пара предложений сгенерированны ботом?))
Так понял, что у вас есть навыки в какой-то теме и вы хотите доказать, что они работают глобально везде.
Если вы поймали рака в своем пруду, не факт что сможете поймать марлина на карибах.

 

[Supergrok]

Никакие редиректы,

Не соглашусь, активно уже использую в ВК "кое-какую уязвимость" с начала лета, как затестил ее.
Всем известна биржа кворк? Так вот, расшарить свою рефку в ВК там не получится, так как сайт находится в списке нежелательных у ВК.
А мои кворки кликабельны и не одну тыщу раз прорепостились, боты не палят такие редики как у меня.
ФБ пропускает рефку и так, поэтому затестить редирект на ФБ не представилось возможным.


Учитывая пословицу: Знают двое - знает и свинья, а также личный опыт на своей статье из 4 конкурса шабов, я о том что тему мою на 50% загубили, как то не хочется уже в паблик палить свои наработки. Могу вам, Astraport, в личку дать толчек в каком направлении рыть. Может облегчит ваши труды. Тогда учитывая вашу репу на форуме, попрошу не распространятся о такой информации.

 

[Astraport]

Не соглашусь, активно уже использую в ВК "кое-какую уязвимость" с начала лета, как затестил ее.

Ну у вас уже некий хитрый ключ, который, как вы сами боитесь, может работать до первого стука или до распространения в паблике. Я же предлагаю, на данном этапе, абсолютно надежную и открытую схему. Притом она давно многими активно используется, я лишь автоматизировал основные этапы.

Могу вам, Astraport, в личку дать толчек в каком направлении рыть. Может облегчит ваши труды. Тогда учитывая вашу репу на форуме, попрошу не распространятся о такой информации.

Спасибо за доверие, но мне пока достаточно того что есть и исправно работает.

 

[deskuznetsov]

Цукерберг со своим таргетом, который озолотил многих арбитражников, шлёт вам пламенный привет. Такой клоакинг нужен и для платного трафа тоже.

Ну это крайне не надежный для крупных сеток метод.

Эта пара предложений сгенерированны ботом?))
Так понял, что у вас есть навыки в какой-то теме и вы хотите доказать, что они работают глобально везде.
Если вы поймали рака в своем пруду, не факт что сможете поймать марлина на карибах.

Конечно же это не полный набор, каждый случай индивидуален и является ключевым.
Что меня собственно и удивило сначала. Что вы делаете кучу доменов (редиректов) которые фильтруют только ботов.
Но по жалению, можно заморочиться и настроить больше фильтров (как я выше указал, как раз настройка фильтрации и есть самый важный момент)
При условии, что не только ботов нужно фильтровать. В вашем случае, если работа идет со спамом, то конечно, возможно решение отличное и хватает только просто ботов фильтровать и домены чаще менять. Я же изначально все это проецировал на платный трафик и от этого появились вопросы.
А что касается надежности, то есть специальные сервисы по клоакингу, если самому не получается или не хватает функционала настроить по фильтрам.
По поводу доказать, что работают везде. Нет. Какой мне в этом смысл. Возникли вопросы, я задал, вы ответили и не более.
Доказывать и рассказывать ничего не собирался, оно и видно из сообщений выше, где были приведены лишь примеры, а не перечислены какие-то мои решения списком)) Если вас как-то задели сообщения, то извините, обидеть или еще чего плохого точно не хотел.

 

[Astraport]

А что касается надежности, то есть специальные сервисы по клоакингу, если самому не получается или не хватает функционала настроить по фильтрам.

Человек покупает Зенку, чтобы больше не платить ни за что))

 

[deskuznetsov]

Человек покупает Зенку, чтобы больше не платить ни за что))

я хоть и купил зенку еще в 2013, но до работы с ней только вот дошли руки в конце прошлого месяца и еще предстоит понять это))

 

[DarkSky]

Спасибо ,как всегда на высоте )

 

[Duser]

Хорошая статья. Понравилось.

С фб работаешь. Для контакта этот метод работает?

А трастовый домен, в контексте статьи, это имеется в виду его возраст?

 

[Astraport]

С фб работаешь. Для контакта этот метод работает?

Для чего угодно. Это, ИМХО, самый безопасный бесплатный (не считая цены доменов и сервера) способ на 100% создавать надежный слив на ПП.

А трастовый домен, в контексте статьи, это имеется в виду его возраст?

Не только, отсутствие в спам-базах тоже важно. Возможно даже такие критерии как бэклинки могут влиять.

 

[Duser]

Для чего угодно.

Этим летом мучал контакт на предмет добычи кинотрафа. Не заработал не фига. Если честно. Ну вот, попробую твой метод...

Я вот и не знал, что у весты есть API. Спасибо. А что нельзя что ли сделать, что бы все домены указывали на одну папку на сервере?

 

[Astraport]

А что нельзя что ли сделать, что бы все домены указывали на одну папку на сервере?

Можно, но не для Весты.

 

[ZaBitok]

Тоже уже год делаю свои редиректы для соц сетей на связке VestaCP+zTDS... у меня зенка сама и лендинги делаем и заливает и ссылки генерит и удаляет лендинги и домены и поддомены делает... и sql там же))

 

[gnomza75]

а разве при бане поддомена(ов) в вк он не банит сам домен?

 

[Astraport]

а разве при бане поддомена(ов) в вк он не банит сам домен?

Насчет ВК не скажу, но в некоторых соц. сетях бан поддомена не ведет к бану других субдоменов.

 

[gnomza75]

Насчет ВК не скажу, но в некоторых соц. сетях бан поддомена не ведет к бану других субдоменов.

я в вк увел в бан один фри хост, он дает поддомены 3 уровня в 3 разных зонах, ну я за пару дней 2 из них и спалил

 

[Andrew Shell]

Уже 17 ое давно наступило. Не вижу, где голосовать?

 

[specialist]

Не вижу, где голосовать?

перенесли на 18-е, смотрите новости