SEDv4 «MobyDick» - полностью автоматизированная система генерации сайтов/дорвеев | ZennoClub

L

L!mur

Client

04.07.2013

#1

Уважаемые пользователи форума ZennoLab

Представляем вам новую, долгожданную разработку от команды «SED»

SEDv4 «MobyDick»

Данный программный комплекс разрабатывался нами в период с июля 2012 по настоящий момент.

За этот год разработки комплекс претерпел сотни обычных, рядовых и десятки кардинальных изменений, включая смену CMF.

2 месяца назад 10 пользователей получили возможность принять участие в функциональных и нагрузочных тестированиях данного комплекса.

С их результатами может ознакомиться любой, зарегистрированный на нашем форуме, человек.

Вот некоторые интересные посты и выдержки, которые мы размещали на форуме SearchEngines, во время тестирований: 1, 2, 3, 4, 5

Остальную информацию читайте в блогах тестеров

Так что же такое SEDv4 «MobyDick»?

99% работы с SEDv4 это работа в административной панели

34 парсера сниппетов, 10 парсеров видео контента, 13 парсеров изображений

Возможность создания своих парсеров (!)

Парсинг через socks5/proxy, с авторизацией и без

Парсинг через interfaces сервера (дополнительные IP сервера) (!)

Поддержка IPv6 для работы с interfaces (!)

Парсинг с IP сервера

Логика продвинутого контента (!) (с)SED Team (теперь мы парсим контент и с сайтов!)

Встроенная нормализация сниппетов

Возможность создавать свои регулярные выражения для чистки сниппетов (!)

Фильтрация сниппетов по языку (кириллица/латиница) (!)

Логика разрастания (!) (с)SED Team

Контроль разрастания (ВКЛ/ВЫКЛ, стоп-слова)

Встроенный клоакинг с обновляемой базой IP (!) и возможностью использовать собственные списки IP, а также любых признаков из строки User Agent.

Встроенная статистика (!) Глобально/для группы/для каждого домена с возможностью задавать User Agent'ы и получать по ним статистику посещений

Поддержка групп дорвеев

Создание профилей (!)/клонирование уже существующих

Массовая генерация групп дорвеев по профилю (!)

Возможность создавать дорвеи по одному

Отложенная публикация (!) с имитацией обычного сайта (с)SED Team (новости можно публиковать в определенные временные промежутки, с рандомными интервалами)

Кеширующий и Публикующий кроны, создают абсолютно автономную от оператора, жизнь дорвея

Упрощенная шаблонизация

Создание файлов шаблона и редактирование шаблонов из админ панели (!)

Профили категорий (!) (с)SED Team (стирают стандартные границы шаблона, теперь вы можете использовать разные категории разных шаблонов для одно дорвея)

Возможность использовать вымышленные названия категорий, в таком случае будет использован default шаблон, для генерации страниц

Простое подключение инклюдов к шаблону (информация хранится в БД, а не в файлах)

Более 50-ти (!) различных макросов

Возможность создания своих макросов (!)

Возможность перелинковывать дорвеи на полном автомате

Настраиваемое ЧПУ дорвеев

Шифрование ссылок на изображения (!) (внешие ссылки выглядят как локальные)

Свои ключевые слова для определенных категорий дорвея (!)

Хранение всех баз ключевых слов в одной админке

Полностью управляемое кеширование (!) (настройка времени жизни кеша для групп доменов или каждого домена по отдельности, удаление кеша)

Кеширование страниц в файловую статику

Кеширование необходимых данных страниц (сниппеты, видео, изображения) в БД MySQL

2 метода отображения дорвеев на их доменах

Работа с Рев.Методом (!)

Если дорвеи располагаются с материнской установкой на одном сервере, Вам достаточно просто направить их DocumentRoot на папку мамы, чтобы они включились с ней во взаимодействие и начали работать (!) (с)SED Team

Автоматическая система обновления (!)

Логгирование работы парсеров, с выводом лога в определенном разделе админ панели

Авторегистрация дорвеев, при их создании, в сервисе статистики li.ru

Новости/информация об апдейтах теперь выводится в административной панели

С технической стороны:

MVC архитектура, модульность

Реализация на популярном фреймворке symfony + ORM Doctrine (MySQL)

3 Уровня кэширования, страницы в итоге сводятся в статику

Масштабирование всей системы, для каждого домена отдельная БД

Парсеры написаны с помощью XPath, что сводит время парсинга страницы практически к 0, время работы парсеров = время загрузки страницы с ПС

Модуль установки с минимумом телодвижений

Работает на apache+mod_rewrite+mysql+php 5.3

Необходим IonCube

Лицензионное соглашение (license agreement)

Для вас мы сделали максимально подробный User Guide. В руководстве изложены не только описания настроек, но и описана сама логика работы различных функций SEDv4.

Читать Руководство пользователя SEDv4 «MobyDick»

К сожалению, по техническим причинам нам не подходит проведение вебинара и мы решили записать качественное видео (1-3 часа видео с комментариями о настройках МобиДика и логике его работы), это видео станет отличным превью к мануалу и еще больше раскроет все тонкости работы с системой!

Видео будет доступно в течение нескольких дней на главной странице Руководства http://wiki.sedv4.ru/

Минимальные требования к серверу

Вы должны понимать, что мы можем перечислить лишь требования к софтовой "начинке" сервера, но никак не к железу, потому как "прожорливость" софта зависит лишь от того, как и при каких обстоятельствах он будет использован, сколько дорвеев будет на нем, какие объемы кеша будут у этих дорвеев и многое другое.

Все зависящее от нас, по оптимизации кода и архитектуры БД MySQL, сделано.

Ознакомьтесь с результатами проведенного, после оптимизации архитектуры БД, эксперимента.

PHP 5.3 и выше (сборка должна быть дефолтная, со всеми включенными в нее модулями, а не урезанная/кастомная, единственное хочется выделить CURL модуль)
MySQL
Apache+Mod_Rewrite
IonCube loader

Лицензия предоставляется на 3 IP, это значит что ядро системы, единовременно, может быть установлено на 3 IP адреса (например это будет 3 сервера).

Ядро способно управлять как дорвеями находящимися на одном с ним сервере, так и доменами, находящимися на удаленных серверах (shared hostings, vps, dedicated). Происходит это при помощи файликов-терминалов, которые вы заливаете на удаленные домены.

Обычная цена для всех пользователей

Абонентская плата* (все условия написаны в Лицензионном соглашении)

Абонетская плата + обновления IP клоаки: 30 wmz или 990 wmr

* Это написано в Лицензионном соглашении, но все же: абонентская плата оплачивается пользователем по желанию. Оплата а.п. влияет только на обновления и не влияет на работоспособность софта. Не оплачивая а.п. вы сможете использовать последнюю доступную вам версию.

Внимание: в связи с тем, что обновления неотделимы от багфиксов, 2 месяца, в период с 2.07.13 по 2.09.13, плата за обновления взыматься не будет!

За это время, мы будем принимать сигналы от пользователей о возможных недостатках в функциях и устранять их бесплатно.

Дополнительная лицензия на IP

Стоимость дополнительной лицензии на 1 IP: 50 wmz или 1650 wmr

SEDv4 cо скидкой, для владельцев купленных SEDv3 лицензий

По вопросам покупки и другим предпродажным вопросам обращайтесь в icq или ЛС.

L

L!mur

Client

27.11.2013

#2

Уважаемые пользователи!

Продолжаем делиться с вами новостями проекта SEDv4

SEP1301

[Добавлено] Сортировка фильтров сниппетов - http://sedv4.reformal.ru/proj/?ia=494805
[Добавлено] "Язык парсеров" в профиле - http://sedv4.reformal.ru/proj/?ia=494834
[Исправлено] Парсер ImagesICQ - http://sedv4.reformal.ru/proj/?ia=494804
[Исправлено] Таблица транслитерации ключей\категорий - http://sedv4.reformal.ru/proj/?ia=495643

SEP1302

[Добавлено] Проверка картинок на валидность, работает только с включенным шифрованием ссылок. Проверка идет на Content Type + 200ok http://sedv4.reformal.ru/proj/?ia=494801
[Добавлено] Фильтры чистки сниппетов. Были добавлены следующие фильтры:

Первая буква предложения -> верхний регистр
Вырезать предложения короче N символов
Вырезать предложения короче N слов

http://sedv4.reformal.ru/proj/?ia=496785 , http://sedv4.reformal.ru/proj/?ia=520705

[Добавлено]Закрепление цветов на диаграмме статистики - http://sedv4.reformal.ru/proj/?ia=500062
[Исправлено] Появление 404 страниц на сгенерированных дорах (фидбек пользователей)

Также был переписан сервер системы дистрибуции, чтобы у пользователя была возможность скачивать все доступные для него (оплаченные) релизы скрипта.

Теперь Вы, независимо от текущей версии скрипта, получаете возможность сгенерировать архив с любой, доступной Вам версией, на полном автомате. Этим мы исправили ситуацию, о которой говорилось в стартовом посте топика, на официальном форуме

SEP1302 hotfix

[Исправлено] исправлена работа фильтров со спаршенными предложениями без точек.

SEP1303

[Улучшено] Унифицирована конфигурация терминалов (index.php и .htaccess файлы), теперь данные файлы вынесены шаблонами в папку data/terminal/. Рабочие файлы htaccess.txt и mirror.txt . Изменения внесенные в эти файлы будут применены при скачивании терминала из админки. Там же присутствует параметр #domain# который заменится на домен админки при генерации.
[Исправлено] Базовые фильтры сниппетов теперь нормально работают с сниппетами без предложений. Так же предложения после фильтрации разделяются пробелами.
[Улучшено] Изменен механизм фильтровки сниппетов таким образом чтобы при 100% отфильтровке текста такой сниппет откидывался, а недостающие сниппеты допаршивались.
[Исправлено] Исправлена 404 ошибка при использовании макроса sed_extlink_key
[Добавлено] Менеджер заливки терминалов по фтп, а так же добавлен упрощенный метод генерации конфигов при генерации группы доменов. Теперь можно задать домены при генерации группы в формате:
domain.ru|ftp://username:[email protected]/path/to/folder
domain1.ru|ftp://username:[email protected]/path/to/folder
domain2.ru|ftp://username:[email protected]/path/to/folder
Данный параметр не являетя обязательным.
[Добавлено] Интерфейс взаимодействия с менеджером заливки терминалов на фтп, а так же локализация даного интерфейса. Он присутсвует в утилитах отдельного домена, а так же в модуле управления группой доменов.
[Исправлено] Исправлена работа функции востановления домена при использовании с механизмом шифрования ссылок на картинки.

SEP1304

[Добавлено] Модуль распределенного постинга ссылок в Twifarm - фермы по специальным ссылкам выдаваемым фермой начиная с версии 2.5.
[Улучшено] Модуль генерации ссылок, для возможности генерить ссылки для постинга в фермы.
[Добавлено] Модуль контроля ферм в глобальных настройках. Доступно добавление, редактирование, включение\выключения ферм.
[Добавлено] Модуль постинга ссылок с домена в настроках отдельного домена "Утилиты" - "Twifarm загрузчик". В даном разделе можно загрузить в указанные, а так же включенные, вами фермы в конфигах. Загрузить можно главную страницу, определенное количество или процент всех ключей с домена, а так же определенное количество или процент ключей со всех категорий домена. Ключи будут равномерно распределены по всем фермам. Успешным действием считается 1 постинг в ферму, тоесть по факту один клик на кнопку "Загрузить".
[Добавлено] Модуль постинга ссылок в фермы целой группы доменов, все аналогично постинга отдельного домена, но ошибки\успешные действия считаются как единица за домен. Тоесть "Успешно 10\5(15)" означает что было успешно загружено ссылки для 10 доменов, 5 доменов загрузились с ошибками, а всего доменов 15.

В течение всего октября проводились мероприятия, направленные на снижение нагрузки.

1. Были написаны механизмы унифицированного кэширования данных. Опционально в файлы или в memcached.
2. Переписана фронтенд часть, та которая отдает непосредственно сами доры, под взаимодествие с системой кэширование. Так же была произведена оптимизация механизмов хранения данных для значительно меньшего потребления памяти. В том числе было произведено сокращение запросов к БД.
3. Поправлена куча мелких багов.

И было принято решение сделать еще один важный шаг - параллельно, мы начали переписывать фронтенд на plain php, по оценкам наших программистов, это принесет дополнительный прирост к производительности.

Какие еще изменения произошли?

OCT1301

[Исправлено] Валидация формы профилей в зависимости от выбраных опций. Таким образом если вы включите клоаку и не укажите ссылку то форма не пройдет валидацию и на соответствующем поле появится ошибка. Так же этот фикс касается галочки "templates simple"
[Исправлено] Исправлен баг при создания домена в группе без фтп конфигов когда после создания такого домена невозможно было зайти на страницу фтп загрузчика группы.
[Улучшено] Обновлена база IP поисковых роботов для клоакинга

OCT1302+OCT1303

Эти апдейты вышли одновременно.

OCT1302 работал со старой версией фронтенда.

[добавлено] был добавлен функционал ISP creator (был разработан модуль взаимодействия с API ISPmanager).

ISP creator - модуль, который позволяет автоматически создавать домены на ваших серверах через API ISP manager при создании их через административную панель SEDv4. При удалении дорвеев из админ панели SEDv4, они также удалятся с сервера.

OCT1303 билд был построен на базе многочисленных изменений кода, произошедших в октябре (описано выше) и направленных на оптимизацию запросов к базе данных и снижение нагрузки на оборудование. Билд был выпущен в тестовом режиме и были начаты тестирования.

[добавлено] Начиная с данного билда, SEDv4 поддерживает кеширование в память при помощи Memcached (для этого нужно установить соответствующее ПО)
[добавлено] был добавлен функционал ISP creator.

OCT1304 + hotfix

Данный билд был выпущен на базе протестированного OCT1303.

[Улучшено] В обновлении был изменен и расширен принцип работы макроса [SED_ADVCONT].
Теперь макрос инициирует парсинг сайтов из выдачи по ключевому слову непосредственно при формировании страницы при его наличии в коде темплейта.

Пример:

[sed_advcont:sentnumber=20;paragraph=5;pwrap=p;cont length=1000-3000]

Результатом выполнения будет:

Будет выбрано 20 предложений из спаршенного с источника текста, разбиты на 5 параграфов, которые будут обернуты в теги <p></p>. Если длина 20 предложений меньше 1000 символов - такой текст откидывается и берется следующий. Если длина 20 предложений больше 3000 символов, берутся эти 3000 символов + текст до первой точки (чтобы не разрывать предложения)

Макрос уже не завязан на статистику, посетителей и не публикует отложенный контент, он срабатывает во время его вызова на странице.

[Улучшено] переработан механизм парсинга чтобы отдавать максимально контента фильтруя мусор. Изменения коснулись так же макроса sed_advcont, теперь в нём можно гибко настраивать вывод данных.
[исправлено] из-за перехода на обновленную систему версий произошла непредвиденная рассинхронизация некоторых файлов, что повлекло за собой неправильную отработку модуля клоаки
[Улучшено] было принято решение, включать файловое кеширование по дефолту

NOV1305

[добавлено] функционал создания карты сайта для ваших дорвеев. С возможностью гибкой настройки таких параметров как: Priority, Changefreq. Lastmod.

Было обновлено Руководство пользователя SEDv4, вся информация актуализирована и позволяет более подробно познакомиться с произошедшими изменениями

L

L!mur

Client

13.12.2013

#3

Уважаемые пользователи форума Zennolab.com!

Мы давно не делали хороших Sale’ов* и решили исправить эту ситуацию!

Это будет последний SALE% в этом году. Не упустите свой шанс!

купите SEDv4 «MobyDick» со скидкой

По вопросам приобретения обращайтесь по контактам указанным ниже

Также внимательно следите за скидками на другие наши продукты! :-)

SEDv3
TwiFarmv2
WordpreSEDv1
DLESEDv1

* Акция продлится с 13.12.13 по 19.12.13 включительно.

T

TriangleSun

Новичок

15.12.2013

#4

Если бы за эту цену ещё TwiFarm давали - я бы наверное купил побаловаться.

L

L!mur

Client

09.03.2014

#5

TriangleSun сказал(а):
Если бы за эту цену ещё TwiFarm давали - я бы наверное купил побаловаться.

Чтобы "побаловаться" не нужно покупать такой дорогой продукт :-)

На нем нужно работать http://searchengines.guru/showpost.php?p=12653555&postcount=699

Хочу рассказать о своем опыте работы с SEDами. Сразу скажу, что отзыв написан по личной просьбе SafariLive, но не только из корыстных побуждений, а еще в качестве благодарности команде «SED», за ее работу.

SEDv4 это инструмент, который качественно выполняет свою функцию, и при должном подходе существенно упростит работу и принесет вам доход. Не ищите легких денег и волшебных знаний, ищите инструмент для комфортной работы.

Немного о том, как я узнал о СЕДе.

Это было примерно 2 года назад. Тогда я сделал небольшую пачку. Были использованы шаблоны, которые шли в комплекте с доргеном. Все это дело было залито на шаредхостинг, и проспамлено Хрумером. К моему удивлению, доры стали приносить довольно ощутимый трафик.
С того времени поисковые системы поумнели и сейчас не все так легко дается. Но и развитие SEDa тоже не стояло на месте. Сегодня я обладатель, лицензии SEDv4 на семи серверах. И не собираюсь на этом останавливаться.

Он полностью подходит для моей схемы работы. Вот несколько причин почему:

- массовость, пакетный режим, быстрое создание большого количества доров. Я просто обожаю это. Нажал на кнопку «добавить группу», ввел новые домены и через пару минут сотни новых сайтов готовы к работе.
- не надо заботиться о контенте. SED парсит поисковые системы в поисках контента, а так же контент с релевантных запросу сайтов. Благодаря чему получаются практически читаемые статьи с тематическими картинками и видео.
- шаблонизатор SEDv4 удобный и гибкий. Для каждой категории можно написать свой шаблон. У вас могут быть категории, выглядящие сообразно своему названию (например: форум, фотогалерея, видео и т.д.). А если вам, стало не хватать каких-то макросов, вы можете написать свой.
- встроенная система клоакинга. Позволяет скрыть механизм перенаправления пользователя на платник от глаз поисковиков. Я не замечал особой разницы в скорости забанивая доров с ней и без неё, что говорит о том, что это работает.

И многое другое. Некоторые функции, напротив, я не использую по тем или иным причинам. Например, экспорт ссылок в фермы (да, я по старинке ручками), разрастание (эта вещь непредсказуема. Надеюсь, разработчики сделают белый список), WSO загрузчик (…), автодобавление (и удаление) доменов в ispmanager (у меня его нет).

Опишу несколько технических нюансов.

1) О сервере.
Если вы собираетесь серьезно работать, первое что вам понадобится – это мощный сервер с большим количеством оперативной памяти.
Я использую конфиги: Intel i7-4770, Оперативная память 32 ГБ (и выше), диски в основном SSD. SED хранит данные в СУБД MySQL, InnoDB. Последнее в свою очередь позволяет кешировать данные в оперативной памяти, за счет чего происходит прирост в быстродействии. Поэтому, 32 ГБ оперативной памяти, считаю,- это минимум для комфортной работы.

2) О программном обеспечении.
В качестве веб-сервера я использую nginx. SED прекрасно на нем работает. Нужна только небольшая переделка конфига для домена ядра и терминалов (т.к. на nginx не предусмотрен htaccess). И конечно, не забудьте установить акселератор APC.
Итого, у меня на сервере размещается по 500 доменов без особых тормозов.

3) IP. Что бы добыть контент для такого количества доменов, нужно много быстрых прокси или же дополнительных IP вашего сервера.

В завершении, моя статистика по Loadpays:

И стата по кредитам. Тут все очень плохо. Но я особо и не работал с этой темой.

L

L!mur

Client

09.03.2014

#6

Уважаемые пользователи форума!

Поздравляем всех вас с наступлением весны, а наших, горячо любимых и уважаемых девушек с прошедшим, замечательным весенним праздником

с 8 Марта!

Объявляем о праздничной акции*

* С 8.03.14 по 16.03.14 (включительно) вы сможете купить систему автоматической генерации дорвеев SEDv4 со скидкой 16%!

Данная акция распространяется и на другие продукты из нашей линейки

Свяжитесь с нами!

И еще раз, с прошедшим праздником, девушки!

L

L!mur

Client

19.04.2014

#7

Уважаемые пользователи!

Объявляем о начале акции

Пасхальные скидки 2014!

Команда «SED» поздравляет вас с наступающим праздником Пасхи! Этот замечательный весенний праздник дарит людям по всему миру радость. Мы не могли упустить эту возможность и хотим сделать приятный подарок всем желающим приобрести один из наших продуктов.

с 14.04 по 21.04 вы сможете приобрести SEDv4 cо скидкой

33%

Не упустите свой шанс, приобрести этот замечательный продукт, доказавший свою работоспособность в привлечении трафика с поисковых систем!

Подобные акции проходят также по другим нашим продуктам, также зарекомендовавшим себя:

SEDv3
TwiFarmv3
WordpreSED
DleSED
RedSED

По любым предпродажным вопросам обращайтесь по этим контактам

L

L!mur

Client

13.08.2014

#8

Приветствуем участников форума!

С момента последнего поста в этом топике, рассказывающего об изменениях (апдейт NOV1305), прошло довольно много времени, за это время произошла масса полезных и интересных обновлений функционала, а также глобальное обновление, в котором мы полностью переписали frontend, что позволило максимально решить имевшиеся проблемы с нагрузками.

Вместо репоста большого количества текста, просто дадим ссылки на описание этих обновлений, на форуме SearchEngines:

NOV1306 + NOV1307 + hotfix
DEC1308, DEC1309 DEC1310
Jan1411
Feb-Mar14, Apr1414
Apr1415, May1416
May1417
JUN1418

Jul1419

[Добавлено] генерация контента по алгоритмам Панченко и Маркс. Текст генерируется из спаршенного контента страницы.
[Добавлено] макрос [SED_GENERATE]

Его параметры:

type - алгоритм генерации. pan или marks, по умолчанию будет рандомный.
symbols - количество символов в формате 400-1000, то есть MIN-MAX
paragraph - количество параграфов в формате MIN-MAX
ptype - html элемент в который будет оборачиватся параграф, по умолчанию p
pclass - хтмл атрибут class, по умолчанию ничего
chunk - количество слов для одного блока в алгоритме Маркса, по умолчанию 5. Для алгоритма Панченка ничего не сделает.
chunks_in_sentence - количество блоков в одном предложении, используется только для алгоритма Маркса, по умолчанию 2.

[Исправлено] различные фиксы и исправления по фидбекам пользователей

Скидки!

У нас продолжается серия летних акций, под общим названием Summer Sale. Каждая из этих акций сопровождается скидкой на наши продукты, размер скидки каждый раз разный ;-)