- Регистрация
- 23.10.2016
- Сообщения
- 250
- Благодарностей
- 71
- Баллы
- 28
Что полезного в данной статье
1. В шаблоне можете посмотреть на оптимизацию браузера
2. Обход зашиты cloudflare
3. Как хранить большой объем файлов на диске
4. Как программисту с опытом работы на С# или С++ или любом другом языке перейти на зенку. Мой опыт
Всем добрый день, хочу описать свой опыт как я открыл для себя Zennoposter, что послужило толчком для изучения этого инструмента.
В двух словах о себе, я пишу разные программули на С++ или С# , работаю на бирже фрилансе где нахожусь в топе по нескольким направлениям.
Клиентов много даже приходилось обращаться за помощью к коллегам по цеху, и я ещё не знал всех прелестей зеннопостера и особо не мог и заняться.
И тут ко мне попал один проект где требовалось создать парсер который должен скачать информацию с сайта (возможно вы не зайдете на этот сайт
у них там серьезная зашита стоит) просто сохранять все станицы профилей пользователей в виде файлов. Бюджет 10000 грн
Многие наверняка подумаю что задача easy, но есть пара нюансов
1. На сайте стоит cloudflare зашита, при чем когда я делал парсер мне казалось что они следят в реальном времени за тем как я их защиту обхожу и сразу делают так что решение уже не рабочее
2. Профилей пользователей больше 96 млн, как их хранить если нужно было выгружать просто на диск файлы html страницы.
Я решил все делать на С++ get/post запросы, и иногда использовать браузер чтобы получить защитный ключ cloudflare, делал я это с большим энтузиазмом и затянулось это примерно на 7 дней, но к моему удивлению после успешных тестов через день проект перестал работать, что-то они изменили в защите (скорей всего они увидели что один ключ используется на разных айпи и быстренько это пофиксили) и уже все мои запросы банились сразу из-за этого ключа... Я конечно не ожидал такого поворота) Но не расстроился, а сразу же вспомнил что есть зеннопостер и на 100% был уверен что с помощью него можно решить вопрос, хотя я никогда на нем ничего не делал и у меня стояла только демо версия. В общем я связался с клиентом, объяснил ситуацию и рассказал что один варик решения купить зеннопостер и на нем все сделать... Он сразу же купил PRO версию и Я начал решать вопрос, конечно с начала за короткий промежуток времени сложно разобраться в зенке, и я обратился к человеку у которого взял 3 часа консультации по зенке, интересно было что этот парень даже программирование не знал, а пользовался только зеннопостером. Опыт программирования очень помог разобраться в зеннопостере.
1. Как вопрос решился с cloudflare и какие были проблемы?
Очень просто купили большой пул прокси и просто их использовали. Мы отказались делать решение для разгадывания капчей чтобы не тратить на это время из-за того что объем выгрузки очень большой, да и прокси было достаточно... Был один неприятный нюанс с банами прокси
Например: делаю запрос
получаю бан все явно видно, и нюанс был такой я нахожу рабочую прокси делаю около 100 запросов но потом прокси может перестать работать или ее забанят и уже сайт не присылает страницу бана, а начинает как-то странно реагировать (может конечно это особенность зенки) например у меня страница открыта на ссылке 1/2/3 , а я делаю запрос на ссылку 1/2/4 браузер грузиться но по факту переходит обратно на страницу 1/2/3
Решение: сохраняться предыдущий текст ссылки и потом проверять с текстом который будет использоваться для следующего запроса
2.Как хранить данные на диске например 1млн файлов ?
Решение: У каждого профиля был уникальный ид например 423532635334634435
было принято решение что мы создаем 2 каталога один каталог где лежат файлы с текстом, второй каталог зеркальный но там лежат пустые файлы он нужен был для того чтобы мы могли проверять есть ли в базе уже профиль или нету на случай если каталог с основными данными будет копирован в другое место.
Формирование пути к файлу
Как это выглядит в каталоге
В приложение будет проект парсера он делался в феврале этого года. Вам потребуются доп файлы которые тоже есть в приложение, если вы захотите его использовать не даю гарантии что он будет корректно работать. Но в ознакомительных целях можете посмотреть.
Надеюсь кому-то это информация поможет)
Я для себя точно нашел отличное решение через какое можно делать многие задачи за короткое время, с момента использования зенки я написал больше 30 шаблонов для проектов. Многие из которых без зенки не получилось бы сделать.
Желаю всем добра) С Наступающим новым годом!
1. В шаблоне можете посмотреть на оптимизацию браузера
2. Обход зашиты cloudflare
3. Как хранить большой объем файлов на диске
4. Как программисту с опытом работы на С# или С++ или любом другом языке перейти на зенку. Мой опыт
Всем добрый день, хочу описать свой опыт как я открыл для себя Zennoposter, что послужило толчком для изучения этого инструмента.
В двух словах о себе, я пишу разные программули на С++ или С# , работаю на бирже фрилансе где нахожусь в топе по нескольким направлениям.
Клиентов много даже приходилось обращаться за помощью к коллегам по цеху, и я ещё не знал всех прелестей зеннопостера и особо не мог и заняться.
И тут ко мне попал один проект где требовалось создать парсер который должен скачать информацию с сайта (возможно вы не зайдете на этот сайт
у них там серьезная зашита стоит) просто сохранять все станицы профилей пользователей в виде файлов. Бюджет 10000 грнМногие наверняка подумаю что задача easy, но есть пара нюансов
1. На сайте стоит cloudflare зашита, при чем когда я делал парсер мне казалось что они следят в реальном времени за тем как я их защиту обхожу и сразу делают так что решение уже не рабочее
2. Профилей пользователей больше 96 млн, как их хранить если нужно было выгружать просто на диск файлы html страницы.
Я решил все делать на С++ get/post запросы, и иногда использовать браузер чтобы получить защитный ключ cloudflare, делал я это с большим энтузиазмом и затянулось это примерно на 7 дней, но к моему удивлению после успешных тестов через день проект перестал работать, что-то они изменили в защите (скорей всего они увидели что один ключ используется на разных айпи и быстренько это пофиксили) и уже все мои запросы банились сразу из-за этого ключа... Я конечно не ожидал такого поворота) Но не расстроился, а сразу же вспомнил что есть зеннопостер и на 100% был уверен что с помощью него можно решить вопрос, хотя я никогда на нем ничего не делал и у меня стояла только демо версия. В общем я связался с клиентом, объяснил ситуацию и рассказал что один варик решения купить зеннопостер и на нем все сделать... Он сразу же купил PRO версию и Я начал решать вопрос, конечно с начала за короткий промежуток времени сложно разобраться в зенке, и я обратился к человеку у которого взял 3 часа консультации по зенке, интересно было что этот парень даже программирование не знал, а пользовался только зеннопостером. Опыт программирования очень помог разобраться в зеннопостере.
1. Как вопрос решился с cloudflare и какие были проблемы?
Очень просто купили большой пул прокси и просто их использовали. Мы отказались делать решение для разгадывания капчей чтобы не тратить на это время из-за того что объем выгрузки очень большой, да и прокси было достаточно... Был один неприятный нюанс с банами прокси
Например: делаю запрос
получаю бан все явно видно, и нюанс был такой я нахожу рабочую прокси делаю около 100 запросов но потом прокси может перестать работать или ее забанят и уже сайт не присылает страницу бана, а начинает как-то странно реагировать (может конечно это особенность зенки) например у меня страница открыта на ссылке 1/2/3 , а я делаю запрос на ссылку 1/2/4 браузер грузиться но по факту переходит обратно на страницу 1/2/3
Решение: сохраняться предыдущий текст ссылки и потом проверять с текстом который будет использоваться для следующего запроса
2.Как хранить данные на диске например 1млн файлов ?
Решение: У каждого профиля был уникальный ид например 423532635334634435
было принято решение что мы создаем 2 каталога один каталог где лежат файлы с текстом, второй каталог зеркальный но там лежат пустые файлы он нужен был для того чтобы мы могли проверять есть ли в базе уже профиль или нету на случай если каталог с основными данными будет копирован в другое место.
Формирование пути к файлу
C#:
string url = project.Variables["peopleUrl"].Value;
string id = url.Substring(url.LastIndexOf("_G")+2);
id = id.Replace("-", "");
string path = "res_empty";
for(int j = 0; j < id.Length; ++j)
{
if(j < 6){
path += "\\" + id[j];
}
else
path += id[j];
}
path += ".txt";
return @"C:\fastp\" + path;В приложение будет проект парсера он делался в феврале этого года. Вам потребуются доп файлы которые тоже есть в приложение, если вы захотите его использовать не даю гарантии что он будет корректно работать. Но в ознакомительных целях можете посмотреть.
Надеюсь кому-то это информация поможет)
Я для себя точно нашел отличное решение через какое можно делать многие задачи за короткое время, с момента использования зенки я написал больше 30 шаблонов для проектов. Многие из которых без зенки не получилось бы сделать.
Желаю всем добра) С Наступающим новым годом!
- Тема статьи
- Нестандартные хаки
- Номер конкурса статей
- Двенадцатый конкурс статей
Для запуска проектов требуется программа ZennoPoster или ZennoDroid.
Это основное приложение, предназначенное для выполнения автоматизированных шаблонов действий (ботов).
Подробнее...
Для того чтобы запустить шаблон, откройте нужную программу. Нажмите кнопку «Добавить», и выберите файл проекта, который хотите запустить.
Подробнее о том, где и как выполняется проект.
Последнее редактирование:
