- Регистрация
- 23.10.2016
- Сообщения
- 302
- Реакции
- 79
- Баллы
- 28
Что полезного в данной статье
1. В шаблоне можете посмотреть на оптимизацию браузера
2. Обход зашиты cloudflare
3. Как хранить большой объем файлов на диске
4. Как программисту с опытом работы на С# или С++ или любом другом языке перейти на зенку. Мой опыт
Всем добрый день, хочу описать свой опыт как я открыл для себя Zennoposter, что послужило толчком для изучения этого инструмента.
В двух словах о себе, я пишу разные программули на С++ или С# , работаю на бирже фрилансе где нахожусь в топе по нескольким направлениям.
Клиентов много даже приходилось обращаться за помощью к коллегам по цеху, и я ещё не знал всех прелестей зеннопостера и особо не мог и заняться.
И тут ко мне попал один проект где требовалось создать парсер который должен скачать информацию с сайта (возможно вы не зайдете на этот сайт
у них там серьезная зашита стоит) просто сохранять все станицы профилей пользователей в виде файлов. Бюджет 10000 грн
Многие наверняка подумаю что задача easy, но есть пара нюансов
1. На сайте стоит cloudflare зашита, при чем когда я делал парсер мне казалось что они следят в реальном времени за тем как я их защиту обхожу и сразу делают так что решение уже не рабочее
2. Профилей пользователей больше 96 млн, как их хранить если нужно было выгружать просто на диск файлы html страницы.
Я решил все делать на С++ get/post запросы, и иногда использовать браузер чтобы получить защитный ключ cloudflare, делал я это с большим энтузиазмом и затянулось это примерно на 7 дней, но к моему удивлению после успешных тестов через день проект перестал работать, что-то они изменили в защите (скорей всего они увидели что один ключ используется на разных айпи и быстренько это пофиксили) и уже все мои запросы банились сразу из-за этого ключа... Я конечно не ожидал такого поворота) Но не расстроился, а сразу же вспомнил что есть зеннопостер и на 100% был уверен что с помощью него можно решить вопрос, хотя я никогда на нем ничего не делал и у меня стояла только демо версия. В общем я связался с клиентом, объяснил ситуацию и рассказал что один варик решения купить зеннопостер и на нем все сделать... Он сразу же купил PRO версию и Я начал решать вопрос, конечно с начала за короткий промежуток времени сложно разобраться в зенке, и я обратился к человеку у которого взял 3 часа консультации по зенке, интересно было что этот парень даже программирование не знал, а пользовался только зеннопостером. Опыт программирования очень помог разобраться в зеннопостере.
1. Как вопрос решился с cloudflare и какие были проблемы?
Очень просто купили большой пул прокси и просто их использовали. Мы отказались делать решение для разгадывания капчей чтобы не тратить на это время из-за того что объем выгрузки очень большой, да и прокси было достаточно... Был один неприятный нюанс с банами прокси
Например: делаю запрос
получаю бан все явно видно, и нюанс был такой я нахожу рабочую прокси делаю около 100 запросов но потом прокси может перестать работать или ее забанят и уже сайт не присылает страницу бана, а начинает как-то странно реагировать (может конечно это особенность зенки) например у меня страница открыта на ссылке 1/2/3 , а я делаю запрос на ссылку 1/2/4 браузер грузиться но по факту переходит обратно на страницу 1/2/3
Решение: сохраняться предыдущий текст ссылки и потом проверять с текстом который будет использоваться для следующего запроса
2.Как хранить данные на диске например 1млн файлов ?
Решение: У каждого профиля был уникальный ид например 423532635334634435
было принято решение что мы создаем 2 каталога один каталог где лежат файлы с текстом, второй каталог зеркальный но там лежат пустые файлы он нужен был для того чтобы мы могли проверять есть ли в базе уже профиль или нету на случай если каталог с основными данными будет копирован в другое место.
Формирование пути к файлу
Как это выглядит в каталоге
В приложение будет проект парсера он делался в феврале этого года. Вам потребуются доп файлы которые тоже есть в приложение, если вы захотите его использовать не даю гарантии что он будет корректно работать. Но в ознакомительных целях можете посмотреть.
Надеюсь кому-то это информация поможет)
Я для себя точно нашел отличное решение через какое можно делать многие задачи за короткое время, с момента использования зенки я написал больше 30 шаблонов для проектов. Многие из которых без зенки не получилось бы сделать.
Желаю всем добра) С Наступающим новым годом!
1. В шаблоне можете посмотреть на оптимизацию браузера
2. Обход зашиты cloudflare
3. Как хранить большой объем файлов на диске
4. Как программисту с опытом работы на С# или С++ или любом другом языке перейти на зенку. Мой опыт
Всем добрый день, хочу описать свой опыт как я открыл для себя Zennoposter, что послужило толчком для изучения этого инструмента.
В двух словах о себе, я пишу разные программули на С++ или С# , работаю на бирже фрилансе где нахожусь в топе по нескольким направлениям.
Клиентов много даже приходилось обращаться за помощью к коллегам по цеху, и я ещё не знал всех прелестей зеннопостера и особо не мог и заняться.
И тут ко мне попал один проект где требовалось создать парсер который должен скачать информацию с сайта (возможно вы не зайдете на этот сайт
у них там серьезная зашита стоит) просто сохранять все станицы профилей пользователей в виде файлов. Бюджет 10000 грнМногие наверняка подумаю что задача easy, но есть пара нюансов
1. На сайте стоит cloudflare зашита, при чем когда я делал парсер мне казалось что они следят в реальном времени за тем как я их защиту обхожу и сразу делают так что решение уже не рабочее
2. Профилей пользователей больше 96 млн, как их хранить если нужно было выгружать просто на диск файлы html страницы.
Я решил все делать на С++ get/post запросы, и иногда использовать браузер чтобы получить защитный ключ cloudflare, делал я это с большим энтузиазмом и затянулось это примерно на 7 дней, но к моему удивлению после успешных тестов через день проект перестал работать, что-то они изменили в защите (скорей всего они увидели что один ключ используется на разных айпи и быстренько это пофиксили) и уже все мои запросы банились сразу из-за этого ключа... Я конечно не ожидал такого поворота) Но не расстроился, а сразу же вспомнил что есть зеннопостер и на 100% был уверен что с помощью него можно решить вопрос, хотя я никогда на нем ничего не делал и у меня стояла только демо версия. В общем я связался с клиентом, объяснил ситуацию и рассказал что один варик решения купить зеннопостер и на нем все сделать... Он сразу же купил PRO версию и Я начал решать вопрос, конечно с начала за короткий промежуток времени сложно разобраться в зенке, и я обратился к человеку у которого взял 3 часа консультации по зенке, интересно было что этот парень даже программирование не знал, а пользовался только зеннопостером. Опыт программирования очень помог разобраться в зеннопостере.
1. Как вопрос решился с cloudflare и какие были проблемы?
Очень просто купили большой пул прокси и просто их использовали. Мы отказались делать решение для разгадывания капчей чтобы не тратить на это время из-за того что объем выгрузки очень большой, да и прокси было достаточно... Был один неприятный нюанс с банами прокси
Например: делаю запрос
получаю бан все явно видно, и нюанс был такой я нахожу рабочую прокси делаю около 100 запросов но потом прокси может перестать работать или ее забанят и уже сайт не присылает страницу бана, а начинает как-то странно реагировать (может конечно это особенность зенки) например у меня страница открыта на ссылке 1/2/3 , а я делаю запрос на ссылку 1/2/4 браузер грузиться но по факту переходит обратно на страницу 1/2/3
Решение: сохраняться предыдущий текст ссылки и потом проверять с текстом который будет использоваться для следующего запроса
2.Как хранить данные на диске например 1млн файлов ?
Решение: У каждого профиля был уникальный ид например 423532635334634435
было принято решение что мы создаем 2 каталога один каталог где лежат файлы с текстом, второй каталог зеркальный но там лежат пустые файлы он нужен был для того чтобы мы могли проверять есть ли в базе уже профиль или нету на случай если каталог с основными данными будет копирован в другое место.
Формирование пути к файлу
C#:
string url = project.Variables["peopleUrl"].Value;
string id = url.Substring(url.LastIndexOf("_G")+2);
id = id.Replace("-", "");
string path = "res_empty";
for(int j = 0; j < id.Length; ++j)
{
if(j < 6){
path += "\\" + id[j];
}
else
path += id[j];
}
path += ".txt";
return @"C:\fastp\" + path;Как это выглядит в каталоге
В приложение будет проект парсера он делался в феврале этого года. Вам потребуются доп файлы которые тоже есть в приложение, если вы захотите его использовать не даю гарантии что он будет корректно работать. Но в ознакомительных целях можете посмотреть.
Надеюсь кому-то это информация поможет)
Я для себя точно нашел отличное решение через какое можно делать многие задачи за короткое время, с момента использования зенки я написал больше 30 шаблонов для проектов. Многие из которых без зенки не получилось бы сделать.
Желаю всем добра) С Наступающим новым годом!
- Номер конкурса статей
- Двенадцатый конкурс статей
- Тема статьи
- Нестандартные хаки
Последнее редактирование:
