Мониторинг новых заказов для фрилансера с помощью ZennoPoster.

[specialist]

Фриланс один из видов удаленной работы в интернете. Но в отличии от удаленной работы на определенную компанию на фрилансе постоянно нужно искать новые заказы, постоянно быть в курсе новинок и желательно хотя бы частично зарабатывать на арбитраже проектов.

Что возможно автоматизировать с помощью ZennoPoster:
1. Мониторинг новых заявок.
2. Поиск заказов на нескольких ресурсах одновременно.
3. Расширить источники для получения заказов: форумы и доски объявлений
4. Получение информации в удобном виде.
5. Взаимодействие с имеющимися инструментами. CRM системы.
6. Арбитраж заказов. Поиск исполнителей и автоматическая рассылка.

Возможности для автоматизации ничем не ограничены, например, возможно добавить автоматический ответ при появлении нового проекта.

Какие возможности ZennoPoster будут использованы:
1. Встроенный парсер
2. Проект в проекте
3. Списки, таблицы и работа с файлами
4. MySQL
5. HTTP запросы

Рассмотрим частично возможности, которые представляет зенопостер для автоматизации данного вида деятельности.

Приступаем к автоматизации. Находим новые заявки.

Для примера, получим новые заявки с freelance.ru



Находим страницу, где размещены новые проекты

https://freelance.ru/projects/filter/

Встроенные фильтры использовать не будем, хотя это возможно и достаточно легко реализуется через запись действий и/или сохранение настроенного профиля.

Для того чтобы определить, что проект может быть нам интересен, достаточно получить только заголовок проекта и ссылку, для детального ознакомления.

Описание и сумма обычно требует большого времени на ознакомление и изучение, чем беглый просмотр, поэтому их не собираем.




Встроенным инструментом «Парсить данные» находим текст названия заданий. Добавляем их в проект в виде списка.



Аналогично находим все ссылки на задания.

В ProjectMaker получаем примерно следующую структуру

Таким образом спарсили все заказы с этого сайта. Теперь перед нами две основные проблемы.

1) Как сохранить данные в удобном виде, для последующей обработки?

2) Как при следующем запуске получить только новые заказы, чтобы не просматривать повторно тоже самое, например при поднятии старого проекта?

Для дальнейшей обработки, нужно сохранить эти данные в виде массива или таблицы, поэтому начнем с самого простого, сохраним оба этих списка в виде xlsx таблицы.

Для этого создадим таблицу

и привяжем её к xlsx файлу, в папке нашего проекта

Теперь объединим два списка в виде таблицы. Через встроенные инструменты, это возможно сделать вот так способом:

Получаем первую строку списка с последующим удалением, для которых создаем переменные.

Далее, записываем результат в виде строки таблицы

Данное действие повторяем в цикле до тех пор, пока не закончатся данные в списках.

Для этого дополнительно создаем счетчик количества строк в одном из списков (списки одинаковые по размеру)

Повторяем действия в цикле с условием, пока счетчик строк не равен 0.

Аналогично, данную задачу возможно решить использую C# код и методы project.Lists, project.Tables, list.Count, table.AddRow


Успешно выполнив данный проект, получаем простую таблицу.

В excel уже возможно отфильтровать данные и найти что-то стоящее.

Каждый последующий запуск будет добавлять новые строки.

Автоматизируем дальше. Теперь нужно сделать так, чтобы добавлялось только новое.

При парсинге, мы всегда будем получать все результаты. Далее нужно удалить лишние, возможных алгоритмов достаточно много, например сравнение с уже имеющимся списком.

Например. Из имеющейся таблицы возьмем 2 столбец, где указан url адрес. Добавим его в отдельный список. После этого в этот список будем добавлять в уже имеющемся цикле ссылки, которые спарсили, удалять дубли, если размер списка изменился, добавлять в таблицу.

Возможно записать все в одну строку и сравнить хеши и т.п., но все эти действия сильно усложняют задачу. Существуют более простые способы, тем более у нас уже есть встроенный MySQL клиент.

Создаем базу данных и таблицу

Данные будем добавлять с помощью «INSERT IGNORE INTO …», поле url в таблице monitor, должно быть UNIQUE (уникальное поле).

Прописываем в ProjectMaker настройки для подключения и запрос. Кубик вставляем в цикл объединения в таблицу.

Результат выполнения

Сохранение в файл больше не требуется, можем убрать синхронизацию и привязку к физическому файлу на диске.

Создадим копию проекта через сохранить, как и вынесем метку проекта в переменную, для удобства редактирования. В экшене работа с таблицей изменим текстовую запись на значение переменной.

Теперь, мы можем добавить другие источники, всего лишь заменив первую часть, в которой производится сбор данных. Для примера, возьмем форум webmasters.ru



Нашли интересный для нас список тем

Заново добавили кубики парсера, но автоматическое назначение список изменили на List0 и List1, чтобы не переделывать код

Получили результат. Новые темы – последние в списке, при сортировке по уменьшению id всегда будут первыми.

Аналогично возможно проделать с любым сайтом.


CRM системы, обычно позволяют отправить данные POST запросом через API. Для отправки в данных можем использовать HTTP запросы.

Пример использования HTTP POST запроса, для передачи данных в CRM

Одним из способов запуска всех проектов является вариант проект в проекте.

Таким образом, мы можем добавить в настройки выбор, какие проекты нужно запустить сейчас, какие возможно позже.

Пример

Где найти исполнителя.

На многих сайтах есть каталоги исполнителей, например на freelance.ru


С данной страницы достаточно просто, возможно, спарсить email исполнителя

Далее сделать отправку сообщения с помощью зенопостера, например через веб интерфейс почты.

 

[tony11111]

Просто и по делу. Очень доступно по работе с базой данных, спасибо.

 

[Master4eg]

Никто не пробовал воркзиллу автоматизировать? у них какая-то защита от зенки что-ли. Лента не обновляется в PM

 

[specialist]

у них какая-то защита от зенки что-ли.

Не пробовал, возможно стоит попробовать хром версию браузера, там динамическая подгрузка данных.
Стоимость подписки 490, не видя примеры заданий не очень понятно за что хотят )

 

[specialist]

Небольшая подборка сайтов для монитора, сайты, доски, форумы

http://www.cyberforum.ru/job-offer/
https://forum.antichat.ru/forums/170/
https://free-lance.ua/
https://freelance.ru/projects/filter/
https://freelance.ua/
https://freelancehunt.com/projects
https://freelansim.ru/
https://irr.ru/jobs-education/vacancies/marketing-pr/
https://searchengines.guru/forumdisplay.php?s=053f4988dbb9ec53d4d482c5e5b638a2&f=62
https://www.avito.ru/rossiya/vakansii/it_internet_telekom/udalennaya_rabota?s_trg=3
https://www.fl.ru/projects/
https://www.gofuckbiz.com/forumdisplay.php?f=100
https://www.rabota.ru/vacancy/%D1%83%D0%B4%D0%B0%D0%BB%D0%B5%D0%BD%D0%BD%D0%B0%D1%8F%20%D1%80%D0%B0%D0%B1%D0%BE%D1%82%D0%B0/
https://www.upwork.com/
https://www.weblancer.net/jobs/
http://webmasters.ru/forum/f157/
https://youla.ru/all/rabota/marketing-reklama-pr

 

[Zheka84]

за подборку сайтов спасибо большое
подскажите пожалуйста, на каких из бесплатных сайтов можно найти работу начинающему вебдизайнеру?
и какой из платных стоит внимания, что бы не прогадать?
И извините за офтоп...

 

[specialist]

какой из платных стоит внимания, что бы не прогадать?

fl.ru или freelance.ru - на них точно можно что-то найти по дизайну.
На отзывы внимание мало обращают, больше на портфолио, много не нужно, 3-7 работ достаточно.

 

[Zheka84]

specialist, спасибо большое.

 

[Kurator]

Получили результат. Новые темы – последние в списке, при сортировке по уменьшению id всегда будут первыми. - Так, а что дальше делать, если нужно понять отработал ли бот по этому заказу или нет? Можно по подробнее?

 

[specialist]

отработал ли бот по этому заказу или нет

Я добавляю логический флаг в базу данных, кто-то просто логи сохраняет, вариантов достаточно много, даже обычный скрин инстанса и потом проверить в папке

 

[Dexio]

Может невнимательно прочитал. Но в чем смысл переходить на бд, вместо файла? Можно же даты создания записывать например

 

[specialist]

Но в чем смысл переходить на бд, вместо файла?

Смысл в том, что для интеграции с CRM или сервиса или размещения на сервере нужна база данных.
На файлах можно сделать что угодно, вопрос только в дальнейшем взаимодействии.

 

[Vladimir71]

Как поставить значение в базу данных как у вас в разделе дополнительно AUTO_INCREMENT я у себя что то не нашел нигде значения этого

спасибо заранее за ответ , я только учусь понемногу.

 

[Vladimir71]

И еще где можно найти статейки по работе с базами данных только желательно не заумных а по простому , если есть ссылки на форуме может кто знает скиньте пожалуйста , знания нужны .

 

[specialist]

дополнительно AUTO_INCREMENT

A_I - в phpmyadmin это и есть автоматическое увеличение номера записи.
Не забудьте так же создать unique индекс.

 

[Vladimir71]

спасибо большое разобрался , спасибо что ткнули меня носом где искать а индекс у меня вообще в другой вкладке находится я тестирую на локалхосте в опен сервере.

 

[Vladimir71]

для чего нужен unique индекс?

 

[specialist]

unique индекс

для sql запроса INSERT IGNORE, не добавляем дубли, но чтобы база данных понимала, что это дубль, нужно создать индекс для поля или группы полей.

 

[Ikigai]

Существуют более простые способы, тем более у нас уже есть встроенный MySQL клиент.

Создаем базу данных и таблицу

А можно ли как то этот момент немного расписать или может сбросить ссылку на расскрытие данной темы. С базами данных ниразу не работал =(.
Заранее спасибо

 

[romanss]

На сайтах по моему профилю уже все автоматизировано.
Было бы интересно собирать горячие запросы пользователей к моим конкурентам вконтакте или фэйсбук. Программы такие реализованы. Но почему бы зенкой не крутить