Нужен шаблон для парсинга постов из ВК (post/get).

hopkins

Client
Регистрация
14.05.2018
Сообщения
23
Благодарностей
3
Баллы
3
Всем привет. Вот ссылка на пояснение как должна работать программа

На текущий момент нашли 2 бага. Один вытекает из второго. + нужно вывести логи.

Т.е существует 3 проблемы.

1. Отсутствие вообще каких-то логов. Нужно выводить события в консоль хотя бы основные.
2. Не верная логика программы которую в целом легко пофиксить. Здесь немного больше, чем в двух словах, но попробую пояснить.

Программа парсит пост, записывает его айди, потом снова парсит и сверяет айди. Если он отличается - кидает его в телегу. (так по идее должно работать). НО мы думали, что могут одновременно 3 поста выйти в промежутке между запросам и т.п.

И по факту программа сначала находит 3 поста и не присылает их. И когда только находит 4й пост - кидает все 4 поста как результат. Вот этот баг нужно пофиксить. Т.е не нужно сравнивать с тремя постами, а достаточно одного. Как показала практика там не так часто посты выходят.

3. Исходя из бага который указал выше. Когда вместо одного поста приходит 4. В случае многопотока(когда у нас много ключей парсится и много аккаунтов в работе). Этот баг приводит к тому, что телега кидает нам результаты большими пачками, а в телеге есть ограничение на количество сообщений в секунду от бота. Естественно мы этот лимит превышаем. Если устранение бага который выше - не решит проблему, то нужно работать не с одним ботом, а с несколькими. Т.е распределить нагрузку.

Важный момент. Написание отдельное программы мы не рассматриваем. Только правим шаблон от зенки. Если не работаете с шаблонами от зенки - не пытайтесь переубедить. Зенку выбрали по многим предпочтениям.

На текущий момент если будем получать пост быстрее 1й минуты с момента выхода - это оценка отлично.

Если до 2х минут с момента выхода - твердая четверка.
Дольше двух минут - не рассматриваем.

Сами аккаунты и прокси для тестов предоставляем.

Работаем ТОЛЬКО через безопасную сделку на любой известной фриланс бирже(комиссию выплатим сами). Либо по пост оплате.

Вам дадут ключи, прокси, аккаунты и посты должны приходить в чат телеграм. Запустим на 24-72 часа. Если видим, что работает все ок, то готовы оплачивать.

Текущие исходники можно посмотреть тут:

Последняя версия в папке vk-part-test

Связь в телеграм - @marketolog_kryloff
 

volody00

Client
Регистрация
06.09.2016
Сообщения
798
Благодарностей
817
Баллы
93
чем этот шаблон не устроил ? - https://zennolab.com/discussion/threads/monitoring-novostej-v-vk-po-kljuchevomu-zaprosu.89609/
неужели за полгода так никого и не нашли? Почему бы не написать местным гуру вроде https://zennolab.com/discussion/threads/shablony-zennoposter-na-zakaz-sniffing-mobilnyx-prilozhenij-shablony-dlja-zennoposter-na-post-get-boty-regery-parsery.34267/unread (бюджет не позволяет)?

а вообще тс в общении адекватный. но шаблон не так просто сделать. вк действительно какой-то теневой бан что ли дает, разбираться надо. по началу всё гладко идет, потом начинаются задержки в несколько минут, что уже для тс критично
 

hopkins

Client
Регистрация
14.05.2018
Сообщения
23
Благодарностей
3
Баллы
3
чем этот шаблон не устроил ? - https://zennolab.com/discussion/threads/monitoring-novostej-v-vk-po-kljuchevomu-zaprosu.89609/
неужели за полгода так никого и не нашли? Почему бы не написать местным гуру вроде https://zennolab.com/discussion/threads/shablony-zennoposter-na-zakaz-sniffing-mobilnyx-prilozhenij-shablony-dlja-zennoposter-na-post-get-boty-regery-parsery.34267/unread (бюджет не позволяет)?

а вообще тс в общении адекватный. но шаблон не так просто сделать. вк действительно какой-то теневой бан что ли дает, разбираться надо. по началу всё гладко идет, потом начинаются задержки в несколько минут, что уже для тс критично
Дело в том, что у нас в работе должно быть 1000 ключей сразу

Даже если мы берем 1 ключ и чекаем его раз в 30 сек это уже выходит 2 880 запросов. Т.е мы уже ушли за лимит апи. Что бы чекать 1 ключ выходит нужно 2 аккаунта(если мы будем проверять немного реже).

на 1к ключей держать 2к аккаунтов ну такое себе решение)),

На остальные вопросы по порядку. Я и не искал целенаправленно пол года программиста. Иногда когда вспоминаю про программу делаю очередную попытку, но все они не удачные.

Все хотят предоплату, при этом не могут гарантировать выполнение тз. Платить за воздух нет никакого желания. На безопасную сделку даже люди не согласны. Видимо по той же причине. Они понимают, что не смогут выполнить ТЗ, а саппорт рассудит в мою сторону.

Те кто брались за работу без предоплаты - так и не смогли показать ничего адекватного.

Местным гуру конечно писал и вопрос вообще не в бюджете, а в том, что я за него получу. Ни один местный гуру не хочет даже через безопасную сделку работать)). Тут можно долго разводить полемику о том, что любая работа должна быть оплачена и т.п. Но я сам фрилансер и в моей работе тоже куча сторонних факторов. При этом я даю гарантии на старте, а 99% моих коллег нет. Здесь я считаю аналогичная ситуация.

Само ТЗ описано более чем подробно. Какие тут могут быть форс мажоры?! Баны акка? Без проблем. Пусть только сам софт работает, я готов дать аккаунты и прокси с запасом. Забанили - взяли следующий акк и идем дальше. Хоть после каждого запроса пусть улетает, но покажите что основную функцию отрабатываем корректно. Не пропускаем посты и присылаем их вовремя.

У меня нет никаких претензий к ребятам, это 100% их право как работать с заказчиком и на каких условиях. Но на безопасную сделку за всё время я не нашел ни одного нормального исполнителя.
 

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)