Всем добрый день. Смысл идеи в значительном увеличении производительности проектов за счет одновременной работы в разных вкладках, в рамках одного профиля и инстанса. Речь идет о приросте не на 10-15 жалких процентов а в х10-х100!
Называть это можно по-разному, "многопоток в многопотоке", "параллельная работа во вкладках", "несколько стрелочек от кнопки старт", "асинхронность" и тд.
Задачи обойти ограничения лицензий лайт и стандарт НЕТ! Функционал нужен и его можно как сделать эксклюзивом для про версии или продавать отдельно на разных условиях, тут уж зенолаб сам разберется, главное понять суть и необходимость.
Далее много текста со всеми обоснованиями, примерами и расчетами, поехали:
Есть профиль как файлом так и профиль папкой (мне без разницы какой использовать, главное что бы работало).
Задача: При использовании одного профиля работа должна происходить одновременно в 3-х разных соцсетях с сохранением всех куков в профиль.
То есть хочется именно вариант "несколько стрелочек от кнопки старт". Допустим:
1) первая ветка блоков "создать вкладку VK, зайти в вк и скролить ленту 5 минут +открытие некоторых записей, по завершении увеличить счетчик на 1"
2) вторая ветка блоков "создать вкладку OD зайти в одноклассники, зайти в список друзей, зайти на рандомного и скролить его страницу 5 минут, по завершении увеличить счетчик на 1"
3) третья ветка блоков "создать вкладку MM, зайти в мой мир и скролить ленту 5 минут, по завершении увеличить счетчик на 1".
4) четвертая ветка, если счетчик = 3, тогда сохранить профиль (куки профиля сохраняются по сути сразу со всех сайтов без конфликтов) и запустить bat/проект на перезагрузку прокси.
То есть по сути 1 профиль сделает всю работу не за 15 минут (при текущем последовательном подходом, поочередно пройти по каждой соцсети), а за 5 (при многопотоке внутри одного инстанса).
И всё это еще нужно в многопоток, условно 10 аккаунтов одновременно каждый из них работает на 3-х РАЗНЫХ сайтах.
Зачем собственно это нужно:
1) это удобно, один профиль может нагуливаться сразу в нескольких местах и делать там действия, а после отработки всех "внутренних потоков" уже уйти на сохранение профиля.
2) Проще работать с теми же мобильными проксями + экономия на них. Так как у нас будет не 3 профиля делают одинаковые действия на одном сайте, а один профиль делает действия одновременно НО на трех разных сайтах. Время будет тратиться условно одинаково, но палева значительно меньше.
3) Не будет конфликтов с сохранением данных и куков в профиль. Так как не будет проблем с занятостью профиля. Сейчас я пытаюсь создать 3 разных проекта (ОД, ВК, ММ) что бы они запускались одновременно, брали один и тот же профиль, отрабатывали и сохраняли в него все куки без перезаписи/затирания друг друга и тд, пока еще так и не смог это правильно сделать.
4) ускорит работу, пока одна ветка делает свою работу, вторая например чекает каки-либо условия/переменные, делает проверки. И если нужные условия наступают тогда вмешивается в работу первой ветки или что-то другое. И не надо городить тысячу вставок в разные места проекта для проверки появления той же капчи и тд, все проверки пусть каруселью крутятся в отдельной ветке. То есть тут уже не про работу в разных в кладках а про отдельную ветку в проекте которая живет своей жизнью.
5) уменьшить нагрузку на систему, ведь 10 вкладок в одном инстансе значительно легче чем 10 инстансов по одной вкладки. А помножьте это всё на текущий многопоток, так экономия ресурсов просто огромная.
6) Да много еще чего можно придумать. На пример продажа нагулянных ботов/профилей сразу на многих сайтах и тд.
Просто сейчас профиль живет линейно, а многопоточность идет через увеличение одновременно живущих профилей, но тоже линейно, а хочется что бы каждый профиль жил ветвисто как дерево + многопоток который увеличивает количество "деревьев"
Вот сейчас мне нужно что бы один профиль каждый день бывал и "работал" на 6 сайтах, на каждом по 10 минут итого профиль работает 1 час, но это много, сами понимаете что бывают сбои, авто перезагрузки прокси и тд. По этому нужно что бы профиль отработал свои 10 минут и сохранился. В общем это нужно, прямо очень очень, это будет настоящей эволюцией программы.
Все мы пытаемся "имитировать действия человека", а нужно "имитировать человека в интернете с ускорением".
Сейчас у большинства одни профили под авито, другие под ВК, третьи под ОД и тд. И получается как будто человек месяцами заходит с определенного ПК и браузера только на ВК и больше никуда, а с другого ПК и браузера заходит только в ОД и больше никуда и тд. Разве это натурально?
Нужно выращивать не "профиль - опеределенный сайт" а "профиль - полноценная интернет личность". Что бы в рамках одного профиля шла полноценная жизнь везде, правда это для долгосрочных проектов, а не "зарегал акк - продал - выкинул профиль". Но при этом нужно чтобы этот профиль делал всё быстро, а не размазывал свою деятельность на часы.
Единственное отличие будет в том что реальный человек переключается между вкладками, туда-сюда-обратно, а профиль будет работать в них одновременно. А что бы больше имитировать человека то можно использовать больше пауз с большими интервалами. В текущих реалиях увеличение количества и интервалов пауз (для натурализации бота) = не реальные траты времени на каждого бота и о больших объёмах уже говорить очень сложно.
Может я конечно параною, но вам не кажется что во всех боле менее серьезных сервисах всё сложнее и сложнее работать, блокировки чаще, процент реги хуже и тд. А всё почему? У профиля нет "жизни", все пытаются взять количеством, а нужно качеством + количеством. Возьмите ту же накрутку ПФ, хорошо крутят те у кого профиля "живут" по несколько лет, килотонная куков и тд.
Я уверен что очень скоро во время реги на серьезном сервисе будет полный пробив "человека" через его номер телефона или какой-нибудь id. Компании выращивают свои мультисервисные империи и по полной обмениваются данными. Что мешает тому же авито при регистрации чекнуть, а этот номер реально с какого региона? А ватсап есть (он у 90% людей есть)? А когда последний раз заходил в ватсап? А вайбер есть? А телеграм есть? а почта на гугле есть? а на яндексе? а аккаунт в ВК или ОД есть? А как давно ты в эти сервисы заходил и как часто? Обычный человек в соцсети то заходит по 20 раз в день и в поисковиках кучу всего ищет + мессенджеры и тд.
Вот и формируется ответ на вопрос, а ты точно человек?
Биг дата + нейросети = нам жопа господа!
Так может пора готовится к этому уже сейчас?
Вот смотрите, есть антидетект браузеры, штука очень классная, но заточена под анонимность и мультиаккаунтинг. Есть зеннопостер, штука очень классная, но заточена под автоматизацию. Нужно своего рода объединение + турбобуст.
Чем хороши антидетекты, сохраняются все данные, есть история, есть вкладки которые при закрытии сохраняются и тд, идет та же экономия фингерпринтов. У некоторых есть даже облачные профили где разные люди могут работать с одним и тем же профилем но в разных вкладках, тем самым нагуливают одну "личность" сразу в разных сервисах.
Так давайте это автоматизировать? Что нам всем по сути очень нужно? Имитировать интернет жизнь реального человека + что бы он иногда делал особые нужные нам действия. Это как делать мелкие задания на биржах со своего домашнего, трастового браузера. Только нам работать с реальными людьми совсем не хочется, у каждого свои нюансы и причины, по этому мы работаем с ботами которых сами же и создали.
Так вот, у ботов должна быть своя полноценная интернет жизнь. Нужно переходить из работы с количеством на работу с качеством.
Для этого боты должны делать кучу "мусорных" действий и тратить много времени на интернет и всё ради того что бы среди этих всех действий затерялось то самое которое мы действительно хотели. Что бы это действие было не основной, а лишь малой частью "интернет жизни бота".
Так как это сделать? Да её и в большом количестве? Да еще и не дорого? - Мультипоток в Мультипотоке!
Моделируем ситуацию, вводные данные, имеем:
1) 10 мобильных индивидуальных проксей, индивидуалок, супер фаст, мега элит, фулл анонимус, за гору бабла.
2) правило 1 поток - 1 прокси (даже не обсуждается, да даже с учетом того что прокси мобильные)
3) Прокся меняет ip при перезагрузки. Вот прямо 100% меняет на уникальный (решается через проверки)
4) Хотим 700 профилей, которые КАЖДЫЙ ДЕНЬ заходят на 10-15 сайтов и на каждом из этих сайтов проводят по 5-15 минут.
Для удобства счета возьмем 12 сайтов по 10 минут на каждом.
6) Время на перезагрузку прокси и инстансов учитывать не будем, оно типа входит в указанное выше.
7) профили будут коренными москвичами, которые пользуются интернетом в период с 10 утра до 00 ночи, то есть имеем окно в 14 часов в сутки на "реаличтичную интернет жизнь"
В текущих реалиях мы делаем проект где каждый профиль поочередно проходит по всем 12 сайтам по 10 минут на каждом и получаем 120 минут (2 часа) работы инстанса.
Итого на 1 прокси за наше окно (14 часов), отработается 7 профилей, умножить на 10 проксей (многопоток) = 70 профилей в сутки.... а нам нужно 700... То есть получили в 10 раз меньше чем хотели. А выход только 1 - купить ещё 90 проксей и разориться...
А ещё добавьте баги, инстанс не любит долго работать без перерыва/перезагрузки. Из моих личных замеров, шанс поймать баг инстанса за такое продолжительное беспрерывное время - 10%. Вроде мелочь, а не приятно.
Теперь берем метод "многопоток в многопотоке".
1 профиль - 1 прокси - 12 сайтов одновременно и всё это за 10 минут.
умножаем на 10 проксей (многопоток) = 10 профилей со всеми выполненными заданиями за 10 минут!
это = 60 профилей за час, или 840 профилей за наше окно в 14 часов.... А хотели 700... Хотели 700, а получилось даже можем сделать 840...
Да даже если будут 10% багов, да и черт с ними!!!
Итого получаем, что если в зеннопостере будет "многопоток в многопотоке" то производительность вырастет в 10-20-100 раз (в моём случае в 12 раз), при одних и тех же расходах!!!!
Повторюсь: главное понять его необходимость, а не рассматривать его как попытку обойти ограничения в версиях стандарт и лайт.
В них зенолаб просто может сделать доп ограничение, на пример:
1) в лайт версии только 1 поток, только 1 "линия параллельного выполнения"
2) стандарт 5 потоков, максимум 2-3 "линии параллельного выполнения"
3) про версия - безлимит.
Ну и как вариант, для жадин))))) Продавать включение этой функции да топ деньги, как лицензию на текущую лицензию зеннопостера, за разумные деньги конечно.
Называть это можно по-разному, "многопоток в многопотоке", "параллельная работа во вкладках", "несколько стрелочек от кнопки старт", "асинхронность" и тд.
Задачи обойти ограничения лицензий лайт и стандарт НЕТ! Функционал нужен и его можно как сделать эксклюзивом для про версии или продавать отдельно на разных условиях, тут уж зенолаб сам разберется, главное понять суть и необходимость.
Далее много текста со всеми обоснованиями, примерами и расчетами, поехали:
Есть профиль как файлом так и профиль папкой (мне без разницы какой использовать, главное что бы работало).
Задача: При использовании одного профиля работа должна происходить одновременно в 3-х разных соцсетях с сохранением всех куков в профиль.
То есть хочется именно вариант "несколько стрелочек от кнопки старт". Допустим:
1) первая ветка блоков "создать вкладку VK, зайти в вк и скролить ленту 5 минут +открытие некоторых записей, по завершении увеличить счетчик на 1"
2) вторая ветка блоков "создать вкладку OD зайти в одноклассники, зайти в список друзей, зайти на рандомного и скролить его страницу 5 минут, по завершении увеличить счетчик на 1"
3) третья ветка блоков "создать вкладку MM, зайти в мой мир и скролить ленту 5 минут, по завершении увеличить счетчик на 1".
4) четвертая ветка, если счетчик = 3, тогда сохранить профиль (куки профиля сохраняются по сути сразу со всех сайтов без конфликтов) и запустить bat/проект на перезагрузку прокси.
То есть по сути 1 профиль сделает всю работу не за 15 минут (при текущем последовательном подходом, поочередно пройти по каждой соцсети), а за 5 (при многопотоке внутри одного инстанса).
И всё это еще нужно в многопоток, условно 10 аккаунтов одновременно каждый из них работает на 3-х РАЗНЫХ сайтах.
Зачем собственно это нужно:
1) это удобно, один профиль может нагуливаться сразу в нескольких местах и делать там действия, а после отработки всех "внутренних потоков" уже уйти на сохранение профиля.
2) Проще работать с теми же мобильными проксями + экономия на них. Так как у нас будет не 3 профиля делают одинаковые действия на одном сайте, а один профиль делает действия одновременно НО на трех разных сайтах. Время будет тратиться условно одинаково, но палева значительно меньше.
3) Не будет конфликтов с сохранением данных и куков в профиль. Так как не будет проблем с занятостью профиля. Сейчас я пытаюсь создать 3 разных проекта (ОД, ВК, ММ) что бы они запускались одновременно, брали один и тот же профиль, отрабатывали и сохраняли в него все куки без перезаписи/затирания друг друга и тд, пока еще так и не смог это правильно сделать.
4) ускорит работу, пока одна ветка делает свою работу, вторая например чекает каки-либо условия/переменные, делает проверки. И если нужные условия наступают тогда вмешивается в работу первой ветки или что-то другое. И не надо городить тысячу вставок в разные места проекта для проверки появления той же капчи и тд, все проверки пусть каруселью крутятся в отдельной ветке. То есть тут уже не про работу в разных в кладках а про отдельную ветку в проекте которая живет своей жизнью.
5) уменьшить нагрузку на систему, ведь 10 вкладок в одном инстансе значительно легче чем 10 инстансов по одной вкладки. А помножьте это всё на текущий многопоток, так экономия ресурсов просто огромная.
6) Да много еще чего можно придумать. На пример продажа нагулянных ботов/профилей сразу на многих сайтах и тд.
Просто сейчас профиль живет линейно, а многопоточность идет через увеличение одновременно живущих профилей, но тоже линейно, а хочется что бы каждый профиль жил ветвисто как дерево + многопоток который увеличивает количество "деревьев"
Вот сейчас мне нужно что бы один профиль каждый день бывал и "работал" на 6 сайтах, на каждом по 10 минут итого профиль работает 1 час, но это много, сами понимаете что бывают сбои, авто перезагрузки прокси и тд. По этому нужно что бы профиль отработал свои 10 минут и сохранился. В общем это нужно, прямо очень очень, это будет настоящей эволюцией программы.
Все мы пытаемся "имитировать действия человека", а нужно "имитировать человека в интернете с ускорением".
Сейчас у большинства одни профили под авито, другие под ВК, третьи под ОД и тд. И получается как будто человек месяцами заходит с определенного ПК и браузера только на ВК и больше никуда, а с другого ПК и браузера заходит только в ОД и больше никуда и тд. Разве это натурально?
Нужно выращивать не "профиль - опеределенный сайт" а "профиль - полноценная интернет личность". Что бы в рамках одного профиля шла полноценная жизнь везде, правда это для долгосрочных проектов, а не "зарегал акк - продал - выкинул профиль". Но при этом нужно чтобы этот профиль делал всё быстро, а не размазывал свою деятельность на часы.
Единственное отличие будет в том что реальный человек переключается между вкладками, туда-сюда-обратно, а профиль будет работать в них одновременно. А что бы больше имитировать человека то можно использовать больше пауз с большими интервалами. В текущих реалиях увеличение количества и интервалов пауз (для натурализации бота) = не реальные траты времени на каждого бота и о больших объёмах уже говорить очень сложно.
Может я конечно параною, но вам не кажется что во всех боле менее серьезных сервисах всё сложнее и сложнее работать, блокировки чаще, процент реги хуже и тд. А всё почему? У профиля нет "жизни", все пытаются взять количеством, а нужно качеством + количеством. Возьмите ту же накрутку ПФ, хорошо крутят те у кого профиля "живут" по несколько лет, килотонная куков и тд.
Я уверен что очень скоро во время реги на серьезном сервисе будет полный пробив "человека" через его номер телефона или какой-нибудь id. Компании выращивают свои мультисервисные империи и по полной обмениваются данными. Что мешает тому же авито при регистрации чекнуть, а этот номер реально с какого региона? А ватсап есть (он у 90% людей есть)? А когда последний раз заходил в ватсап? А вайбер есть? А телеграм есть? а почта на гугле есть? а на яндексе? а аккаунт в ВК или ОД есть? А как давно ты в эти сервисы заходил и как часто? Обычный человек в соцсети то заходит по 20 раз в день и в поисковиках кучу всего ищет + мессенджеры и тд.
Вот и формируется ответ на вопрос, а ты точно человек?
Биг дата + нейросети = нам жопа господа!
Так может пора готовится к этому уже сейчас?
Вот смотрите, есть антидетект браузеры, штука очень классная, но заточена под анонимность и мультиаккаунтинг. Есть зеннопостер, штука очень классная, но заточена под автоматизацию. Нужно своего рода объединение + турбобуст.
Чем хороши антидетекты, сохраняются все данные, есть история, есть вкладки которые при закрытии сохраняются и тд, идет та же экономия фингерпринтов. У некоторых есть даже облачные профили где разные люди могут работать с одним и тем же профилем но в разных вкладках, тем самым нагуливают одну "личность" сразу в разных сервисах.
Так давайте это автоматизировать? Что нам всем по сути очень нужно? Имитировать интернет жизнь реального человека + что бы он иногда делал особые нужные нам действия. Это как делать мелкие задания на биржах со своего домашнего, трастового браузера. Только нам работать с реальными людьми совсем не хочется, у каждого свои нюансы и причины, по этому мы работаем с ботами которых сами же и создали.
Так вот, у ботов должна быть своя полноценная интернет жизнь. Нужно переходить из работы с количеством на работу с качеством.
Для этого боты должны делать кучу "мусорных" действий и тратить много времени на интернет и всё ради того что бы среди этих всех действий затерялось то самое которое мы действительно хотели. Что бы это действие было не основной, а лишь малой частью "интернет жизни бота".
Так как это сделать? Да её и в большом количестве? Да еще и не дорого? - Мультипоток в Мультипотоке!
Моделируем ситуацию, вводные данные, имеем:
1) 10 мобильных индивидуальных проксей, индивидуалок, супер фаст, мега элит, фулл анонимус, за гору бабла.
2) правило 1 поток - 1 прокси (даже не обсуждается, да даже с учетом того что прокси мобильные)
3) Прокся меняет ip при перезагрузки. Вот прямо 100% меняет на уникальный (решается через проверки)
4) Хотим 700 профилей, которые КАЖДЫЙ ДЕНЬ заходят на 10-15 сайтов и на каждом из этих сайтов проводят по 5-15 минут.
Для удобства счета возьмем 12 сайтов по 10 минут на каждом.
6) Время на перезагрузку прокси и инстансов учитывать не будем, оно типа входит в указанное выше.
7) профили будут коренными москвичами, которые пользуются интернетом в период с 10 утра до 00 ночи, то есть имеем окно в 14 часов в сутки на "реаличтичную интернет жизнь"
В текущих реалиях мы делаем проект где каждый профиль поочередно проходит по всем 12 сайтам по 10 минут на каждом и получаем 120 минут (2 часа) работы инстанса.
Итого на 1 прокси за наше окно (14 часов), отработается 7 профилей, умножить на 10 проксей (многопоток) = 70 профилей в сутки.... а нам нужно 700... То есть получили в 10 раз меньше чем хотели. А выход только 1 - купить ещё 90 проксей и разориться...
А ещё добавьте баги, инстанс не любит долго работать без перерыва/перезагрузки. Из моих личных замеров, шанс поймать баг инстанса за такое продолжительное беспрерывное время - 10%. Вроде мелочь, а не приятно.
Теперь берем метод "многопоток в многопотоке".
1 профиль - 1 прокси - 12 сайтов одновременно и всё это за 10 минут.
умножаем на 10 проксей (многопоток) = 10 профилей со всеми выполненными заданиями за 10 минут!
это = 60 профилей за час, или 840 профилей за наше окно в 14 часов.... А хотели 700... Хотели 700, а получилось даже можем сделать 840...
Да даже если будут 10% багов, да и черт с ними!!!
Итого получаем, что если в зеннопостере будет "многопоток в многопотоке" то производительность вырастет в 10-20-100 раз (в моём случае в 12 раз), при одних и тех же расходах!!!!
Повторюсь: главное понять его необходимость, а не рассматривать его как попытку обойти ограничения в версиях стандарт и лайт.
В них зенолаб просто может сделать доп ограничение, на пример:
1) в лайт версии только 1 поток, только 1 "линия параллельного выполнения"
2) стандарт 5 потоков, максимум 2-3 "линии параллельного выполнения"
3) про версия - безлимит.
Ну и как вариант, для жадин))))) Продавать включение этой функции да топ деньги, как лицензию на текущую лицензию зеннопостера, за разумные деньги конечно.
