POST/GET шаблоны VS браузерные

[WebBot]

Всем привет. Скажите честно, есть ли у вас какие-либо предрассудки по поводу шаблонов использующих браузер? Признаюсь честно, я сам очень долго боролся со своими внутренними демонами по этому поводу, так что просто стало интересно один ли я такой Каждый раз разрабатывая какой-либо шаблон я старался делать его без использования браузера, тратил нереальную кучу времени на изучение возможности все реализовать на POST/GET, если же нужно было купить чей-то чужой шаблон, то то же старался выбрать тот что на POST/GET. В общем это были самые настоящие предрассудки) И вот вдруг недавно меня отпустило, произошло какое-то переосознание, переоценка выигрыша получаемого от POST/GET и времени затраченного на его разработку. Ну и что что парсер парсит контент не 3 минуты как на POST/GET, а 7 минут с браузером (а иногда банально нужно выдерживать одинаковые паузы и время вообще будет примерно одинаковым), зато собрал и отладил я его за несколько дней, а не несколько недель =)

Я конечно интересуюсь в первую очередь с точки зрения продаж шаблонов .... вот лично для вас при покупке шаблонов это имеет сильно значение ( POST/GET или с браузером ) ? Я не беру конечно темы где действительно супер-важна каждая секунда, но если говорить в общем и целом про какие-нибудь парсеры, даунлоадеры, постилки, чекеры ... то насколько для вас это важно?

 

[Astraport]

Сначала чаще всего делаю под браузер, а потом, по возможности, переписываю на запросы, если это реально даёт прирост скорости и надёжности.

 

[Astraport]

Вообще основное преимущество Зенки это именно работа с браузером и профилирование. Если 100% знаешь, что задача решается чисто запросами, то проще на питоне написать или на ноде.

 

[WebBot]

Вообще основное преимущество Зенки это именно работа с браузером и профилирование. Если 100% знаешь, что задача решается чисто запросами, то проще на питоне написать или на ноде.

Согласен. Сам не пойму откуда у меня в свое время появилось это предвзятое отношение к браузерным шаблонам. Сейчас вот думаю, у меня такое количество всяких полезных шаблонов с использованием браузера, а я из-за своего предвзятого отношения их да же никогда на продажу не выставлял )) А возможно стоило бы, не у всех же такие тараканы в голове ... кому то нужно ехать, а не шашечки

 

[backoff]

1. совершенно плевать на чем написан шаблон - главное чтоб работал и выполнял свои задачи.
2. я всегда старался переписать на запросы, те шаблоны, которые, ну прям ваще нужны )) но не всегда, например с гугловским шаблоном, я провозился месяц так и не реализовав его нормально, забил
3. масштабирование, чаще всего проше купить дополнительную зенку и сервер, чем оптимизировать шаблон на запросы
4. дошел до этого пункта? читай пункт 1 он самый важный остальное брызги )))

 

[Sanekk]

Когда я начал изучать зенку, очень много тем на форуме читал о том что работая через веб она палится т.к. не все данные можно было подменить, post/get оказался выходом из ситуации и весь упор пошёл на написание шабов на post/get.... Позже пришло понимание что сначала пишу шаб на web и где необходимо(если это действительно необходимо ) переписываю post/get
Но самое главное уже сказали))):

Спойлер: тыц

1. совершенно плевать на чем написан шаблон - главное чтоб работал и выполнял свои задачи.

 

[radv]

важна правильно построенная логика выполнения и обработки ошибок.

 

[Phoenix78]

важна правильно построенная логика выполнения и обработки ошибок.

да самый топ, это в столбик нафигачить кубиков, а ошибки на общем BadEnd обработать , аахаха

 

[radv]

да самый топ, это в столбик нафигачить кубиков, а ошибки на общем BadEnd обработать , аахаха

это вряд ли топ. )) лучше уж все на шарпе сделать общий бэдэнд это неправильная логика ))

 

[doc]

Прошло время, когда всё можно было переписать на запросах. Сейчас столько детектов, что пост гет актуален только для апи и откровенно незащищенных сайтов. Конечно можно пытаться и защищенные пробивать, срезать углы, выискивать слабые места. Но, зачастую, железо стоить будет дешевле

 

[WebBot]

Прошло время, когда всё можно было переписать на запросах. Сейчас столько детектов, что пост гет актуален только для апи и откровенно незащищенных сайтов. Конечно можно пытаться и защищенные пробивать, срезать углы, выискивать слабые места. Но, зачастую, железо стоить будет дешевле

Да, все именно так и есть. Огромное кол-во времени и сил уходит на разбор того как формируются всякие хитрые хэши используемые в запросах и не факт что разберешься в результатате, зато время точно убьешь. За это время реально соберешь 5 браузерных шаблонов и сделаешь все что нужно и да же больше.

 

[Kokos]

Заметил, что заказчики ( и на форуме в коммерческом разделе тоже ) )) больше любят шаблоны именно на запросах, хотя "иногда", даже сами не понимают зачем им, именно на запросах.

 

[doc]

Заметил, что заказчики ( и на форуме в коммерческом разделе тоже ) )) больше любят шаблоны именно на запросах, хотя "иногда", даже сами не понимают зачем им, именно на запросах.

а я заметил, что начинают любить на веб, когда ценник на запросы выкатываешь)

 

[Phoenix78]

а я заметил, что начинают любить на веб, когда ценник на запросы выкатываешь)

ахахахах . не в глаз, а в бровь

 

[Kokos]

а я заметил, что начинают любить на веб, когда ценник на запросы выкатываешь)

когда узнают, то конечно, уже на запросах становится вообщем то и не нужно

 

[radv]

Заметил, что заказчики ( и на форуме в коммерческом разделе тоже ) )) больше любят шаблоны именно на запросах, хотя "иногда", даже сами не понимают зачем им, именно на запросах.

Просто они думают, что через запросы можно быстрее работать, получить больше результатов запустив одновременно больше потоков с меньшей нагрузкой на систему и т.п. Но не понимают, что эмуляция действий может быть больше похожа на реальные действия юзера и как следствие может проходить больше проверок на ботов. К тому же многие приложения/сервисы сейчас шифруют запросы и на их отслеживание, расшифровку и т.п. нужно время, которое тоже должно быть оплачено, но платить за это мало кто хочет, поэтому как заметили выше ценник за постгет может быть намного выше эмуляции действий.

 

[one]

Сначала чаще всего делаю под браузер, а потом, по возможности, переписываю на запросы, если это реально даёт прирост скорости и надёжности.

Тоже так поступаю. отлаживаю на броузере, наблюдаю, оцениваю и принимаю решение. Да ну нах эти запросы!

 

[WebBot]

Тоже так поступаю. отлаживаю на броузере, наблюдаю, оцениваю и принимаю решение. Да ну нах эти запросы!

Верный ход мыслей насчет "да ну нах эти запросы" ... с момента как меня окончательно отпустило от post/get зависимости я практически всегда прихожу к такому же выводу

 

[lavachik]

Как по мне на запросах более экономней получается по ресурсам компьютера если задача в многопотоке, а вообще пишу на том на чем получается быстрее и проще

Хотя может и уменя еще не такой большой опыт как в отписавших выше, я больше пишу шаблоны под свои нужды)

 

[WebBot]

Как по мне на запросах более экономней получается по ресурсам компьютера если задача в многопотоке, а вообще пишу на том на чем получается быстрее и проще

Да, экономичнее, быстрее. Вопрос только в том а всегда ли эти выигрышные условные 10 секунд настолько критичны, что стоят того что бы убить кучу времени на ковыряние в снифере и скриптах да еще с приличной вероятностью того что так и не разберешься потратив кучу времени ...

 

[one]

Вопрос только в том а всегда ли эти выигрышные условные 10 секунд настолько критичны

Думаю да, всегда. 1 поток 10сек выигрывает. 10 потоков уже 100 секунд.

Думаю вопрос тут в другом. А нужен ли этот выигрыш во времени или можно обойтись тем, что есть.

 

[semafor]

Из последнего: просидел 1,5 недели ковыряя запросы и скрипты, потом плюнул, за 2 дня написал на вебе, и уже пользую во всю. А если бы с веба начал, сэкономил бы секунд так 864000. На каждый поток.

 

[Truelife]

Конечно же только post/get. Если не хватает компетентности или желания и времени изучать что-то новое и совершенствовать свой навык написания шаблонов, то можно и веб версию запилить, но в первую очередь стоит автоматизировать истоки, которые поддаются автоматизации на запросах (точнее, для автоматизации которых на запросах хватает Ваших знаний). Про выигрыш в 10 секунд вообще смешно, при написании шабов. которые работают на запросах, нагрузка снижается в разы, так же, как и время выполнения цикла + возможность запускать в многопоток. Если у вас шаб, который должен работать в 1-10 потоков и мощный комп, то конечно можно написать на вебе, но только смысла в этом никакого нет, обычно, легче понять, как автоматизировать его на запросах, тем более, что полученные знания пригодятся Вам в дальнейшем, если вы конечно в серьёз занимаетесь написанием шабов к различным ресурсам, а не зациклены на парочке истоков или сайтов для автоматизации.

 

[Phoenix78]

Конечно же только post/get. Если не хватает компетентности или желания и времени изучать что-то новое и совершенствовать свой навык написания шаблонов, то можно и веб версию запилить, но в первую очередь стоит автоматизировать истоки, которые поддаются автоматизации на запросах (точнее, для автоматизации которых на запросах хватает Ваших знаний). Про выигрыш в 10 секунд вообще смешно, при написании шабов. которые работают на запросах, нагрузка снижается в разы, так же, как и время выполнения цикла + возможность запускать в многопоток. Если у вас шаб, который должен работать в 1-10 потоков и мощный комп, то конечно можно написать на вебе, но только смысла в этом никакого нет, обычно, легче понять, как автоматизировать его на запросах, тем более, что полученные знания пригодятся Вам в дальнейшем, если вы конечно в серьёз занимаетесь написанием шабов к различным ресурсам, а не зациклены на парочке истоков или сайтов для автоматизации.

а если есть оборудование для запуска 300-500 веб потоков, то тоже стоит тратить недели головняка с запросами, где можно за 2-3 дня все сделать на вебе ?

 

[Asmus003]

а если есть оборудование для запуска 300-500 веб потоков, то тоже стоит тратить недели головняка с запросами, где можно за 2-3 дня все сделать на вебе ?

а сколько стоит оборудование на 300-500 потоков? в $, если можно) просто интересно...

 

[Phoenix78]

а сколько стоит оборудование на 300-500 потоков? в $, если можно) просто интересно...

хз. не слежу за ценами.

 

[Mikhail B.]

Смотря какая цель. Ряд вопросов решают браузерные решения.

 

[backoff]

а сколько стоит оборудование на 300-500 потоков?

да ни один сервак столько не запустит ))

 

[Phoenix78]

да ни один сервак столько не запустит ))

зачем один то ?
3 райзена по 150 потоков про тредхриперы молчу вообще. там вообще моща запредельная.

 

[backoff]

зачем один то ?

ну вопрос такой был.

3 райзена по 150 потоков

да мне кажется и 150 очень сложно, край 100 и то с натяжкой
сужу по серваку который гонял 180 потоков (файрфокса)
тот же сервак еле вывозил 50 хрома

про тредхриперы молчу вообще

что за триперы? )