Создание и нагуливание профилей для последующего использования

[dimafatality]

Что означает "Сколько циклов ходим по сайтам"?

"На сколько зайти сайтов, перед тем, как завершить работу с текущим профилем"

 

[Danko33]

Виснет, даже с таймаутом в 150 сек.

 

[zarufakis]

Виснет, даже с таймаутом в 150 сек.

Данный шаблон написан в ознакомительных целях, он открыт и готов к вашему редактированию. Все что работает с 99% вероятностью - приват или в продаже.

 

[dimafatality]

Данный шаблон написан в ознакомительных целях, он открыт и готов к вашему редактированию. Все что работает с 99% вероятностью - приват или в продаже.

Не туда процитировал

Кстати, возможно рано радуюсь, но на бета версии 7.1.0.0 успешно открутило уже 476 выполнений, работает без таймаутов в 20 потоков.
До этого ЗП умирал буквально через 20-30 успехов.

 

[zarufakis]

Не туда процитировал

Кстати, возможно рано радуюсь, но на бета версии 7.1.0.0 успешно открутило уже 476 выполнений, работает без таймаутов в 20 потоков.
До этого ЗП умирал буквально через 20-30 успехов.

Нешто кубик починили? А я его уже на сишарпе переписал))

 

[dimafatality]

Нешто кубик починили?

Не, всё вернулось на круги своя)) включил 50 потоков на тест без таймаутов, через полтора часа 48 из них висит.

 

[Mangazey]

Скажите, нагуливать профили обязательно через прокси? Вроде же IP нигде не сохраняется, или я ошибаюсь?

 

[Reactor3000]

Скажите, нагуливать профили обязательно через прокси? Вроде же IP нигде не сохраняется, или я ошибаюсь?

Тот же гугл знает где и какую куку и кому он оставлял. И гугл это не только куки с домена google.com

 

[Mangazey]

Тот же гугл знает где и какую куку и кому он оставлял. И гугл это не только куки с домена google.com

т.е. все же, прокси - есть закон!? ))

 

[Hazar]

Нешто кубик починили? А я его уже на сишарпе переписал))

А файл с 2500 шт. сылок прилогается? о которых вы писали в начале? А то шабу неоткуда брать ссылки...

 

[zarufakis]

А файл с 2500 шт. сылок прилогается? о которых вы писали в начале? А то шабу неоткуда брать ссылки...

Они встрены в шаб. Поройтесь в кубиках )

 

[fLipE]

Доброго вечера!
Спасибо за шаблон, ковыряю вот его, накидываю функционал, вот только одного понять не могу - у меня одни профили почему-то весят 109, 248кб, а другие всего в 2 раза раздуваются. Это зависит от кол-ва посещенных сайтов, или от чего?) Что сохраняется в профиле? (да, я с зенкой еще не на "ты")))

 

[Valandersi]

Доброго вечера!
Спасибо за шаблон, ковыряю вот его, накидываю функционал, вот только одного понять не могу - у меня одни профили почему-то весят 109, 248кб, а другие всего в 2 раза раздуваются. Это зависит от кол-ва посещенных сайтов, или от чего?) Что сохраняется в профиле? (да, я с зенкой еще не на "ты")))

Посмотреть вложение 45354

Откройте вин раром и посмотрите это архив

 

[Gefest]

На запросах в принципе гулялки не нужны, или просто КПД меньше будет ?

 

[Valandersi]

На запросах в принципе гулялки не нужны, или просто КПД меньше будет ?

На запросах ты не получишь супер куки

 

[Mangazey]

У меня опять вопрос про прокси:

Если я использую мобильную проксю и работает она через постоянный ребут модема.... как это будет выглядеть, если я запущу сразу 5 потоков гулялки? Они будут переходить в режим ожидания и ждать пока модем перезагрузится, или при отсутствии линии будут выдавать ошибку и брать следующий профиль? Если будут ждать линию, то не будет ли проблем с качеством таких профилей, ведь наверняка будут сохраняться профили нагулянные на одном айпишнике? Спасибо, если кто-то ответит.

 

[Phoenix78]

У меня опять вопрос про прокси:

Если я использую мобильную проксю и работает она через постоянный ребут модема.... как это будет выглядеть, если я запущу сразу 5 потоков гулялки? Они будут переходить в режим ожидания и ждать пока модем перезагрузится, или при отсутствии линии будут выдавать ошибку и брать следующий профиль? Если будут ждать линию, то не будет ли проблем с качеством таких профилей, ведь наверняка будут сохраняться профили нагулянные на одном айпишнике? Спасибо, если кто-то ответит.

шаблон не смотрел, но там вряд ли есть логика для анализа работы мобильных прокси. запусти да увидишь что происходит.

 

[Mangazey]

шаблон не смотрел, но там вряд ли есть логика для анализа работы мобильных прокси. запусти да увидишь что происходит.

Я посмотрел и уже переделал под себя. Сейчас меня интересует вопрос второй части.. а именно, если периодически будут сохраняться куки с одного IP, насколько это критично? По идее, это же мобильные прокси и там все гораздо лояльнее, ибо на одном айпишнике могут сидеть сотни человек. Или я ошибаюсь?

 

[zarufakis]

По идее, это же мобильные прокси и там все гораздо лояльнее, ибо на одном айпишнике могут сидеть сотни человек. Или я ошибаюсь?

В одну единицу времени на одном мобильном ипе может сидеть только один человек, если это не тариф для точек доступа, но я думаю. что там не таакие. Момент, когда раздается интернет на несколько устройст - скорее исклчение, чем правило, не стоит им пренебрегать.

 

[Koqpe]

Я посмотрел и уже переделал под себя. Сейчас меня интересует вопрос второй части.. а именно, если периодически будут сохраняться куки с одного IP, насколько это критично? По идее, это же мобильные прокси и там все гораздо лояльнее, ибо на одном айпишнике могут сидеть сотни человек. Или я ошибаюсь?

Сугубо личное мнение, все зависит от площадок для которых Вы готовите профили, для одних прокси вообще не нужны, для других не только нужны, но и с бубна придется стереть пыль.

 

[Valandersi]

Иногда меня удивляют вопросы какие должны быть профили какие должны быть прокси, какие должны быть куки и тд. Хотите вы покрутить сайт какой должен быть профиль? Человеческий! он должен быть такой же как у вас в браузере у него должны быть и обычные куки и супер куки и тд. Все что определяются сервисы типа вхуера могут и определить вк фэйсбук гугл яндекс и тд и даже больше чем определяет вхуер за счёт метрик, рекламных сетей и прочего. Как определить пк или ноутбук рассказать? как может у обычного пк меняться ip адрес раз в 2 минуты? Он взял пк и идёт идёт по улице?)

 

[Konrod_m]

В одну единицу времени на одном мобильном ипе может сидеть только один человек

Добрый день. Айрсокс утверждает, что у того же мегафона до 10 000 IP. Есть подозрение, что пользователь мобильного интернета в Мск у Мегафона чуть больше.. т.е. все таки когда на одном IP несколько человек - вполне возможна.

 

[Valandersi]

Добрый день. Айрсокс утверждает, что у того же мегафона до 10 000 IP. Есть подозрение, что пользователь мобильного интернета в Мск у Мегафона чуть больше.. т.е. все таки когда на одном IP несколько человек - вполне возможна.

Это все легко проверить, пишите шаблон 2 действия ресетнули ip, записали. Чем чаще шаблон будет работать тем больше ip вы получите. чистите дубли получаете число ip за определенный промежуток времени.
p/s Айрсокс юзал только тест, задал им вопрос в саппорт на который мне ответили через 11 дней. Но ответили уже хорошо)

 

[Viking01]

Да, на радаре https://radar.yandex.ru/ спарсил все 2500+ сайтов со всех категорий.
А ошибки скорее всего возникли при конвертации в спинтакс.

оО а можешь поделиться шаблоном для парсинга?)

 

[luk911]

В одну единицу времени на одном мобильном ипе может сидеть только один человек, если это не тариф для точек доступа, но я думаю. что там не таакие. Момент, когда раздается интернет на несколько устройст - скорее исклчение, чем правило, не стоит им пренебрегать.

Полезно думать иногда. Вы идете по улице. Дошли до одной сотовой вышки - у вас один айпи, дошли до второй - у вас другой ... Айпи не статические в мобильной сети и за пользователем не закрепляются.

 

[LTEBOOST.COM]

Добрый день. Айрсокс утверждает, что у того же мегафона до 10 000 IP. Есть подозрение, что пользователь мобильного интернета в Мск у Мегафона чуть больше.. т.е. все таки когда на одном IP несколько человек - вполне возможна.

Скажу так, что айпишников не так много в любом регионе. Поэтому там не то что сидит несколько человек, а представьте сколько людей пользуется мегафоном в Москве, думаю миллионв 5+ точно. 5млн поделите на 10 000 айпишников. В среднем будет 500+ человек на каждом айпи. Но, учитывайте что люди не меняют айпи адреса как делаем мы на прокси, возможно что может быть гораздо больше людей на 1м айпи адресе.

 

[Konrod_m]

Но, учитывайте что люди не меняют айпи адреса как делаем мы на прокси, возможно что может быть гораздо больше людей на 1м айпи адресе.

вы хотите сказать, что когда я еду на машине с одного конца города, до другого - я все еще привязан к одной и той же вышке с одним и тем же ip? оочень маловероятно..

 

[LTEBOOST.COM]

вы хотите сказать, что когда я еду на машине с одного конца города, до другого - я все еще привязан к одной и той же вышке с одним и тем же ip? оочень маловероятно..

Скажу вам больше, айпи не привязан к вышке. Это сто процентов проверено и уже давно. Да, если связь не теряется и не переключается с 3г на лте или на едж, то айпи у вас будет один и тот же.

 

[Konrod_m]

Скажу вам больше, айпи не привязан к вышке. Это сто процентов проверено и уже давно. Да, если связь не теряется и не переключается с 3г на лте или на едж, то айпи у вас будет один и тот же.

спасибо за развернутый ответ. но раз есть зависимость от качества связи и переключений - значит все более менее естественно.

 

[Hazar]

оО а можешь поделиться шаблоном для парсинга?)

Тоже бы не отказался от него...