Результаты поиска

я видимо плавно подошел к ответу на вопрос своего треда https://zennolab.com/discussion/threads/chto-ja-delaju-ne-tak-parsing-bolshogo-sajta.56548/#post-421336 (хочешь больше - плати больше)

Тоесть Zennoposter нельзя поставить на виртуальный сервер или я что-то неправильно понимаю?

Уважаемые разработчики, скажите пожалуйста, если "разделить" сервер на несколько виртуальных серверов средствами Hyper-V - то лицензия будет распространяться на все железо или на одну виртуалку, а на другую нужна доп. лицензия?

У меня вот практически такая же проблема - только система загружена на 10-15%, отрисовка всего просто страх и ужас, Project Maker запустить невозможно... Пришли ли кто-то из форумчан к решению проблемы?

Вот такую вижу ошибку в логах системы, что это?

Допустим у меня работает ZP в 100 потоков, все они пишут в одни лог, который отображается в самом ZP. Не могу найти, как в лог добавить номер или ID потока, или какой-то другой идентификатор, чтобы можно было понять, один и тот же поток шлет в лог ошибки или это разные потоки.... Извините, не...

Значит рассказываю. Откатился я на версию 5.26.0 Вернул браузер FFx64 В шаблонах убрал проверку "существует ли запрашиваемый на сайте файл в системе" (очень грешу на это место, т.к. файлов много довольно) Сделал паузу в шаблоне после закачивания страницы 10 секунд. Сейчас на выходных оставлял...

Понял, этот момент, но вопрос в тормозах не на старте процессов, а именно уже в самой работе, сейчас попробую сделать то что Вы описали выше, отпишусь позже обязательно

Спасибо, сейчас все буду пробовать, но хочу уточнить - инстанс, это изолированный процесс, который запускается исключительно в начале процесса парсинга? Тоесть это именно в начале всего процесса или же эти настройки влияют на работу уже в процессе самого парсинга? Дело в том, что у меня сам...

1. Имеем большой сайт страниц этак на 20млн, список страниц как таковых, нет, но есть каталог страниц, с которого может быть ссылок 20-100 на сами товары, которые нас интересуют. 2. Сайт за ClaudFlare, использую прокси от awmproxy (не реклама) Список проксей подгружается на сервер каждые 15...

Your thread Max-persistent-connections-per-proxy для Хрома, где? was moved to a different forum. А зайти туда не могу, и еще, как получить статус клиента? Я как бы купил и Zennoposter и Capmonster, какие вообще критерии?

А связаться с Вами как-то можно? Я не вижу такого функционала для меня, это ограничения форума?

Рекапча на 100 потоках убивает мой тазик

Обход защиты CloudFlare это вообщем-то важная тема для меня. Если подключен браузер, то первый этап он решает сам (или я что-то не понимаю), вот в тех постах что предоставил Bas (за что ему огромное спасибо) как раз пытаются получить куки для решения вот этой проблемы (если я правильно понял)...

Именно зло, но если бы было бы меньшее зло - я бы пользовался им, а так - альтернатив не вижу, пока если честно

А можно пару слов подробнее? Как это? Спасибо )

А что значит пакетные? Можно разжевать новичку? Заранее спасибо :)

Я уже несколько раз спрашивал "какие посоветуете", если у меня задача - парсинг страниц сайта, который сидит за Cloudflare

Некоторые провайдеры proxy (awmproxy, proxylist4you) ограничивают кол-во потоков, которые могут быть использованы одновременно. В текущей реализации я не нашел возможности программно ограничить ОБЩЕЕ кол-во потоков, у меня лично сработало только ограничение в настройках самого браузера...

Я очень прошу простить за такой наивный вопрос, но нет ли в зеннопостере чего-то типа функций? Часто приходится выполнять одинаковый набор действий, но выходы с повторимых действий должны вести в разные места....

Спасибо, за CF это я так себе предполагаю один из самых серьезных противников. Может посоветуете что-либо?

Нууу, уже курим бамбук.... так сказать отдыхаем. Блин, при чем тут страна, я говорю о всем пуле из 10к IP из разных стран. Не работает ни одна, смекаешь? :)

Я прекрасно понимаю что там написано, я не про то :-) Я про то - что все прокси, которые якобы считаются тут не самыми плохими - в миг перестали работать PS. поредактировал старт топика чтобы было понятнее

Парсил сайт, который лежит под Cloudflare. 70 потоков. Капчу не разгадывал - просто брал другую прокси. Сейчас получил бан для всех проксей Access denied What happened? The owner of this website (www.fastpeoplesearch.com) has banned the country or region your IP address is in (IN) from...

Почему-то через раз стал получать вот такую капчу и не могу правильно настроить ее разгадывание (capmonster запущен)

Подскажите, как работают фильтры в Zennoposter->ProxyChecker ? К примеру, меня интересует фильтр "список CloudFlare"? Он заведомо не будет пропускать в живой список прокси, которые забанены в Cloudflare? Просто если с правилами еще более менее понятно, можно выбрать правило при выборе прокси в...

Вот как раз пробовать не хотелось бы, про***ться и потерять время вообще нет никакого желания :)

Здравствуйте, подскажите по такому вопросу. Имеем сервер DELL PowerEdge 8x E5-4650 ( 2.7 GHz, 32 ядра ) 128 GB RAM Хотим запустить там Zennoposter для граббинга страниц. Какую ОС порекомендуете на него поставить из раздела https://rutracker.org/forum/viewforum.php?f=1021, или может не...

у меня сейчас 50 потоков и постоянно 100%, я понял про 80% и скорректирую это кол-во, но вопрос был немного в другом - я хотел услышать типа "ну ты, чудак, у нас оптимизированные шаблоны и по 100 на ядро вертятся и загрузка ЦП 50%, ищи что оптимизировать", или наоборот - что 10 потоков на ядро...

не совсем понял, у меня 4 ядра, мне получается ставить 4 потока выполнения шаблона? система будет простаивать имхо

Я новичок, спасибо админам и активистам - очень помогаете продвигаться вперед! Пределам оптимизации шаблона конечно нет предела, но все же... Если взять обычный (типичный) набор действий в браузере - парсинг страницы, переходы по ссылкам, какое по вашему оптимальное кол-во потоков на ядро? Я...

instance.SetBrowserPreference("network.http.max-connections-per-instance", 2 ); instance.SetBrowserPreference("network.http.max-persistent-connections-per-proxy-per-instance", 2 ); instance.SetBrowserPreference("network.http.max-persistent-connections-per-server-per-instance", 2 ); подскажите -...

Я вижу в настройках проекта есть возможность отключить в браузере загрузку CSS или JS. А есть ли возможность отключить избирательно? К примеру не грузить гугловские tagmanager или bootstrap.js и тп? То есть если возможность создать некоторые запреты на загрузку контента со страницы еще до ее...

Может подкинете пару урлей? Можно в личку :)

Doc, я это и описал в старте топика, вопрос - как ограничить это все неподобство, или вот как Михаил - насоветуйте дельных прокси, а то какой-то сакс

Михаил, спасибо - это и правда не очень удобно. Вы могли бы посоветовать другой достойный сервис прокси?

Всем привет, AWM прокси на одном из тарифов дает 350 одновременных потоков. Но при настройке Zennopostera не могу докопать, как мне выставить одному инстансу(браузеру), чтобы он не делал параллельно по 8-10 запросов (страница такая, что подгружает внешние css, js). И выходит я вроде как делаю...