Скорость парсинга | win server | zennoposter

используемый провайдер 5G точно может вытянуть больше?

у меня софт на делфи лупил в 1000 потоков на сервере за 30$, когда зенка могла выдать только 100 на пост/гет не уронив канал/загрузить проц/озу

strf сказал(а):

5G имелось ввиду - канал 5 Гигабит выделенных

Нажмите, чтобы раскрыть...

про это я не подумал, парсер у меня ассоциируется с мобильным интернетом с ротацией ip

по опыту дешманский виртуалок всегда упираешься в производительность оперативы. проц особо не нагружен, оперативы в избытке, но сколько не добавляй потоков, производительность в минуту/час/сутки остается почти постоянной
купишь у того же хостера виртуалку с удвоенными ресурсами (ядра и оперативы), то производительность подымается в 1.5-2раза, при том что проц и оператива нагружены немного больше, но не в 1.5-2раза

здесь на форуме много раз давали совет, что лучше держать несколько более-менее производительных серверов/пк, чем всё выполнять на мега дорогом нафаршированном.

на опыте старенького ноута, таже ситуация, диск ssd тоже не нагружен.
в обоих случаях используется похожий парсер шаблон (get запрос, regex, удаление дублей и другого в немаленьких списках, которые не привязаны к файлам), там где оперативе нужно поработать
на том же стареньком ноуте при работе парсера шаблона в потоков 50, чувствуется подтормаживание при открытии программ, при открытии текстовых файлов, при этом в диспетчере проц, оператива и диск не нагружены
во всех случаях при работающем парсере при копировании больших файлов (диск ssd NVMe) скорость может быть и 20мб/с, вместо 500мб/с, когда парс не работает. как ранее здесь на форуме писали "шинка слабовата"

если сервер вы сами собирали и отдали на коло в ДЦ, то даже не знаю что может случиться ... драйвера, совместимость или само железо
если это выделенный арендованный или это вообще виртуалка (и такое встречал, продают на небольшие деньги))), то я бы перепроверил, так ли это (много примеров встречал на других форумах)

5 Гигабит выделенных я бы тоже потестил на количество одновременных подключений (провайдер или винда). Если винда, то в интернете есть много способов попытаться их снять.

strf сказал(а):

- либо добавляйте IPшники
- либо переезжайте на linux серв, там стек более оптимизирован под такие задачи

Нажмите, чтобы раскрыть...

- либо разбивайте выполнение на несколько windows устройств

кстати, поднятие виртуалок на этом же серваке не спасает ситуацию?