Подскажите нужно скачать очень много файлов большого объема, и файлы с одинаковым названием, по этому нужно менять название файла, гет запросом получается нужно качать по одному файлу это медленно, wget вообще не заработал требует ssl сертификат, как это решить я хз. Да и если в wget закидывать нужно что бы бы он качал не все сразу а по очереди скажем файлов по 10 например, а я так понимаю это не сделать. какие есть варианты?
Скачивание больших объемов
- Автор темы ftalazol
- Дата начала
- Регистрация
- 06.11.2018
- Сообщения
- 11 790
- Благодарностей
- 5 718
- Баллы
- 113
ищите на форуме по ключевым словам. параллельное выполнение get запросов. точнее не помню. там в одном кубике создают несколько паралельных веток кода где одновременно идет парсинг get запросами
var vkUrls = project.Lists["VkUrlList"]; //название списка
int potoki = 10;//количество потоков
int c = vkUrls.Count;
Parallel.For(0, c, new ParallelOptions { MaxDegreeOfParallelism = potoki }, x =>
{
string url = string.Empty;
lock(SyncObjects.ListSyncer)
{
url = vkUrls[0];
vkUrls.RemoveAt(0);
}
string res = string.Empty;
for(int i = 0; i < 3; i++)
{
res = ZennoPoster.HttpGet(
url,
"",//proxy
"UTF-8",
ZennoLab.InterfacesLibrary.Enums.Http.ResponceType.HeaderAndBody,
50000,
"",
project.Profile.UserAgent,
true,
3
);
if(!string.IsNullOrEmpty(res))
{
break;
}
}
});
Речь об этом коде я как понимаю?
int potoki = 10;//количество потоков
int c = vkUrls.Count;
Parallel.For(0, c, new ParallelOptions { MaxDegreeOfParallelism = potoki }, x =>
{
string url = string.Empty;
lock(SyncObjects.ListSyncer)
{
url = vkUrls[0];
vkUrls.RemoveAt(0);
}
string res = string.Empty;
for(int i = 0; i < 3; i++)
{
res = ZennoPoster.HttpGet(
url,
"",//proxy
"UTF-8",
ZennoLab.InterfacesLibrary.Enums.Http.ResponceType.HeaderAndBody,
50000,
"",
project.Profile.UserAgent,
true,
3
);
if(!string.IsNullOrEmpty(res))
{
break;
}
}
});
Речь об этом коде я как понимаю?
Так ну допустим оно скачает файлы, но вот как мне сохранять их под другими именами?да , похожвот под себя его модифицируйте
- Регистрация
- 06.11.2018
- Сообщения
- 11 790
- Благодарностей
- 5 718
- Баллы
- 113
при скачивании гет запрос должен вернуть путь файла скаченного , просто переместить файл из этого пути по своему сформированному.
А если wget запускать, то я так понимаю завершение скачивания уже не отследить ни как .
В идеале конечно сформировать скисок файлов и список путей для сохранения файлов и скормить какой то проге которая автоматом все качьнет, там просто терабайты и 25000 файлов