Есть у меня 220000 страниц для парсинга.
Настроил я все, чтоб все поля сохранялись. Протестил все вроде гуд.
Теперь проблема, ставлю 20 потоков, но больше 5-10 не поднимается.
Как сделать чтоб подгужать только код html, может как нибуть get запросом, или еще как-то.
А то я повыключал уже и javascript и картинки, но все равно медлено страницу грузит, наврено css грузит, да и компилирует html код для браузера.
Одним словом, можно ли грузить html код страницы каким-то другим макросом, не использую макрос (переходы на страницу, потом взять Dom) может через C# есть готовые скрипты.
Короче нужно сделать паука, а не полноценного серфера.
Настроил я все, чтоб все поля сохранялись. Протестил все вроде гуд.
Теперь проблема, ставлю 20 потоков, но больше 5-10 не поднимается.
Как сделать чтоб подгужать только код html, может как нибуть get запросом, или еще как-то.
А то я повыключал уже и javascript и картинки, но все равно медлено страницу грузит, наврено css грузит, да и компилирует html код для браузера.
Одним словом, можно ли грузить html код страницы каким-то другим макросом, не использую макрос (переходы на страницу, потом взять Dom) может через C# есть готовые скрипты.
Короче нужно сделать паука, а не полноценного серфера.
