Некропост, но может кому-то пригодится, код паука немного отредактировал, теперь он сам определяет кодировку сайта и конвертирует её в UTF-8 , что удобно, причём не по заголовку Content-Type, а по содержимому страницы, это надёжней, так как бывают сайты, которые на отдают кодировку в заголовке...