Парсинг текста и кодировка страниц

[romanov]

Необходимо парсить текст с рандомных сайтов, но возникает проблема с определением кодировки.
Этот процесс происходит по нижепредставленному алгоритму:

Но все равно в тексте встречаются кракозябры, потому-что вебмастера придумывают различные ухищрения, можно ли как-то решить эту проблему иначе?

 

[amyboose]

Скорее всего ты шлешь заголовки Accept-Encoding с qzip или deflate сжатием, вот и кракозябры. Если это так, то меняй кодировку или расшифровывай поток

 

[romanov]

Скорее всего ты шлешь заголовки Accept-Encoding с qzip или deflate сжатием, вот и кракозябры. Если это так, то меняй кодировку или расшифровывай поток

Я об этом и написал, что находится иная кодировка, которая у меня не указана, и я ищу решение, которое позволяет не прописывать все возможные кодировки.

 

[ssXXXss]

а не проще сылку дать ?

 

[romanov]

а не проще сылку дать ?

Необходимо парсить текст с рандомных сайтов

Гугл можете например открыть, у всех сайтов будет рандомная кодировка, а может произойти так, что и в заголовке не будет указана.

 

[romanov]

Возможно администрация знает решение?