Проблема с кодировкой

Challenger · 26.01.2018

Такой вопрос:
Использую сервис https://mercury.postlight.com/web-parser/, через CURL получаю данные с сайтов.

Данные с сайтов где charset=utf-8 "приезжают" в плохой кодировке, например:
"title":"РЎРѕР·РґР°РЅРёРµ Р°СЃСЃРѕС†РёР°С†РёРё вЂ“ СЃ С‡РµРіРѕ РЅР°С‡Р°С‚СЊ?"
"content":"<div id=\"cb\"> <p>Создание ассоциации начинается в момент,"
Это у меня получилось перекинуть в нормальную кодировку и получить текст на русском языке.

А вот такой мусор получается, если сайт в кодировке windows-1251
"title":"пїЅ 5. пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅпїЅпїЅ (пїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅпїЅ пїЅ пїЅпїЅпїЅпїЅпїЅ)"
content":"<body id=\"pravo-lektsii-grajdanskoe\" class=\"site-material_ext_publish section-material-design noninitial-chapter color-cyan qp-ui qp-ui-mask\"> <header> </header> <p id=\"grid-cont\"> <section class=\"grid_outer chapter\"> <div class=\"article-content\"> <section class=\"cssfinode\"> <p>� �������� ������������"

Вопрос - что поправить, чтобы:
1) или изначально все получать русский текст независимо от кодировки сайта
2) перекодировать получаемый контент для сайтов с кодировкой windows-1251 в читаемый вид, например отсюда:
http://www.ualis.ru/registration/regassouz.html

Исходник проекта приложил, URL вставляется в переменную "url"

ibred · 26.01.2018

Как этот вопрос связан с ZennoPoster?
Делайте запросы через стандартные GET\POST кубики и не будет таких проблем.

Challenger · 26.01.2018

Согласен, с Zennoposter вопрос связан только тем, что curl запускается через zennoposter.

Вопрос про GET-кубик тогда. Каким образом можно в GET-кубик или в C# код поместить следующие данные?

GET https://mercury.postlight.com/parse...ostlight.com/building-awesome-cms-f034344d8ed
Content-Type: application/json
x-api-key: <your-api-key>

Это единственный пример кода, который предоставляет сервис. В справке и по форуму пример GET запроса с параметрами не нашел (или плохо искал), поэтому делал через cURL.

ibred · 26.01.2018

Challenger написал(а):
Согласен, с Zennoposter вопрос связан только тем, что curl запускается через zennoposter.

Вопрос про GET-кубик тогда. Каким образом можно в GET-кубик или в C# код поместить следующие данные?

GET https://mercury.postlight.com/parse...ostlight.com/building-awesome-cms-f034344d8ed
Content-Type: application/json
x-api-key: <your-api-key>

Это единственный пример кода, который предоставляет сервис. В справке и по форуму пример GET запроса с параметрами не нашел (или плохо искал), поэтому делал через cURL.

Начиная СО ВТОРОЙ строки в разделе "User Agent" на вкладке "Дополнительно".
В первой строке всегда указывается сам Useragent.

Challenger · 26.01.2018

Сервис все равно выдает белиберду, но уже через GET-запрос а не через cURL))
Пробовал и с кодировкой UTF-8 и с Windows-1251. Походу, он или вообще не в состоянии отдать корректный запрос, или надо экспериментировать. В любом случае, спасибо за быстрый ответ.

ibred · 26.01.2018

Challenger написал(а):
Сервис все равно выдает белиберду, но уже через GET-запрос а не через cURL))

Вероятно проблема в сервисе, нет? :-)

Напишите в тех. поддержку их сервиса, скажите, что кириллица отображается некорректно.

Challenger · 29.01.2018

ibred написал(а):
Вероятно проблема в сервисе, нет?
Напишите в тех. поддержку их сервиса, скажите, что кириллица отображается некорректно.

Написал, но скорее всего ничего не изменится. В принципе, нашел способ получать нужные данные и с тем что есть. Тему можно закрывать)

smartwisard · 04.02.2018

Get-запрос получил объявление, а контактных данных там нет.
Из сообщения выше вижу, что нужно прописать UserAgent. Что ещё нужно прописать, чтобы и контактные данные (например из http://bazarpnz.ru/ann/28084930/?sid=12635a2a510065ffec7c590ed5696115 )получить?

Sergodjan · 04.02.2018

smartwisard написал(а):
Get-запрос получил объявление, а контактных данных там нет.
Из сообщения выше вижу, что нужно прописать UserAgent. Что ещё нужно прописать, чтобы и контактные данные (например из http://bazarpnz.ru/ann/28084930/?sid=12635a2a510065ffec7c590ed5696115 )получить?

через GET-запрос на этом сайте не получится спарсить контакты, только через браузер из DOM их получать..

smartwisard · 04.02.2018

sergodjan66 написал(а):
через GET-запрос на этом сайте не получится спарсить контакты, только через браузер из DOM их получать..

Тогда мой шаблон совершенен ((
Пойду антикапчу Лорда Афлекса прикручивать ((

Live9up · 18.02.2024

Столкнулся с похожей проблемой, решил ее кубиком на C#

C#:

// Если нужно брать текст из переменной
// string encodedText = project.Variables["Название_Переменной"].Value;

string encodedText = "РЎРѕР·РґР°РЅРёРµ Р°СЃСЃРѕС†РёР°С†РёРё вЂ“ СЃ С‡РµРіРѕ РЅР°С‡Р°С‚СЊ?";

// Декодирование текста из UTF-8 в строку
string decodedText = Encoding.UTF8.GetString(Encoding.Default.GetBytes(encodedText));

//вывод результата в ЛОГ
return(decodedText);

//Если нужно выводить результат в переменную
//project.Variables["Название_Переменной"].Value = decodedText;

Поиск

Проблема с кодировкой

Challenger

Client

Вложения

ibred

Client

Challenger

Client

ibred

Client

Challenger

Client

ibred

Client

Challenger

Client

smartwisard

Client

Sergodjan

Administrator

smartwisard

Client

Live9up

Client

Похожие темы

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)