Semrush svg парсинг,

Moonwalker · 16.05.2025

Поизучай внимательнее запросы на этой странице. Нередко такие графики грузятся в виде JSON, который уже непосредственно браузером в график формируется. Вижу, там много всяких json'ов подгружается, скорее всего, в одном из них могут быть данные, которые просто разобрать.

update. В целом, да, все там есть. Просто найти правильный запрос нужно (ну и повторять по нужным доменам/выборкам, если надо).

zarufakis · 16.05.2025

Пора бы уже научиться пользоваться ГПТ.
Но ничего, скоро конкурс, научу ))

C#:

// Создаем списки для хранения точек данных и меток дат
List<string> dataPoints = new List<string>();
Dictionary<double, string> dateTicks = new Dictionary<double, string>();

try {
    project.SendInfoToLog("Начинаем извлечение данных из SVG", false);
    
    // Получаем содержимое SVG из переменной
    string svgContent = project.Variables["svgContent"].Value;
    
    // 1. Извлекаем метки дат с оси X (обновленное регулярное выражение)
    Regex xLabelRegex = new Regex(@"<foreignObject[^>]*x=""([^""]+)""[^>]*class=""[^""]*_position_bottom[^""]*""[^>]*>.*?<span[^>]*>([^<]+)<\/span>", RegexOptions.Singleline);
    MatchCollection xLabelMatches = xLabelRegex.Matches(svgContent);
    
    if (xLabelMatches.Count == 0) {
        // Альтернативный шаблон поиска
        xLabelRegex = new Regex(@"<foreignObject[^>]*x=""([^""]+)""[^>]*>.*?data-at=""x-label"".*?<span[^>]*>([^<]+)<\/span>", RegexOptions.Singleline);
        xLabelMatches = xLabelRegex.Matches(svgContent);
    }
    
    if (xLabelMatches.Count == 0) {
        // Еще один вариант (ищем любые span внутри foreignObject)
        xLabelRegex = new Regex(@"<foreignObject[^>]*x=""([^""]+)""[^>]*>.*?<span[^>]*>([A-Za-z]+\s+\d+)<\/span>", RegexOptions.Singleline);
        xLabelMatches = xLabelRegex.Matches(svgContent);
    }
    
    project.SendInfoToLog($"Найдено {xLabelMatches.Count} меток дат", false);
    
    if (xLabelMatches.Count == 0) {
        // Если все еще нет совпадений, извлечем часть SVG для анализа
        project.SendInfoToLog("Не найдены метки дат, логируем часть SVG для анализа:", false);
        
        // Ищем любой foreignObject для анализа
        Regex foreignObjectRegex = new Regex(@"<foreignObject[^>]*>.*?<\/foreignObject>", RegexOptions.Singleline);
        Match foreignObjectMatch = foreignObjectRegex.Match(svgContent);
        
        if (foreignObjectMatch.Success) {
            string foreignObjectSample = foreignObjectMatch.Value;
            project.SendInfoToLog($"Пример foreignObject: {foreignObjectSample.Substring(0, Math.Min(300, foreignObjectSample.Length))}", false);
        }
    }
    
    foreach (Match m in xLabelMatches) {
        double xPosition = double.Parse(m.Groups[1].Value, System.Globalization.CultureInfo.InvariantCulture);
        string dateLabel = m.Groups[2].Value.Trim();
        
        if (!dateTicks.ContainsKey(xPosition)) {
            dateTicks.Add(xPosition, dateLabel);
            project.SendInfoToLog($"Позиция {xPosition} соответствует дате {dateLabel}", false);
        }
    }
    
    // 2. Извлекаем данные графика
    Regex pathRegex = new Regex(@"<path[^>]*d=""([^""]+)""[^>]*color=""#50aef4""", RegexOptions.Singleline);
    Match pathMatch = pathRegex.Match(svgContent);
    
    if (!pathMatch.Success) {
        pathRegex = new Regex(@"<path[^>]*color=""#50aef4""[^>]*d=""([^""]+)""", RegexOptions.Singleline);
        pathMatch = pathRegex.Match(svgContent);
    }
    
    if (!pathMatch.Success) {
        // Еще один вариант с атрибутом класса
        pathRegex = new Regex(@"<path[^>]*class=""[^""]*__color[^""]*""[^>]*d=""([^""]+)""", RegexOptions.Singleline);
        pathMatch = pathRegex.Match(svgContent);
    }
    
    if (pathMatch.Success) {
        project.SendInfoToLog("Путь данных найден", false);
        
        string pathData = pathMatch.Groups[1].Value;
        
        // Разделяем путь на сегменты (каждый сегмент начинается с буквы)
        string[] segments = Regex.Split(pathData, @"(?=[MLHVCSQTAZ])", RegexOptions.IgnoreCase);
        
        project.SendInfoToLog($"Количество сегментов пути: {segments.Length}", false);
        
        // Извлекаем координаты для каждой точки
        foreach (string segment in segments) {
            if (string.IsNullOrEmpty(segment)) continue;
            
            // Извлекаем координаты из сегмента
            Regex coordRegex = new Regex(@"([0-9]+\.?[0-9]*),([0-9]+\.?[0-9]*)");
            Match coordMatch = coordRegex.Match(segment);
            
            if (coordMatch.Success) {
                string x = coordMatch.Groups[1].Value;
                string y = coordMatch.Groups[2].Value;
                
                // Добавляем точку
                if (dateTicks.Count > 0) {
                    // Если есть метки дат, пытаемся сопоставить
                    double xVal = double.Parse(x, System.Globalization.CultureInfo.InvariantCulture);
                    
                    // Ищем ближайшую метку даты
                    string nearestDate = "неизвестно";
                    double minDistance = double.MaxValue;
                    
                    foreach (var tick in dateTicks) {
                        double distance = Math.Abs(xVal - tick.Key);
                        if (distance < minDistance) {
                            minDistance = distance;
                            nearestDate = tick.Value;
                        }
                    }
                    
                    // Сохраняем точку с датой
                    dataPoints.Add($"{x},{y},{nearestDate}");
                } else {
                    // Если меток нет, сохраняем только координаты
                    dataPoints.Add($"{x},{y}");
                }
            }
        }
        
        project.SendInfoToLog($"Извлечено точек данных: {dataPoints.Count}", false);
        
        if (dataPoints.Count > 0) {
            project.SendInfoToLog($"Первые 5 точек: {string.Join(" | ", dataPoints.Take(5))}", false);
        }
    } else {
        project.SendErrorToLog("Не удалось найти путь данных в SVG", false);
    }
    
    // Сохраняем результаты
    if (dataPoints.Count > 0) {
        // Получаем список
        IZennoList dataPointsList = project.Lists["DataPoints"];
        
        // Очищаем список перед добавлением новых данных
        lock (SyncObjects.ListSyncer) {
            dataPointsList.Clear();
            
            // Добавляем точки в список
            foreach (string point in dataPoints) {
                dataPointsList.Add(point);
            }
        }
        
        project.SendInfoToLog($"Данные успешно извлечены и добавлены в список DataPoints ({dataPoints.Count} точек)", false);
    } else {
        project.SendErrorToLog("Не удалось извлечь данные точек из SVG", false);
    }
} catch (Exception ex) {
    project.SendErrorToLog($"Ошибка при извлечении данных из SVG: {ex.Message}", false);
    project.SendErrorToLog($"Стек вызовов: {ex.StackTrace}", false);
}

Поиск

Semrush svg парсинг,

richvibe

Client

Moonwalker

Client

zarufakis

Client

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)