A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг вопросов и ответов из выдачи Bing
Пресет для сбора вопросов и ответов из поисковой выдачи Bing. Используется стандартный парсер

SE::Bing, в результат выводятся вопросы и ответы на них.

• Обновлено регулярное выражение в связи с изменениями в выдаче

Парсим Google новости с датой и преобразуем ее
Пример парсинга Google новостей с датой и преобразованием ее к одному формату

• Обновление в связи с изменениями в выдаче

Периодический мониторинг цен с уведомлением в Telegram
В качестве запросов принимаются ссылки на товары, а в результате формируется таблица и отправляются сообщения в подключенный чат Telegram. Детальное описание в статье: https://a-parser.com/resources/367/

• Обновлены сайты примеров

Парсер подсказок Яндекс.Маркет
Парсинг подсказок Яндекс.Маркет с частотой и категориями

• Парсер переписан на JS API v2
• Исправлена работа с каптчами (полностью наследуется из
  
  SE::Yandex)
• Исправлено регулярное выражение для хлебных крошек

Скачивание картинок
Пример скачивания картинок с определением их размеров

• Парсер переписан на JS API v2
• Оптимизированы импорты
• Добавлена возможность сортировать картинки по каталогам в зависимости от ориентации
• Добавлена возможность фильтровать картинки по размеру файла

Парсер Github
Парсер поиска по репозиториям на Github по ключевому слову

• Парсер полностью переписан с использованием JS API v2 и адаптацией к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser Support]

10% скидка на покупки с оплатой USDT TRC20

Скидка 10% на покупки с оплатой USDT TRC20

При оплате A-Parser и других продуктов или услуг у нас, вы получаете возможность приобрести их со скидкой 10% – оплачивая через USDT TRC20!

Переходите на сайт A-Parser
Выбирайте подходящий продукт или услугу
Оплачивайте через USDT TRC20 и получите 10% скидку

Предложение действует ограниченное время!

Если у вас возникли вопросы или вам нужна дополнительная информация, наша команда поддержки всегда готова помочь. Свяжитесь с нами для получения консультации.

 

[A-Parser Support]

Видео урок: Сбор WordPress сайтов

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан один из вариантов сбора сайтов на движке Wordpress.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[A-Parser Support]

1.2.2062 - парсер профилей Tiktok, поддержка click каптч Яндекса, улучшения и исправления

Улучшения

• Добавлен парсер
  
  Social::TikTokProfile
• 
  SE::Yandex - добавлен парсинг быстрых ответов
• Добавлена поддержка новых каптч Яндекса (click captcha) в парсерах
  
  SE::Yandex::ByImage,
  
  SE::Yandex::Images,
  
  SE::Yandex::SQI,
  
  Shop::Yandex::Market
• В
  
  Util::AntiGate изменился набор доступных опций, подробнее здесь
• В
  
  SE::Yandex добавлена опция AntiGate preset for old captcha. С ее помощью можно выбрать пресет антигейта для обычных (старых, в виде одной картинки) каптч. Рекомендации по парсингу Яндекса описаны тут.
• В
  
  SE::Yandex::Translate добавлена возможность подключать разгадывание каптч
• В
  
  SE::Bing улучшена скорость, уменьшено количество ошибок Short output, добавлены сессии
• В
  
  SE::YouTube добавлена опция Advanced filters (param sp=), с помощью которой можно указать сложные комбинации фильтров
• 
  Rank::KeysSo - добавлена возможность парсить с авторизацией, актуализированы собираемые данные
• В парсерах OpenAI добавлена возможность указывать несколько API ключей
• Парсеры WordStat: адаптация к изменениям в авторизации, максимальное кол-во страниц увеличено до 50
• JS парсеры: добавлена опция skipProxySettingsInheritance для parser.request()

Исправления в связи с изменениями в выдаче

• 
  SE::Google - исправлен парсинг PAA, парсинг выдачи адаптирован к изменениям в верстке
• 
  SE::Yandex - адаптация к изменениям в верстке
• Исправлен Safe search в
  
  SE::Google::Images,
  
  SE::Google
• Исправлено авторазгадывание Turnstile (опция Provider=Auto (using Chrome) в
  
  Util::Turnstile)
• Исправлен проход по страницам в
  
  SE::Yahoo
• В
  
  SE::YouTube исправлена работа всех фильтров, исправлен парсинг мобильной выдачи
• 
  Maps::Google,
  
  SE::YouTube,
  
  SE::Yahoo - исправлен обход соглашения с политикой кук
• 
  SE::Google::ByImage,
  
  SEDogpile,
  
  SEDuckDuckGo

Исправления

• Исправлена работа
  
  HTML::EmailExtractor в некоторых случаях
• Исправлен обход CF в
  
  Net::HTTP при Engine=HTTP
• Исправлена работа
  
  SE::Google::Translate при Device=Desktop
• Исправлены ошибки в работе
  
  SecurityTrailsDomain,
  
  Cloudflare::Radar,
  
  Rank::MOZ,
  
  Rank::CMS,
  
  Net::Whois
• Устранены падения при использовании прокси из отключенного проксичекера

 

[A-Parser Support]

Видео урок: Поиск статей внутри сайта

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ поиска статей внутри сайта с использованием 2-х встроенных парсеров.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Валидатор емайлов
Проверка существования e-mail адресов

• Добавлена поддержка protonmail (proton.me, protonmail.com)
• Добавлена поддержка tutanota (tutanota.com, tutanota.de, tutamail.com, tuta.io, keemail.me)
  
• Парсер переписан на JS API v2

JS::Yandex::LangDetect
Определение языка страницы через Яндекс Переводчик

• Парсер переписан на JS API v2 (TypeScript)
• Добавлена поддержка каптч (наследуется от
  
  SE::Yandex)
• Добавлен выбор пресета настроек
  
  HTML::TextExtractor
• Адаптация к изменениям на источнике

JS::Yandex::LangDetect::Key
Определение языка ключевого слова через Яндекс Переводчик

• Парсер переписан на JS API v2 (TypeScript)
• Парсер наследует JS::Yandex::LangDetect

Core Web Vitals
Отчет о скорости сайта

• Обновление в связи с изменениями в выдаче

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser Support]

1.2.2106 - обновленный SE::Rambler, лимит при парсинге в глубину в LinkExtractor и другие улучшения

Улучшения

• В
  
  HTML::LinkExtractor добавлена возможность указания лимита количества ссылок при парсинге в глубину
  
• В
  
  Util::AntiGate добавлена поддержка Capsola, capmonster.cloud
  
• В
  
  Util::Turnstile добавлена поддержка captcha.guru
  
• В
  
  Rank::MajesticSEO добавлена возможность указывать собственные юзер-агенты для повышения успешности парсинга
• В парсерах Rank::Ahrefs::* добавлена экспериментальная опция Do not search for sitekey, которая отключает поиск sitekey, что в свою очередь ускоряет запуск задания
  
• 
  SE::Rambler полностью переписан:
  • обновлен список языков
  • добавлена возможность указывать регион
  • добавлен выбор десктопной или мобильной выдачи
  • обновлена работа с каптчами
• JS парсеры: добавлена поддержка тегов для сессий

Исправления в связи с изменениями в выдаче

• 
  SE::Bing - уменьшено кол-во ошибок Short output detected
  
• Адаптация к изменениям в верстке для
  
  SE::Google и
  
  SE::Yandex
• Исправлен сбор flat переменных в
  
  Social::InstagramPost
• Исправлен сбор $location в
  
  Social::InstagramProfile
  
• Исправлен поиск sitekey в Rank::Ahrefs::*
• Исправлена работа
  
  SE::YouTube при Result type = Movie
  
• Исправлен сбор $author_link в
  
  GooglePlay::Apps
• 
  SE::BingPosition,
  
  SE::Google::ByImage,
  
  SEDuckDuckGo,
  
  SE::Google::Images,
  
  Shop::WildberriesProductInfo

Исправления

• Исправлены ошибка в
  
  Rank::CMS, из-за которой в некоторых случаях он не работал
• Исправлена ошибка использования
  
  SE::Yahoo через Redis API
  
• Исправлена работа
  
  SE::YouTube при запросах из JS парсеров
  
• Исправлена работа
  
  Net::Whois с доменами .se
• Исправлено ошибочное определение запроса неудачным в
  
  Shop::eBay
  
• Исправлено заполнение результатов в
  
  Rank::KeysSo

 

[alexvi]

Спасибо за софт!Использую для парсинга текстовки для доров.Шустрее софта не встречал.

 

[A-Parser Support]

Сборник рецептов #60: товары на Walmart, проверка e-mail и доступность доменов

60-й сборник рецептов, в котором подобраны: парсер товаров Walmart, парсер для проверки e-mail и парсер для проверки доступности доменов через сервис Pananames

Парсер товаров walmart.com
Сбор товаров по ключевым словам на торговой площадке walmart.com с возможностью задать количество страниц результатов и выводом результатов в CSV таблицу

Парсер для проверки e-mail
Парсер для проверки адресов электронных почт на валидность, доставляемость и прочие параметры через сервис Email Verification API

Pananames - доступность, цена домена
Парсер, позволяющий проверить доступен ли домен и его цену с использованием сервиса Pananames

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser + новый парсер тегов из сервиса Rapidtags

Обновление пресетов в Каталоге примеров A-Parser

Парсер переводчика Reverso
Переводчик текста через сервис reverso.net

• Исправлена ошибка при отсутствующих $examples или $variants
• Поправлено логирование

JS::MailValidator
Проверка существования e-mail адресов

• Исправлена проверка почт на protonmail

Сокращатель ссылок
Парсер для массового сокращения ссылок с возможностью выбирать используемый сервис

• Удалены неработающие сервисы (cleanuri.com, gotiny.cc, shrtco.de)
• Добавлено 2 новых сервиса: gg.gg и urlshort.dev

Парсер тегов для YouTube и TikTok из сервиса Rapidtags
Новый пример в Каталоге: пресет для сбора тегов для YouTube и TikTok из сервиса Rapidtags.io.

• можно задать тип: YouTube или TikTok
• в качестве запросов можно использовать ключевые слова или ссылки на видео на Youtube

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[pagan3d]

Обновление пресетов в Каталоге примеров A-Parser

а в этом каталоге примеров платные шаблоны? Они от сторонних разработчиков или ваши официальные? Насколько актуальные те, что давно не обновлялись?

 

[A-Parser Support]

Видео урок: сбор контактов организаций из Google Maps

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ сбора контактов организаций по ключевым словам из заданного участка Google карт.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[one]

Ссылки битые.

 

[A-Parser Support]

1.2.2148 - бесплатное решение Яндекс каптчи, 3 новых парсера, поддержка нового WordStat


Улучшения

• Открыто бесплатное тестирование решения Яндекс каптчи!
  В
  
  Util::AntiGate добавлен провайдер A-Parser.Captchas, его можно использовать без указания ключа доступа.
• Добавлено 3 новых парсера:
  • 
    SE::Yandex::Video - парсер Яндекс Видео
    
  • 
    IP::Info - точные данные об IP-адресах
    
  • 
    SE::Bing::Video - парсер Бинг Видео
• В
  
  SE::Yandex::WordStat добавлена поддержка нового WordStat
• В
  
  SE::Yandex::SQI добавлен сбор рейтинга магазина в поиске по товарам и рейтинга магазина на Яндекс Маркете
• В
  
  Social::Instagram:rofile добавлен сбор ссылок, которые были прикреплены в профиле и сбор телефонов из bio
• В
  
  Maps::Yandex добавлен сбор времени работы организации
• 
  Util::AntiGate адаптирован к изменениям в API 2captcha/rucaptcha. А также оптимизирована работа с click каптчей и добавлена опция Log captcha images, позволяющая отключать вывод картинок каптч в лог

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке поисковой выдачи Google и Яндекс
• В
  
  Shop::Yandex::Market исправлена работа со всеми видами запросов
• 
  SE::YouTube,
  
  GooglePlay::Apps,
  
  Shop::Wildberries:roductInfo,
  
  Shop::Wildberries:roductsList,
  
  SE:uckDuckGo,
  
  Reddit:osts,
  
  Reddit::Comments,
  
  SE::Google::ByImage,
  
  SE::Ask,
  
  Shop::Amazon,
  
  Social::TikTok:rofile

Исправления

• Исправлена ошибка обработки некоторых HTML сущностей в
  
  HTML::TextExtractor
• Исправлено определение Yandex.Metrika в
  
  Rank::CMS
• Исправлена работа некоторых опций в
  
  SE::Startpage

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

 

[A-Parser Support]

Ссылки битые.

Добрый день
Да, вы правы. К сожалению исправить ссылки нельзя. Вот правильная ссылка на видео урок: https//a-parser.com/threads/8363/

 

[A-Parser Support]

а в этом каталоге примеров платные шаблоны? Они от сторонних разработчиков или ваши официальные? Насколько актуальные те, что давно не обновлялись?

Нет, все бесплатные. Могут быть и от сторонних, там подписан автор и легко понять от команды А-Парсер или от стороннего разработчика. Актуальность лучше проверять перед использованием, сложно сказать насколько актуальные, могут быть и такие что не работают

 

[indigo666]

Можете посоветовать канал на ютубе с курсами по a-parser?

 

[A-Parser Support]

Можете посоветовать канал на ютубе с курсами по a-parser?

https://www.youtube.com/c/AParser_channel
https://a-parser.com/threads/6791/

 

[A-Parser Support]

Сборник рецептов #61: сбор характеристик сайтов, парсер архива Telegram ботов и парсер Lalafo

61-й сборник рецептов, в котором содержатся: парсер для сбора характеристик сайтов, парсер архива телеграм ботов и парсер объявлений из Lalafo.

Анализ сайта с помощью be1.ru
Парсер для сбора характеристик сайтов из сервиса be1.ru. Сервис предоставляет отчет по около 60-ти характеристикам.

Парсер архива Телеграм ботов
Парсинг информации о Telegram ботах из сервиса BOTSARCHIVE. Для парсинга используется официальное API.

Парсер объявлений сайта Lalafo
Парсер крупнейшего сайта для размещения бесплатных объявлений Lalafo по поисковому (ключевому) запросу. Возможности: сбор номеров телефонов с объявлений, выбор количества страниц результатов, выбор домена, сбор результатов сразу в CSV таблицу.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

[A-Parser Support]

Сборник статей #17: поиск и привлечение аудитории в Instagram, сбор баз сайтов на заданных движках

Представляем 17-й сборник статей, в который вошли статья о поиске и привлечении целевой аудитории в Instagram и статья о сборе баз сайтов на определенных движках.

Instagram - сбор пользователей, автоматическая отправка сообщений собранным пользователям в direct
В статье рассмотрен сбор целевой аудитории и привлечение её в наш инстаграм магазин с помощью автоматической рассылки в Direct.

Как спарсить WordPress сайты (и не только) через A-Parser
В этой статье показано как собрать сайты на движке WordPress через A-Parser с минимальным количеством мусора в виде других движков. Кроме того данный подход можно использовать для сбора баз на любых движках.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Скриншоты выдачи поисковой системы
Демонстрация возможности делать скриншоты страниц, получаемых другими парсерами

• Добавлена возможность выбирать из нескольких поисковиков (Google/Яндекс/Bing, по аналогии можно добавить остальные)
• Все результаты, получаемые от парсера поисковика, теперь перемещены в объект $p1.results (для примера реализован вывод $serp)
• Небольшие изменения логики работы

Парсер изображений с Flickr
Парсинг картинок из Flickr по ключевому слову

• Пресет переделан в JS парсер на TypeScript
• Добавлен выбор параметров поиска: Sort, License, Color, Style
• Добавлен параметр выбора количества страниц
• Для каждой картинки реализована возможность парсить ссылку, заголовок, описание, владельца, количество добавлений в избранное и количество комментариев

Анализ скорости загрузки и юзабилити сайтов
Измерение скорости загрузки страниц, их юзабилити, получение скриншотов сайтов

• Парсер переписан на JS API v2 (TypeScript)
• Добавлена возможность указывать ключ API
• Адаптация к изменениям на источнике

NeuralWriter - перефразирование, генератор промптов, резюмирование
Парсер сервиса neuralwriter.com

• Добавлена поддержка разгадывания каптчи Cloudflare Turnstile - опция Util::Turnstile preset. Разгадывание капчи теперь обязательно, если тип запроса не Prompt Generator

Google Indexing API
Добавление или удаление страниц сайта в Google Indexing API

• Парсер переписан на TypeScript (JavaScript API v2)
• Добавлена возможность использовать несколько ключей

Генерация картинок ruDALL-E
Напишите текстовый запрос — получите сгенерированную ИИ картинку в rudalle.ru

• Исправлена генерация с помощью старой модели (ruDALL-E Malevich)
• Для генерации картинки старой моделью теперь не требуется подключение Util::AntiGate
• Добавлен выбор модели, которая будет генерировать изображения, добавлена новая модель Kandinsky 3.0 (new)
• В моделе Kandinsky 3.0 есть возможность выбрать стиль генерации изображения, доступны все стили

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser Support]

Premium прокси от A-Parser

Мы рады представить вам новые Premium прокси-серверы, которые значительно улучшат вашу работу. Ключевые преимущества Premium прокси:

• База более 10 миллионов резидентных (домашних) IP адресов: Обеспечьте себе разнообразие и стабильность соединения с нашей обширной базой IP адресов.
• Быстрое время отклика: Мы гарантируем высокую скорость и оптимальное время отклика, обеспечивая эффективную работу ваших парсеров.
• Гибкая фильтрация по странам и городам: Настройте прокси под свои потребности с помощью гибкой фильтрации, чтобы получать доступ к ресурсам из конкретных стран и городов.
• Настройки ротации: Используйте различные режимы ротации, включая случайный IP на каждый запрос, ротацию от 1 до 60 минут и режим Sticky, который сохраняет IP на максимально возможное время.
• Подходит для браузинга и парсинга: Наши прокси идеально подходят как для браузинга, так и для парсинга, с минимальным риском CAPTCHA и банов.
• Доступ к прокси осуществляется по логину/паролю и протоколу SOCKS5, а также может быть организован сразу с нескольких компьютеров и серверов.

Лучшие цены на рынке: Premium прокси от $1 за гигабайт трафика.

Для всех пользователей A-Parser доступен бесплатный триал в Личном кабинете на 1 Гб.

 

[A-Parser Support]

1.2.2228 - 2 новых парсера, множество улучшений и исправлений

Улучшения

• Добавлен парсер геолокации IP/домена -
  
  IP::Geo
• Добавлен парсер для разгадывания RotateCaptcha -
  
  Util::RotateCaptcha
• В
  
  SE::Yandex добавлен параметр Serp time
• В парсерах
  
  OpenAI::Completions и
  
  OpenAI::ChatGPT обновлены модели
• В парсеры SE::Google::KeywordPlanner::* добавлен флаг, указывающий на точность данных
• В
  
  SecurityTrails::IP добавлена возможность парсинга с авторизацией
• В
  
  Shop::Aliexpress добавлена возможность парсить старую цену и валюту
• В
  
  SE::Youtube::Video добавлена возможность собирать данные о Shorts
• Добавлено информационное сообщение при ошибке импорта JS парсера

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке поисковой выдачи Google
• Исправлена ошибка при парсинге быстрых ответов в
  
  SE::Yandex
• Исправлен парсинг нескольких страниц в
  
  Shop::eBay при максимальном количестве результатов на страницу
• Исправлена работа
  
  Net::Whois с некоторыми доменными зонами
• Исправлен парсинг постов в
  
  Social::Instagram:rofile
• Исправлена подстановка переменных в Конструкторе результатов
• 
  SE::Bing,
  
  Rank::MajesticSEO,
  
  SE::Ask,
  
  SE::Baidu,
  
  SE::AOL,
  
  SE:uckDuckGo,
  
  Shop::eBay,
  
  SE::Seznam,
  
  SE::Google::ByImage,
  
  Reddit:osts

Исправления

• Исправлена логика работы
  
  SE:ogpile
• Исправлена работа
  
  Maps::Yandex с разгадыванием каптч
• Исправлена проблема с интерфейсом при сохранении региона в
  
  SE::Yandex
• 
  SE::YouTube - устранено игнорирование рязрядов в $views при Device = Mobile
• 
  Shop::Ebay - исправлены ошибки в парсинге цифровых значений
• 
  Shop::Aliexpress - исправлены ошибки парсинга $shipping_price и $sold_count
• Исправлена работа tools.task.id в формате результата
• Исправлена ошибочная возможность перезаписать default пресет настроек
• Исправлена проблема зависания регулярных выражений в Parse custom result
• Исправлена ошибка вызова
  
  Social::TikTok:rofile в JS парсере

 

[A-Parser Support]

Обзор Premium Proxy от A-Parser (скорость, выбор локации, браузинг)

В данном видео продемонстрирована настройка и скорость работы новых Premium прокси. Данные прокси вы можете использовать как в A-Parser, так и в браузере или в любом другом SEO-софте.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[A-Parser Support]

Сборник рецептов #62: проверка текстов, Markdown разметка, простой файловый сервер на базе A-Parser

62-й сборник рецептов, в котором содержатся: парсер сервиса zerogpt для проверки текстов, пример использования Markdown разметки для генерации HTML страниц и альтернативный метод получения файлов результатов работы А-Парсера.

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Парсер сервиса zerogpt.com. Поддерживается выбор режима работы с текстом: проверка грамматики и орфографии или детект искусственного интеллекта, т.е. был ли проверяемый текст сгенерирован с помощью ИИ.

Парсер перевода Markdown разметки в HTML
Парсер собирает выдачу Google встроенным парсером. Далее, используя заготовленный Markdown шаблон template.md, который можно легко редактировать по своему усмотрению, переводит Markdown разметку в HTML с учетом собранных результатов.

Альтернативный метод получения файлов результатов
Реализация простого файлового сервера на базе A-Parser. Суть примера заключается в том, чтобы по запросу на заранее известный url получить любой файл из папки results.
В качестве кейсов применения можно рассматривать любые задачи, в которых требуется получать прямой доступ к файлам результатов и при этом имена файлов заранее известны. Например: с помощью Планировщика периодически запускаются несколько заданий, которые пишут результаты в файлы со статическими именами. И с помощью данного пресета можно легко и в любое время получить эти файлы.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсер корейского поисковика Daum.net
Парсер собирает данные (ссылки, анкоры, сниппеты и связанные ключевые слова) из поисковой выдачи корейской поисковой системы daum.net.

• Парсер переписан на TypeScript (JS APIv2)
• Обновлены регулярные выражения, исправлена работа в целом
• Убран totalcount, т.е. его больше нету в выдаче

Парсер BuiltWith.com. История IP-адресов и взаимосвязи
Сбор истории IP-адресов по домену и других веб-сайтов, которые имеют общие IP-адреса с искомым доменом.

• Убрана опция разгадывания капчи, т.к. теперь данные видны после авторизации и капчи там не видно
• Добавлена авторизация по логину и паролю

Анализ ключевых слов на seranking.com
Парсер для анализа ключевых слов с помощью сервиса seranking.com. Собираемые данные: частотность, стоимость клика, конкуренция, сложность, списки похожих ключевых слов, связанных ключевых слов, вопросов и ссылок органического трафика. В настройках доступен выбор источника (страна и поисковая система).

• Исправлена работа с каптчей
• Добавлена проверка выбора пресета Util::ReCaptcha2
• Небольшая оптимизация кода

Оценка страниц с использованием Lighthouse
Оценка производительности, доступности и оптимизации веб-страниц с использованием Lighthouse. В качестве источника используется сайт web.dev.

• Адаптация к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser Support]

1.2.2262 - новые опции во встроенных парсерах, адаптация к изменениям на источниках данных

Улучшения

• В
  
  SE::Google:
  • добавлен параметр Empty totalcount is error, детальнее тут
  • добавлен сбор тегов (массив $tags.$i.tag)
• 
  SE::Yandex - улучшен парсинг сниппета генеративного ответа
• В парсере
  
  OpenAI::ChatGPT обновлены модели и добавлен параметр Another model name
• В
  
  SE::Yandex::WordStat добавлена опция Wordstat 2 parse all table data, детальнее тут
• В
  
  SE::YouTube::Video расширен перечень собираемых данных, детальнее тут
• В
  
  SE::You добавлена возможность задавать кол-во страниц для парсинга ссылок
• Следующие настройки перенесены из опций в параметры парсера:
  
  
  SE::Google: Parse people also ask
  
  
  SE::Yandex: Parse Quick answers и Parse generative answer

Исправления в связи с изменениями в выдаче

• В
  
  SE::Yandex исправлена работа с каптчами
• Исправлен парсинг дат в
  
  SE::Google
• Исправлен парсинг быстрых ответов в
  
  SE::Yandex
• В
  
  SE::Yandex::WordStat исправлены ошибки в работе с WordStat 2
• Исправлена работа
  
  Shop::Wildberries:roductsList с некоторыми запросами
• Исправлен сбор $related в
  
  SE::Yahoo
• В
  
  SE::Yandex:irect исправлен парсинг доменов для некоторых случаев
• Исправлена ошибка Unexpected token в
  
  Social::TikTok:rofile
• Исправлен сбор $views в
  
  SE::Bing::Video
• В
  
  SE::You исправлен парсинг ссылок на превью
• В
  
  Shop::Yandex::Market исправлен парсинг $products.$i.imagelink, $products.$i.rating, $products.$i.commentscount
• Исправлена ошибка при парсинге больше 5-ти страниц в
  
  SE::Ask
• Адаптация к изменениям на источниках:
  
  Shop::Amazon,
  
  Shop::AliExpress,
  
  Shop::Yandex::Market,
  
  SecurityTrails::IP

Исправления

• Исправлена проблема с отображением сохраненных заданий
• Исправлена работа опции Collect full region в
  
  Maps::Google

 

[A-Parser Support]

Сборник рецептов #63: конвертация Youtube видео в статьи, парсер Шедеврум, парсер Pinterest Trends

63-й сборник рецептов, в котором содержатся: парсер для конвертации Youtube видео в полноценные HTML страницы с картинкой и текстовым описанием содержимого видео, парсер картинок из shedevrum.ai и парсер Pinterest Trends.

Конвертация Youtube видео в HTML страницы
Пример парсера, который, используя сервисы ИИ, создает полноценные HTML страницы, содержащие тематическую картинку и текст с разметкой, который дублирует содержание видео. На иллюстрации для примера показана статья, сгенерированная по нашему недавнему видео о Premium прокси.

Парсер картинок с Шедеврум с дополнительными данными
Парсер картинок с дополнительными данными по ключевым словам из сервиса shedevrum.ai. Можно парсить ссылки на картинки, promptы по которым генерировались эти картинки, описание и т.д.

Парсер Pinterest Trends
Сбор данных о трендах в Pinterest по ключевым словам с возможностью выбора региона и даты. Собираются данные о популярности и демографии ключевого слова, а также связанные ключевые слова и популярные пины.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Генерация картинок ruDALL-E
Генерация картинок по текстовым запросам через нейросеть ruDALL-E. Присутствует возможность выбирать модель и стиль генерации.

• Добавлена опция Save image, позволяет отключить сохранение изображения в файл, по-умолчанию включена
• Изображение теперь доступно в переменной $data

Парсинг отзывов Google Play Market
Данный парсер собирает комментарии (ссылка на аватар, рейтинг и имя юзера, а также текст отзыва) к приложению в Google Play Market.

• Исправлен парсинг
• Парсер переписан на TS (API v2)
• Добавлена возможность указания количества страниц парсинга

Naver Ads
Парсер рекламных объявлений из Naver по ключевым словам с возможностью указать количество страниц парсинга.

• Исправлен сбор всех результатов
• Адаптация к изменениям на источнике

JS::TextFromSE
Объединение парсера поисковой выдачи и парсера текста в одном JS парсере на примере решения задачи по парсингу текстов.

• Парсер переписан на TypeScript API v2

Парсер Aliexpress товаров
Парсер, позволяющий получить информацию о товаре на Aliexpress, подавая на запрос ссылку на товар.

• Адаптация к изменениям на источнике
• $delivery теперь массив
• $formattedQuery был удален
• Вместо $html исходный код страницы сохраняется в $data

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser Support]

Сборник статей #18: вывод в CSV, парсинг номеров телефонов, обзор Collect full region в Maps::Google

Представляем 18-й сборник статей, в который вошли статья о выводе результатов в CSV таблицы, статья об универсальном парсинге номеров телефонов и статья с обзором функции Collect full region парсера Google Maps.

Всё о выводе результатов в CSV (табличное представление результатов)
Табличное представление результатов - это очень популярный вид форматирования данных, собираемых А-Парсером. И чаще всего для этого используется именно формат CSV. В этой статье описаны все варианты и нюансы работы с CSV в контексте A-Parser. А также рассказано чем и как правильно обрабатывать CSV файлы.

Универсальный парсер телефонов
Как известно, номера телефонов проблематично парсить из-за отсутствия единого формата их записи. В этой статье мы поделимся одним из методов универсального парсинга номеров телефонов, а также заодно покажем как можно использовать npm модули без написания JS парсеров.

Детальный обзор Collect full region в Maps::Google
Детальное описание функции Collect full region в парсере Google Карт, варианты ее настройки, рекомендации для наибольшей производительности и сравнение скорости работы парсера на разных прокси.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей