A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

[A-Parser Support]

1.2.2306 - новый парсер подсказок Google Trends, новые опции в существующих парсерах, исправления

Улучшения

• Добавлен новый парсер
  
  SE::Google::Trends::Suggest - сбор подсказок Google Trends
• Улучшена очистка ссылок в
  
  SE::Bing
• В парсер
  
  DeepL::Write добавлен выбор стиля и тональности, а также возможность использовать режим исправления
• В
  
  SE::Yandex добавлен вывод "пропущенных слов"
• В
  
  Rank::MajesticSEO добавлен параметр Additional headers for requests without Chrome, который позволяет задать заголовки для запросов без без браузера
• В
  
  SE::Yandex::WordStat::ByDate добавлена поддержка нового Wordstat 2
• В
  
  SE::Yandex::Register добавлена новая опция OnlineSIM domain которая дает возможность указать домен который будет использоваться в API запросах к OnlineSIM

Исправления в связи с изменениями в выдаче

• 
  Rank::KeysSo - исправлена ошибка заполнения некоторых результатов
• Исправлен парсинг $owner_link и $owner_name в парсере
  
  Social::Instagram:ost
• Исправлен парсинг $thumb в
  
  Social::Instagram:rofile
• Исправлен парсинг $serp.$i.social в
  
  Maps::Yandex
• Исправлен парсинг комментариев в
  
  SE::YouTube::Video
• Парсер
  
  Rank::Ahrefs::KeywordGenerator адаптирован к изменениям на источнике
• 
  SE::Yahoo,
  
  Shop::Wildberries:roductInfo,
  
  SE::Google::Images,
  
  Rank::MajesticSEO,
  
  SE:ogpile::Images,
  
  SE:uckDuckGo,
  
  Cloudflare::Radar

Исправления

• Исправлены падения парсера при использовании определенных запросов в
  
  HTML::EmailExtractor
• Исправлена работа повторных попыток для получения robots.txt в
  
  Check::BackLink
• Исправлен режим Bulk mode в парсерах SE::Google::KeywordPlanner::*

 

[A-Parser Support]

Видео урок: поиск Телеграм каналов через Google и их сортировка

2 новых видео урока по работе с A-Parser от DIM STUDIO в которых показан способ поиска Телеграм каналов через поиск в Google и сортировка собранных каналов.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Google Indexing API
Парсер для добавления или удаления страниц сайта в Google через Indexing API

• Исправлена ошибка "Cannot init Parser: Error: EISDIR: illegal operation on a directory, read at Object.readSync"
• Изменения в логике обработки запросов

JS::MailValidator
Проверка существования e-mail адресов

• Исправлена проверка Icloud

Парсинг istio.com
Анализ текстов на сервисе istio.com (тошнота, водность, словари, тематика, статистика...)

• Исправлено получение информации
• Добавлена возможность выбора способа получения текста со страниц:
  
  HTML::TextExtractor или
  
  HTML::ArticleExtractor
• Небольшая оптимизация кода

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу

• Обновление в связи с изменениями на ресурсе

Проверка категории сайтов через сервис cyren.com
Проверка категории сайтов через сервис https://www.cyren.com/

• Адаптация к изменениям на источнике
• Вместо
  
  Util::ReCaptcha2 теперь
  
  Util::ReCaptcha3

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

 

[A-Parser Support]

Сборник рецептов #64: скачивание видео из Instagram, проверка e-mail и переводчик Libre Translate

64-й сборник рецептов, в котором представлены парсер для скачивания видео из Instagram, пресет для проверки e-mail в сервисе EmailRep и парсер переводчика Libre Translate.

Instagram Reels Downloader
Парсер для скачивания видео из Instagram. Работает на основе встроенного парсера

Social::Instagram:ost и в качестве запросов принимает ссылку на пост типа Video/Reel.

Проверка e-mail адресов в сервисе EmailRep
EmailRep - это система парсеров, сканеров и дополнительных сервисов, которая собирает данные об адресах электронной почты, доменах и интернет-персонах. Сервис использует сотни точек данных из профилей социальных сетей, профессиональных сетевых сайтов, утечек учетных данных в Darknet, утечек данных, наборов для фишинга, фишинговых писем, списков спама, открытых почтовых ретрансляторов, спам-ловушек, возраста и репутации домена, доставляемости и многого другого для оценки адреса электронной почты.

Парсер переводчика Libre Translate
Бесплатный API машинного перевода с открытым исходным кодом. В отличие от других API, он не полагается на проприетарных поставщиков, таких как Google или Azure. Вместо этого его механизм перевода основан на библиотеке Argos Translate с открытым исходным кодом.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

[A-Parser Support]

1.2.2347 - 2 новых парсера WordCraft и Instagram Search, поддержка puzzle каптчи в Яндексе

Улучшения

• Добавлены новые парсеры:
  • 
    SE::Yandex::WordCraft - это часть сервиса Яндекс Вебмастер, с помощью которого вы можете подобрать целевые запросы для продвижения и рекламы, учитывая популярность и конкурентную среду
  • 
    Social::Instagram::Search - поиск профилей, тегов, локаций по ключевым словам в Instagram
• Изменения в
  
  SE::Yandex:
  • добавлена поддержка новой puzzle каптчи, подробнее здесь и здесь
  • реализована возможность парсить через браузер, подробнее здесь
• В
  
  Social::InstagramPost добавлен сбор ссылок на видео
• В
  
  Maps::Yandex добавлен вывод статуса закрытия организации
• В
  
  Check::RosKomNadzor добавлена поддержка реестра nap.rkn.gov.ru

Исправления в связи с изменениями в выдаче

• Исправлено получение картинки каптчи в
  
  Check::RosKomNadzor, а также в целом исправлена его работа
• Исправлена ошибка SC parameter was found в
  
  SE::Startpage
• Исправлена работа
  
  SE::Yandex::Video
• Исправлена ошибка определения регистрации доменов .au в
  
  Net::Whois
• 
  Shop::Yandex::Market,
  
  SE::Google::Images,
  
  SEDuckDuckGo

Исправления

• Исправлено авторазгадывание в
  
  Util::Turnstile

 

[A-Parser Support]

Сборник статей #19: проверка наличия контента на странице и уведомления в Telegram

Представляем 19-й сборник статей, в котором содержатся две статьи от нашего пользователя @Reset: определение наличия контента на странице с выводом в таблицу и уведомление о выполненном задании в Telegram.

Как определить наличие контента в теле страницы и вывести в таблицу
В качестве примера рассмотрено определение наличия некоторых модулей на сайтах Wordpress и его легко можно адаптировать под аналогичные задачи.

Уведомление об выполненном задании в Telegram
Ранее мы уже публиковали способ получения уведомлений о завершении работы задания через Цепочку заданий. А в этой статье показано как это можно сделать через PHP скрипт.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 

[A-Parser Support]

Дайджест новостей A-Parser + акция на Premium прокси

Парсим базу для (другой софт): медленно, но верно
Новая статья от нашего пользователя @Reset о сборе базы форумов для (другой софт).

Парсер всех видео с Youtube канала
Новый парсер в Каталоге, позволяющий собирать списки видео (с их характеристиками) из Youtube каналов.

Анализ скорости загрузки и юзабилити сайтов
Обновление парсера для измерения скорости загрузки страниц с помощью сервиса PageSpeed Insights.

Акция на Premium прокси
Только до конца июля 20% скидка на все пакеты премиум прокси от 20 до 500 гигабайт

• Proxies Premium 20 Gb / 1 week - $34 $27.20
• Proxies Premium 50 Gb / 1 week - $75 $60
• Proxies Premium 100 Gb / 1 week - $140 $112
• Proxies Premium 200 Gb / 1 week - $260 $208
• Proxies Premium 500 Gb / 1 week - $600 $480
• Proxies Premium 50 Gb / 1 month - $95 $76
• Proxies Premium 100 Gb / 1 month - $170 $136
• Proxies Premium 300 Gb / 1 month - $450 $360
• Proxies Premium 500 Gb / 1 month - $650 $520

Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!

Для оплаты используйте промокод PREMIUM-PROXY-JULY-20%-OFF в Личном кабинете на a-parser.com


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[A-Parser Support]

Дайджест новостей A-Parser

Парсинг блока Интересно узнать из поисковой выдачи Яндекс
Новый пресет для получения данных из блока Интересно узнать поисковой выдачи Яндекса.

Парсер новостей с newsapi.org
Новый парсер в Каталоге для парсинга новостей с newsapi.org по ключевым словам через официальное API.

Подсказки amazon.com
Обновление парсера подсказок торговой площадки amazon.com.

• Обновлен url запроса
• Обновлена обработка результата

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[GeGold]

@Mikhail B. у них возврата фактически нет, но в старт посте это не указано

 

[A-Parser Support]

@Mikhail B. у них возврата фактически нет, но в старт посте это не указано

Добрый день, у нас есть возврат при технической несовместимости парсера с вашим оборудованием(это довольно редкое явление), в остальном наша команда поддержки помогает решить все вопросы

 

[A-Parser Support]

Видео урок: парсер новостей с newsapi.org

Новое видео по работе с A-Parser от DIM STUDIO в котором показан обзор парсера новостей с newsapi.org.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[A-Parser Support]

Дайджест новостей A-Parser

Парсер t-online
Парсер для сбора результатов выдачи и связанных ключевых слов из поисковой системы t-online.

Проверка категории сайтов через сервис cyren.com
Обновление парсера для проверки категории сайтов через сервис cyren.com

• Адаптация к изменениям на источнике

Парсер copart.com
Обновление парсера аукциона автомобилей copart.com

• Добавлена возможность парсить изображения

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[A-Parser Support]

1.2.2396 - новый парсер Util::SMS, улучшения во встроенных парсерах + акция на Premium прокси

Улучшения

• Добавлен новый парсер
  
  Util::SMS - парсер для получения кодов из смс
  
• В
  
  Util::AntiGate добавлена возможность остановки всего задания при получении сообщения о низком балансе на сервисе разгадывания каптч
  
• В
  
  HTML::EmailExtractor добавлен параметр Search URL encoded e-mails
  
• В парсерах OpenAI::* добавлена опция API domain, которая позволяет задать свой домен для API запросов
  
• В
  
  Shop::Amazon добавлен сбор количества продаж
• В
  
  Maps::Google добавлен сбор booking link (данные о сервисе записи)
  
• В
  
  HTML::ArticleExtractor теперь доступно больше переменных, они полностью наследуются из
  
  Net::HTTP
• Обновлен список яыков в
  
  DeepL::Translator
• Обновлен список моделей в
  
  OpenAI::ChatGPT
• Добавлен инструмент tools.task.stop(), который позволяет останавливать выполнение задания в любой момент
  
• CapSolver для каптч Turnstile теперь не требует передачи прокси<
  
• Добавлена поддержка сервиса botlab.me в
  
  Util::AntiGate

Исправления в связи с изменениями в выдаче

• Изменения в
  
  SE::Yandex::Register, подробнее тут
• В парсерах SE::Google::KeywordPlanner::* исправлена авторизация по логин-паролю
• Исправлена работа
  
  Rank::MOZ
• Исправлена работа
  
  Util::Turnstile в режиме Auto
• В
  
  Shop::Wildberries:roductInfo исправлена работа с некоторыми видами запросов
• Исправлен парсинг People also ask и Related keywords в
  
  SE::Google
• Частично исправлено получение количества товаров в
  
  Shop::Wildberries:roductsList

Исправления

• Исправлен обход защиты Cloudflare
• Исправлено произвольное зависание в
  
  Maps::Yandex
  
• В
  
  Shop::Wildberries:roductInfo переменная $data теперь корректно заполняется
• В
  
  SE::Yandex::WordCraft переименован результат $query в массивах $uqa и $uqg
  
• Исправлен баг из-за которого в Общем формате результатов не происходил сброс результатов при нажатии кнопки сброса
• Исправлена работа с прокси в связке
  
  Util::SMS +
  
  SE::Yandex::Register

Акция на Premium прокси
20% скидка на все пакеты премиум прокси от 20 до 500 гигабайт

• Proxies Premium 20 Gb / 1 week -$34 $27.20
• Proxies Premium 50 Gb / 1 week - $75 $60
• Proxies Premium 100 Gb / 1 week - $140 $112
• Proxies Premium 200 Gb / 1 week - $260 $208
• Proxies Premium 500 Gb / 1 week - $600 $480
• Proxies Premium 50 Gb / 1 month - $95 $76
• Proxies Premium 100 Gb / 1 month - $170 $136
• Proxies Premium 300 Gb / 1 month -$450 $360
• Proxies Premium 500 Gb / 1 month - $650 $520

Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!

Для оплаты используйте промокод PREMIUM-PROXY-20%-OFF в Личном кабинете на a-parser.com

 

[A-Parser Support]

Дайджест новостей A-Parser

Парсим базу для GSA SER
Новая статья от нашего пользователя @Reset о сборе баз для GSA Search Engine Ranker.

A-Parser и CapMonster Cloud: Как быстро и эффективно решать капчи при парсинге
Статья об интеграции A-Parser и Capmonster Cloud.

Парсер prom.ua

Обновление парсера товарных позиций prom.ua

• Парсер переписан на API v2
• Исправлена ошибка TypeError: Cannot read properties of undefined (reading &#039;company&#039
• Исправлен проблема, что переменные $contactemail, $contactperson и $image всегда были none

Парсинг объявлений из olx.ua/olx.pl/olx.kz
Обновление парсера обьявлений из сайтов olx

• Добавлена возможность парсить olx.kz

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[A-Parser Support]

Дайджест новостей A-Parser

Sensor Tower
Новый парсер в Каталоге для сбора данных о мобильных приложениях из сервиса Sensor Tower

Парсер Aliexpress товаров
Обновление парсера, позволяющего получить информацию о товаре на aliexpress

• Адаптация к изменениям на источнике
• $delivery теперь нету
• Теперь работает только с доменом https://aliexpress.ru

Анализ скорости загрузки и юзабилити сайтов
Обновление парсера для измерения скорости загрузки страниц и получения скриншотов сайтов

• Исправлен парсинг результатов $mobile_speed и $desktop_speed
• Добавлен парсинг новых результатов (Производительность) $mobile_performance и $desktop_performance

Pananames - доступность, цена домена
Обновление парсера, позволяющего проверить доступен ли домен и его цену

• Обновление в связи с усилением защиты на сервисе

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[A-Parser Support]

1.2.2414 - новый парсер Reddit, улучшения встроенных парсеров, вебинар ZennoPoster + A-Parser

Улучшения

• Добавлен новый парсер
  
  Reddit:ostInfo
• В
  
  SE::Bing добавлена поддержка блока связанных ключевых слов справа
• В
  
  SE::YouTube::Video добавлена опция Login required is error
• Улучшена работа
  
  HTML::TextExtractor, некоторые текстовые блоки пропускались
• Улучшен поиск почт в
  
  HTML::EmailExtractor, не собирались почты у которых имя состоит из одного символа
• Обновлены заголовки запросов в
  
  Rank::MajesticSEO
• В
  
  Net::HTTP добавлена обработка бана IP при обходе CF
• В
  
  Net::HTTP добавлена опция Try use HTTP/1.1 for Protocol error, которая указывает парсеру повторить запрос с HTTP/1.1 если был включен HTTP/2 и получена ошибка протокола

Исправления в связи с изменениями в выдаче

• Исправлена работа с каптчей в
  
  SE::Google::Images
• Исправлен проход по пагинации в
  
  SE::Bing в некоторых случаях
• Исправлен парсинга subdomains в
  
  SecurityTrails:omain, теперь требуется авторизация
• В
  
  Shop::Wildberries:roductsList дополнительно исправлено получение $totalcount
• Адаптированы к изменениям на источниках:
  
  SE:uckDuckGo,
  
  SE::Bing,
  
  SE::You,
  
  Shop::Yandex::Market

Исправления

• Исправлена ошибка при повторном разгадывании каптчи в
  
  Check::RosKomNadzor
• В
  
  Util::SMS убрано ошибочное сообщении о плохом конфиге
• В
  
  DeepL::Translator добавлен русский язык, ошибочно был удален в предыдущих версиях
• В
  
  SE::Yandex::WordCraft исправлены ошибки в логике работы и исправлена работа с каптчей
• В
  
  Shop::Wildberries:roductsList исправлено заполнение $pages

Вебинар «Автоматизация SEO с помощью ZennoPoster: совместная работа с A-Parser»

Приглашаем вас на бесплатный вебинар, который проведет опытный пользователь ZennoPoster Astraport.

Когда: 3 октября в 19:00 по московскому времени
Спикер: Astraport

Этот вебинар предназначен для всех, кто хочет разобраться в актуальных тенденциях SEO, в каких задачах получения трафика на сайт поможет ZennoPoster.

Краткий план вебинара:

• Общие тенденции SEO.
• В каких задачах получения трафика на сайт поможет ZennoPoster:
  • Парсинг ключей с сервисов и исходного текста с сайтов конкурентов с помощью А-parser.
  • Генерация контента через нейросети (текст, картинки, видео).
  • Постинг на сайты или создание HTML.
  • Продвижение ссылочным и ведением своих соц. сетей.
• Вопросы и ответы.

Зарегистрируйтесь сейчас и присоединяйтесь к бесплатному вебинару, чтобы научиться работать с ZennoPoster совместно с A-Parser.

 

[A-Parser Support]

Дайджест новостей A-Parser

Norton SafeWeb
Новый парсер в Каталоге примеров, позволяет проверять насколько безопасны сайты для посещения по данным компании Norton.

Google Finance
Еще одна новинка в Каталоге примеров: парсер для поиска акций, биржевых фондов и других активов через сервис Google Finance.

Парсер vseinstrumenti.ru
И еще один новый парсер в Каталоге - парсер для сбора данных о товарах на сайте vseinstrumenti.ru.

Обновление ранее опубликованных примеров

• Парсер prom.ua: адаптация к изменениям на ресурсе
  
• Сбор ссылок с GET параметрами: актуализация пресета, SE::Google::Modern заменен на SE::Google

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[A-Parser Support]

Дайджест новостей A-Parser

Генератор картинок BlinkShot
Парсер для сервиса BlinkShot, который генерирует изображений почти в реальном времени с минимальными задержками и без цензуры.

Парсер tgstat.ru
Парсер информации из tgstat.ru. Состоит из 2-х пресетов: парсер ссылок из категорий tgstat.ru и парсер информации со страниц каналов и чатов.

Парсер habr.com
Парсер постов на habr.com. Собирает информацию о постах по ключевым словам с проходом по пагинации и возможностью сортировки.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[A-Parser Support]

Дайджест новостей A-Parser

Sucuri sitecheck
Парсер для проверки безопасности сайта через сервис Sucuri. В качестве запросов принимает домены, а в результат по-умолчанию выводит рейтинг, список черных списков, в которых числится домен, информацию о сертификате, список IP, CDN и конечный URL редиректа.

Разбивка результата по времени
Пример шаблона для Формата имени файла результата, который создает новый файл результата каждые N секунд.

Парсер prom.ua
Обновление парсера для парсинга товарных позиций prom.ua. Исправлены следующие ошибки:

• Когда парсер находит 0 товаров, он идет на новую попытку
• Когда доходит до последней страницы, парсинг останавливается

Генератор картинок BlinkShot
Обновление парсера для сервиса blinshot.io. Реализованы следующие изменения:

• Добавлен Consistency mode
• API запрос адаптирован к изменениям

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[A-Parser Support]

Видео урок: разбивка результата по времени и числу строк

Новые видео по работе с A-Parser от DIM STUDIO:

В первом видео показано, как использовать A-Parser для разбивки результата по времени. Готовый пресет доступен здесь.

Второе видео демонстрирует метод разбивки результата по числу строк. Готовый пресет доступен здесь.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[A-Parser Support]

1.2.2502 - множество багфиксов, добавлена поддержка нового сервиса разгадывания каптч

Улучшения

• В парсерах Rank::Ahrefs::* добавлен параметр Additional headers, с его помощью можно добавлять заголовки к запросу
• Добавлена поддержка сервиса NextCaptcha в парсеры Util::* Сервис поддерживает работу с hCaptcha, ReCaptcha2 и ReCaptcha3
• В
  
  Rank::CMS теперь по-умолчанию RegExp engine = RE2
• В
  
  Rank::Ahrefs добавлена обработка доменов, по которым нету информации

Исправления в связи с изменениями в выдаче

• 
  Shop::Amazon некорректно выводил количество продаж
• Исправлена ошибка App ID not found в
  
  Social::Instagram::Tag
• В
  
  SE::Google исправлен парсинг при Serp type = News, а также в целом парсер адаптирован к изменениям в выдаче
• Исправлена работа
  
  SE::Startpage
• Исправлена работа
  
  SecurityTrails::domain с опцией Mode = DNS Records
• В
  
  Shop::Yandex::Market исправлен проход по пагинации и парсинг наименований товаров
• В
  
  SE::Google::Images исправлены проход по пагинации и ошибка при парсинге с выбором размера

Исправления

• В парсерах SE::Google::KeywordPlanner::* исправлена авторизация в некоторых случаях
• Исправлена логика выбора прокси после подзапросов к парсерам (например, при обращении к парсеру каптч из основного парсера)
• Исправлена ошибка при работе с капчей в
  
  SE::Yandex, которая появилась из-за изменений в API одного из используемых в
  
  Util::AntiGate модулей
• Исправлена загрузка больших списков прокси
• Исправлена работа опции Collect full region в
  
  Maps::Google
• Исправлена работа
  
  Rank::CMS в некоторых случаях

 

[A-Parser Support]

Видео урок: установка A-Parser на Linux с использованием Docker

В этом видео рассмотрено установку A-Parser на Linux с использованием Docker.

Содержание:

• Действия перед установкой
• Установка Docker
• Загрузка и распаковка дистрибутива A-Parser
• Запуск с логом и в фоне
• Просмотр файла лога
• Запуск используя docker-compose

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[Dobriyk0t]

Видео урок: установка A-Parser на Linux с использованием Docker

В этом видео рассмотрено установку A-Parser на Linux с использованием Docker.

Содержание:

• Действия перед установкой
• Установка Docker
• Загрузка и распаковка дистрибутива A-Parser
• Запуск с логом и в фоне
• Просмотр файла лога
• Запуск используя docker-compose

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Супер! Раньше все делал на отдельной винде. Сделал все по инструкции, теперь использую а-парсер через веб морду на основном ноуте. Ставил на убунту сервер, работает как часы. Использую его если мне что-то нужно спарсить массово и быстро, например парсинг локальных бизнесов по городам и странам. Накидал пресет и вперед. Классный инструмент!

 

[A-Parser Support]

Дайджест новостей A-Parser

Проверка наличия сайта на Miralinks
Новый пример в Каталоге: пресет для проверки доменов на наличие на бирже Miralinks, который проверяет, есть ли домен на Miralinks, выгружает его стоимость и ссылку на профиль на бирже.

Парсер Aliexpress товаров
Обновление парсера, позволяющего получать информацию о товаре на AliExpress, подавая в качестве запроса ссылку на товар.

• Адаптация к изменениям на ресурсе

JS::TitleParser
Обновление базового примера для парсинга HTML тега title на произвольной странице.

• Парсер переписан на JS API v2
• Добавлено поле для указания юзер-агента

Парсинг данных о Youtube канале
Обновление парсера данных о Youtube каналах.

• Исправлен сбор данных
• Адаптация к изменениям в верстке
• Убран сбор данных о монетизации, т.к. известный метод определения больше не работает

Google Products
Обновление парсера товаров из Google выдачи.

• Ссылка на сайт теперь берется из названия магазина

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки

) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[A-Parser Support]

Дайджест новостей A-Parser

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Обновление парсера сервиса zerogpt.com. С помощью него можно проверять грамматику и орфографию, а также определять использование ИИ в текстах.

• Добавлено использование браузера при Mode = AI Grammar Spell Checker
• Добавлена опция Browser Headless которая включает и отключает отображение интерфейса браузера

Парсер HypeStat
Обновление парсера сервиса статистики и аналитики веб-сайтов HypeStat.

• Исправлен сбор результатов
• Некоторые результаты вынесены из массивов в обычные (плоские) результаты

Сокращатель ссылок
Обновление парсера для массового сокращения ссылок с возможностью выбирать используемый сервис.

• Исправлены: 1pt.co, clck.ru, urlshort.dev
• Отключен gg.gg, т.к. сервис не работает

Команда A-Parser поздравляет всех с наступающими новогодними праздниками!
График работы поддержки на праздники

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[udder]

Дайте, пожалуйста, промокод на Новый Год.

 

[A-Parser Support]

1.2.2573 - новый парсер отзывов из Google карт, оптимизации работы встроенных парсеров, багфиксы

Улучшения

• Добавлен новый парсер
  
  Maps::Google::Reviews, который позволяет парсить отзывы к местам на Google картах
• Парсер
  
  SE::Bing полностью переписан, полный список изменений тут
• Добавлены альтернативные сервера авторизации для пользователей из РФ
• Улучшена работа
  
  Shop::Amazon: значительно снижена вероятность бана
• Улучшена работа
  
  Util::Antigate: теперь манипуляции с картинками каптч занимают меньше времени и потребляют меньше ресурсов
  
• Улучшена работа
  
  HTML::TextExtractor::LangDetect: обновлен модуль определения языка и оптимизирован алгоритм работы
  
• 
  SE::Yandex::Speller теперь может принимать на вход как ссылки, так и ключевые слова (тексты)
  
• В
  
  Reddit:osts добавлена опция Use HTTP/2 transport
  
• Улучшение скорости работы parser.request и
  
  API::Server::Redis (будет заметно при большой интенсивности запросов и большом размере самих запросов(от 10кб))

Исправления в связи с изменениями в выдаче

• 
  Social::Instagram::Geo - исправлена проблема Content mismatch при определенных запросах
• 
  Shop::Amazon - адаптация к изменениям в верстке, исправлена работа при Domain=United Kingdom
• 
  Social::Instagram:ost - исправлена ошибка при сборе $video_link
  
• Исправлена работа
  
  SE::Quora, теперь требуется указывать куки авторизованного аккаунта, подробнее тут
• Исправлена работа
  
  Social::TikTok:rofile
• Исправлен
  
  SE:uckDuckGo

Исправления

• 
  SE::Yandex - исправлена поддержка puzzle каптчи при Engine=Browser
  
• 
  Rank::CMS - исправлена ошибка, возникающая для некоторых технологий
• Исправлен
  
  Cloudflare::Radar

 

[A-Parser Support]

1.2.2596 - обход новой проверки Google, несколько других исправлений

Примерно с вечера 15 января Google поиск начал требовать в обязательном порядке включенный JavaScript и включил дополнительную проверку. Из-за это перестали работать существующие парсеры Google, проблема затронула даже такие крупные сервисы, как Similarweb.

Мы также начали получать множество сообщений о проблеме с парсером Google, и сразу взялись за ее решение. Первый, временный, фикс был выпущен уже на следующий день. После этого было еще несколько исправлений, а финальное решение стало доступным 20 января.

После нескольких дней тестирования было решено сделать внеочередной релиз, чтобы у пользователей на stable канале обновлений также возобновилась возможность парсить Google.


Кроме этого в релиз вошли следующие изменения:

• В парсерах OpenAI::* теперь можно указывать API domain с протоколом (http/https)
• Исправлена ошибка инициализации
  
  Util::AntiGate в некоторых окружениях
• Исправлена работа
  
  Social::Instagram::Search
• Исправлена проблема, из-за которой в
  
  Social::Instagram::Geo собиралось только 24 поста

 

[A-Parser Support]

Дайджест новостей A-Parser

Выгрузка кликов из GSC
Новый парсер от пользователя @seohive. С его помощью можно выгружать из Google Search Console статистику по кликам в проекте. Выгружает брендовые и все клики. Можно отдельно указать маску url и выгрузить клики определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Выгрузка поискового трафика из Яндекс Метрики
Еще один новый парсер от пользователя @seohive. С его помощью можно выгружать из Яндекс Метрики статистику по трафику из поисковых систем. Выгружает трафик из Яндекс, Google и небрендовый из Яндекс. Можно отдельно указать маску url и выгрузить трафик определенного раздела сайта. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Выгрузка данных по позициям из Topvisor
И еще один новый парсер от @seohive. С его помощью можно выгружать из проекта в Topvisor статистику по позициям в проекте. Выгружает по группам и конкурентам количество запросов всего, в ТОП 3, ТОП 10 и ТОП 30 по датам. Эти данные можно использовать для создания собственных дашбордов в Google Looker или Яндекс DataLens. Работает по API.

Работа парсера SE::Google
Напоминаем, что недавно Google ввел дополнительную проверку на включенный JS в поиске, из-за чего нарушилась работа многих парсеров и сервисов. Мы оперативно выпустили обновление для

SE::Google и постоянно продолжаем отслеживать изменения. После выпуска stable версии у гугла были еще изменения, поэтому (на момент публикации новости) для корректной работы парсера Google нужно обновиться на последнюю beta версию.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

 

[A-Parser Support]

Видео урок: вывод результатов в CSV, JSON и HTML

Новое видео по работе с A-Parser от DIM STUDIO в котором показаны способы форматирования результатов в CSV, HTML и JSON.

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!