A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

  • Автор темы Автор темы Forbidden
  • Дата начала Дата начала
отличный софт, спасибо
 
Сборник рецептов #49: генерация картинок и текстов, парсер adult ключевых слов

49-й сборник рецептов, в котором собраны парсер для генерации картинок, парсер для генерации текстов и парсер ключевых слов адалт тематики.

Генерация картинок ruDALL-E

Парсер, позволяющий автоматически массово генерировать уникальные изображения по списку ключевых слов с помощью нейросети ruDALL-E.

2022-02-07-17-39-02.png


Яндекс Балабоба - генератор текстов от Яндекс

Данный парсер использует сервис Яндекс Балабоба для генерации коротких текстов по списку ключевых слов или предложений. Также возможна генерация текстов рекламных объявлений для доменов.

8ucel_220208132350.png


Подсказки NudeVista

Парсер адалт подсказок из сайта nudevista.com. Может использоваться для парсинга списков ключевых слов adult тематики.

knvyd_220208135841.png


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов


Напоминаем, вы можете успеть купить A-Parser по старой цене. Новые тарифы вступят в силу 15 Февраля 2022

 
Сборник статей #15: разработка TypeScript парсеров и массовая индексация в Google

Представляем 15-й сборник статей, в который вошли статья о разработке TypeScript парсера для генерации картинок с помощью нейросети и статья об опыте массовой индексации страниц в Google.

Генерация картинок ruDALL-E. Мануал по созданию TS парсера
В прошлом сборнике рецептов мы опубликовали парсер для генерации картинок ruDALL-E. Сегодня же мы представляем вам развернутую статью, где подробно рассказано об общем подходе к написанию таких парсеров и описан процесс разработки.
Ознакомиться с функционалом данного парсера можно в обзорном видео от нашего партнера DIM STUDIO:


Как проиндексировать сайт в Google и повысить видимость
Статья на vc.ru о том, как за 10 дней было проиндексировано более чем 30 000 страниц сайта в Google.
Для массовой индексации в Google использовался скрипт на Python и Google Indexing API.
Для проверки индексации использовался A-Parser, в нашем Каталоге есть пример такого пресета: https://a-parser.com/resources/160/

vc_ru_index_google.jpg


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 
Несколько месяцев назад приобрёл A-Parser Pro по рекомендации коллеги. До этого много чего интересного читал про A-Parser. Очень удачный парсер, в котором есть много встроенных полезных парсеров для повседневной работы. Цена, конечно, кусается (ну для кого как, это понятно), но уверен, что того стоит. Как понимаю, аналогов просто нет. Отдельно хотел бы выделить документацию, она реально очень хорошо прописана, пока осваиваю, подобное видел только у ZennoPoster. Удобный форум, сайт (ЛК) и хорошая команда поддержки (в TG общаться удобнее всего). Хотелось бы в будущем видеть побольше именно видео-уроков (мануалов), с ними осваиваются парсеры как-то более понятно и быстрее. На данный момент не всё пока понятно, но документация и уроки помогают разобраться. В целом А-парсер - это наверно один из "мастхэв" инструментов, который отлично может работать в дуэте с другими инструментами.
 
Если кто купил, а ему не надо, я бы выкупил лицензию по старой цене))
 
Если кто купил, а ему не надо, я бы выкупил лицензию по старой цене))
Лицензия предоставляется исключительно для личного использования. Перепродажа, сдача в аренду и любые иные формы совместного доступа запрещены - https://a-parser.com/docs/a-parser/license#warning-license-revocation
 
1.2.1511 - улучшение работы с Chrome и обхода защит, обновление NodeJS, парсер подсказок Wildberries

1.2.1511.png


Улучшения
  • Реализован обход защит по TLS отпечаткам, теперь запросы A-Parser на 100% выглядят как Chrome
  • NodeJS обновлен до 16.15.0
  • В
    se-google.png
    SE::Google добавлен параметр Narrow results by region, который позволяет сузить поиск до конкретной страны
  • В парсере
    maps-google.png
    Maps::Google добавлен автоматический обход координат в заданном регионе, детальнее здесь
  • В
    telegram-groupscraper.png
    Telegram::GroupScraper добавлена опция Start message number, которая позволяет задать с какого номера собирать сообщения в телеграм чате
  • В
    se-youtube.png
    SE::YouTube добавлен сбор количества подписчиков канала
  • В
    se-google-trends.png
    SE::Google::Trends добавлен сбор id тем для related topics
  • В парсере
    shop-wildberries-productslist.png
    Shop::Wildberries:: ProductsList добавлен сбор ключей из "Еще ищут" и "Возможно вам понравится"
  • Добавлен парсер подсказок Wildberries:
    shop-wildberries-suggest.png
    Shop::Wildberries::Suggest
  • В
    shop-wildberries-productinfo.png
    Shop::Wildberries:: ProductInfo добавлен сбор дополнительных данных
  • В
    se-google-images.png
    SE::Google::Images добавлены новые типы в Usage rights
  • Добавлена возможность выводить исходные данные (raw data) в парсерах Ahrefs
  • В
    net-http.png
    Net::HTTP и JS парсерах добавлена опция Randomize TLS Fingerprint
  • Улучшена работа с Chromium из JavaScript парсеров
  • В
    net-http.png
    Net::HTTP и this.request() теперь по-умолчанию используется user-agent последнего Chrome
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена ошибка в
    shop-wildberries-productslist.png
    Shop::Wildberries:: ProductsList, из-за которой с некоторыми запросами не выводился $totalcount
  • Исправлена загрузка каптч в
    se-yandex-images.png
    SE::Yandex::Images
  • Устранена утечка памяти в парсере
    deepl-translator.png
    DeepL::Translator, а также другие ошибки
  • Исправлена работа проксичекера с socks5 IPv6 прокси
  • Исправлена работа опции Don't verify TLS certs в некоторых случаях
  • Устранена утечка памяти при частом запуске заданий или использовании API, утечка была связана с внутренним багом NodeJS
  • Исправлено зависание Тестового парсинга при редактировании кода парсеров
  • Исправлен проход по редиректам в
    html-linkextractor.png
    HTML::LinkExtractor
  • Исправлен выбор домена в
    se-yahoo.png
    SE::Yahoo
  • Исправлена заспамленость лога ошибками при использовании
    maps-yandex.png
    Maps::Yandex
  • Исправлен сбор результатов $records в
    net-dns.png
    Net:: DNS
  • Исправлена ошибка когда не находилась следующая страница опцией Check next page

 
топовый софт
 
(другой софт) 5.0: лучший в мире софт для решения капч. СКИДКИ!

Рады представить вам разработку нашего партнёра:
(другой софт) 5.0 - известную во всём мире программу для решения большинства существующих капч, самую быструю и точную по сравнению с аналогами.

Программа полностью совместима с A-Parser, прекрасно справляется с капчами Yandex, Rambler, Google, BING и тысячами других.

uyalc_220528142957.png


  • Решение свыше 12.000 типов капч, в том числе ReCaptcha v.2 и v.3, Yandex, Google, Microsoft (Bing), SolveMedia, BicoinFaucet, Gosuslugi и множества других.
    Подготавливаемый к релизу (другой софт) 6.0 также будет поддерживать решение hCaptcha, ReCaptcha Enterprize и FunCaptcha.
  • никаких лимитов на число распознаваний и число потоков! можете решать хоть миллионы капч в день, это ничего не будет стоить - достаточно лишь один раз купить лицензию (она пожизненная)
  • гибкий API, совместимость с сотнями программ (A-Parser, GSA, (другой софт), ZennoPoster, BAS, FaucetCollector, Key Collector и др.),
    в комплекте также идет браузерный плагин (другой софт) Solver Plugin
  • оперативные доработки по пожеланиям клиентов, дообучение новым капчам
  • простой и понятный интерфейс, разберется даже школьник!
Всем нашим клиентам мы предлагаем набор купонов,
дающих скидку 60% на покупку любой лицензии (другой софт) + (другой софт):
при покупке лицензии Стандарт вы экономите более 7000 рублей (купоны действуют до 15-го июня):

APXEVIL-60-220616-ga5zoamjuon9jb5y
APXEVIL-60-220616-ga5zoamjuoy8kx4k
APXEVIL-60-220616-ga5zoamjuoun97t4


За дополнительными купонами вы можете обратиться в техническую поддержку A-Parser

Официальный сайт программы:
http://botmasterru.com/

Спасибо за внимание!

 
Сборник рецептов #50: скриншоты выдачи Google и подсказки Авито

50-й сборник рецептов, в который вошли парсер для создания скриншотов выдачи встроенного парсера (на примере Google) и парсер подсказок Avito.

Скриншоты выдачи Google

Демонстрация способа создания скриншотов страниц, получаемых другими парсерами.
Для примера используется парсер Google. В результате формируется файл со списком спаршенных ссылок и файл со списком созданных скриншотов. Скриншоты складываются в отдельную папку. По аналогии можно делать скриншоты выдачи, получаемой другими парсерами.

tmc2c_220217172742.png


Подсказки Авито

Парсер для сбора подсказок на Авито с возможностью указать локацию и парсингом в глубину.

qnybe_220328142900.png



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 
Курс «Специалист по дропам и PBN», используя A-Parser (+включает лицензию)

kodii.jpg


Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 27 июня.

Что это за обучение?
Николай научит и покажет на реальных кейсах и примерах:
  • какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
  • как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
  • как строить PBN, что с ними делать дальше и как на них зарабатывать
  • как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

Для кого это обучение?
  • Для владельцев агентств, которые хотят выходить на заказы для буржа и открывать отдел pbn. Для тех, кто хочет нанимать подрядчиков для построения PBN, понимать процесс и контролировать качество работы.
  • Для частных и работающих в найме seo-мастеров, которые хотят оказывать услугу по поиску дропов и построению сеток. Или кто хочет строить сетки под свои проекты. Для тех, кто ищет новые методы линкбилдинга.
  • Для тех, кто хочет с нуля освоить в новом году новую профессию. И стать специалистом в денежной сфере — PBN.

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая - Facebook
 
1.2.1549 - новый парсер CoinMarketCap, полностью переписаны 9 парсеров и новые опции в существующих

1.2.1549.png


Улучшения
  • Добавлен новый парсер
    coinmarketcap-lastprice.png
    CoinMarketCap::LastPrice
  • Парсер
    se-yandex-register.png
    SE::Yandex::Register полностью переписан, восстановлена возможность регистрировать аккаунты
  • Парсеры
    se-yandex-wordstat.png
    SE::Yandex::WordStat,
    se-yandex-wordstat-bydate.png
    SE::Yandex::WordStat::ByDate и
    se-yandex-wordstat-byregion.png
    SE::Yandex::WordStat::ByRegion полностью переписаны, добавлен новый функционал (выбор способа авторизации, регистрация аккаунтов "на лету", сессии...), полный список изменений здесь
  • html-emailextractor.png
    HTML::EmailExtractor полностью переписан, благодаря использованию в качестве основы
    html-linkextractor.png
    HTML::LinkExtractor кроме собственно парсинга почт, стали доступными множество возможностей: сбор ссылок, парсинг в глубину, использование Chrome и т.д.
  • Все парсеры Instagram переписаны на JS APIv2, а также адаптированы к изменениям на источнике, больше информации здесь
  • Увеличено максимальное кол-во страниц в
    se-google.png
    SE::Google до 100
  • Добавлен сбор даты со сниппета в парсерах Google
  • В парсере
    se-bing.png
    SE::Bing добавлена опция Fix pagination bug, устраняющая баг в поиске Bing, из-за которого отдаются пустые 2-я и последующие страницы
  • В парсере
    shop-wildberries-productinfo.png
    Shop::Wildberries:: ProductInfo добавлен сбор данных о продавце и возможность определять наличие товара
  • В парсере
    se-startpage.png
    SE::Startpage добавлена опция Links per page и обновлен список доступных вариантов в существующих опциях
  • В
    se-duckduckgo.png
    SE:: DuckDuckGo добавлено опцию Use HTTP/2
  • net-http.png
    Net::HTTP: добавлена опция Ban Proxy Code RegEx
  • Добавлена возможность задавать произвольный уровень для подзапросов (query.add)
  • Добавлена опция needResults для this.parser.request
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа HTTP keep-alive, в некоторых случаях сокет закрывался раньше времени
  • Исправлена ошибка в опции Follow common redirects
  • Redis API: исправлена работа некоторых парсеров, проблема возникала с парсерами, использующими оптимизацию результатов

 
Сборник рецептов #51: история IP-адресов и парсинг страниц контактов

51-й сборник рецептов, в котором мы делимся парсером сервиса builtwith.com и пресетом для сбора страниц контактов и контактных данных.

Парсер BuiltWith.com. История IP-адресов и взаимосвязи

Сервис builtwith.com предоставляет пользователям различные данные которые помогают в лидогенерации, аналитике продаж и информации о доле ранка передовых технологи.
Для демонстрации возможностей А-Парсера по созданию JavaScript парсеров и обхода капчи в кастомных парсерах был создан данный пример, который реализует сбор малой части возможностей сервиса builtwith.com, а именно: сбор истории IP-адресов по нужному домену и другие веб-сайты, которые имеют общие IP-адреса с введенным доменом. Полезен SEO-специалистам для поиска сайтов конкурентов, сеток конкурентов, айпи адресов в временном промежутке.

2022-07-06-17-52-47.png


Парсинг страниц контактов, страниц Privacy Policy и Terms of use, email, соц. сети

При помощи данного парсера можно собрать контактные данные со страниц контактов и страниц о компании. Страницы контактов часто содержат контактную форму, поэтому ссылку на нее тоже выводим в результат. Так же парсер собирает страницы Privacy Policy и Terms of use, на страницах которых иногда есть email. Дополнительно происходит сбор соц. сетей (фейсбук и твиттер). Все это необходимо для того чтобы можно было связаться по различным каналам с владельцами или администрацией сайтов для взаимодействия и сотрудничества.

8tbcy_220706195646.png



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 
1.2.1604 - парсинг Google People also ask, новые методы в JS парсерах, адаптация к изменениям

1.2.1604.png


Улучшения
  • В
    se-google.png
    SE::Google добавлен парсинг People also ask
  • В
    rank-ahrefs.png
    Rank::Ahrefs добавлен новый метод парсинга, данные, получаемые старым способом немного отличались от таковых в браузере
  • Реализована защита от gzip bomb
  • В
    se-yandex-register.png
    SE::Yandex::Register улучшена работа с номерами и оптимизирован процесс регистрации
  • Улучшена работа с сессиями в
    se-yandex-wordstat.png
    SE::Yandex::WordStat
  • Для парсеров Яндекс добавлена возможность использовать аккаунты на своих доменах
  • Во всех парсерах Яндекса работа со smart captcha адаптирована к изменениям на источниках
  • JS парсеры: добавлен метод this.puppeteer.logScreenshot(), он позволяет логировать скриншот текущей страницы
  • JS парсеры: добавлены методы this.isContextAlive(), this.console.log, this.console.setPrefix и .setGlobalConsolePrefix, подробнее здесь и здесь
  • В
    se-yandex-wordstat-bydate.png
    SE::Yandex::WordStat::ByDate добавлена корректная обработка ситуаций, когда по запросу нет результатов
  • html-textextractor.png
    HTML::TextExtractor - оптимизирована скорость обработки
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена проблема с зависанием
    html-textextractor-langdetect.png
    HTML::TextExtractor::LangDetect на некоторых запросах
  • Исправлена работа методов tools.task.* в JS API v2
  • Исправлена ошибка кодировки в
    net-http.png
    Net::HTTP
  • Исправлена работа с прокси в Puppeteer, проблема появилась в одной из предыдущих версий
  • Исправлена ошибка со сбором title в
    shop-wildberries-productinfo.png
    Shop::Wildberries:: ProductInfo в некоторых случаях
  • В
    shop-wildberries-productslist.png
    Shop::Wildberries:: ProductsList исправлен парсинг тегов
  • Исправлена работа
    se-bing-translator.png
    SE::Bing::Translator в некоторых случаях
  • Исправлена некорректная инициализация Node на лицензии Enterprise
  • В
    se-bing.png
    SE::Bing - исправлена ошибка с выводом $pages

 
Пользуюсь уже больше года для парсинга выдачи поисковых систем. Отличный продукт! Скорость радует + хорошая поддержка
 

Наши друзья из Ant-Team.ru сняли полезное видео о том, как использовать A-Parser для крауд-маркетинга.

Крауд-маркетинг использует отзывы и комментарии на сторонних ресурсах для продвижения компании.

В видео показано, как выставить настройки в A-Parser, чтобы парсить поисковую выдачу Яндекс по информационным запросам, и какие переменные нужны для парсинга. Дана подробная инструкция, как добавлять в A-Parser прокси и сервисы разгадывания капчи.

Также вы узнаете, как проверять качество ссылочной массы, рейтинг домена, беклинки и т.д.


Подписывайтесь на их телеграм-канал, там много полезной информации по SEO: https://t.me/seoantteam
 
Автоматизация в SEO: как заменить отдел джунов парсером?

Совсем недавно прошла юбилейная десятая онлайн-конференция по интернет-маркетингу Baltic Digital Days. Специалист по SEO Георгий Шилов выступил с докладом на тему "Автоматизация в SEO: как заменить отдел джунов парсером?"


В докладе содержится много полезной информации по использованию A-Parser. Вы узнаете:
  • Что такое парсер
  • Сколько стоит джун в SEO
  • Проблемы в SEO
  • Автоматизация рутинных задач
  • Кластеризация
  • Мониторинг позиций
  • Комбинируем пресеты для решения любых задач
  • Тех. анализ и мониторинг
и другие решения с помощью A-Parser

 
Что такое A-Parser?

Это быстрый парсер с уклоном на универсальность, удобность и прозводительность.
На данный момент умеет парсить:

Поисковые системы

  • google.gif
    Google
  • bing.gif
    Bing
  • yahoo.gif
    Yahoo
  • yandex.gif
    Yandex
  • qip.gif
    QIP - парсинг яндекса через search.qip.ru с выдачей до 5000 результатов с одного запроса
  • aol.gif
    AOL - парсер search.aol.com, этот поисковик использует американскую выдачу Google

Каждый парсер может парсить ссылки, анкоры, сниппеты, количество страниц

Для гугла умеет обходить ограничение в 1000 результатов(скоро и для всех остальных парсеров так же будет), т.е. по одному запросу собирает всю выдачу

Для Яндекса есть возможность распознавания каптчи через сервис AntiGate(или любой другой с поддержкой их API)

Парсеры кейвордов

Сервисы поиска ключевых слов


  • yandex-wordstat.gif
    Yandex WordStat - собирает все кейворды и количество показов до указанной страницы. Так же собирает дополнительные кейворды, показы по главному кейворду и дату обновления статистики. Может сам подставляет найденные ключевые слова в запросы до указанного уровня.

Подсказки поисковых систем

  • Подсказки и релейтед кеи Google
  • Подсказки и релейтед Bing
  • Подсказки, релейтед и трендовые кеи Yahoo
  • Подсказки и релейтед Yandex

Для подсказок Google и Yandex умеет автоматически собирать все кеи(подстановки до указанного уровня), для всех остальных парсеров такая возможность скоро так же появится

Параметры сайтов и доменов

  • alexa.gif
    Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, топ рейтинг по стране, саму страну и количество бек-линков
  • majesticseo.gif
    Rank::MajestiSEO - парсер количества беклинков с сервиса majesticseo.com, парсит количество ссылающихся страниц, количество уникальных IP-адресов, подсетей класса C и количество уникальных доменов
  • semrush.gif
    Rank::SEMrush - проверяет рейтинг SEMrush, количество SE траффика и его стоимость, количество Ads траффика и его стоимость
  • opensiteexplorer.gif
    Rank::OpenSiteExplorer - проверяет рейтинг домена\страницы по OpenSiteExplorer, а так же количество беклинков и бекдоменов
  • google-position.gif
    SE::Google::Position - проверка позиции домена по ключевому слову в Google
  • google-position.gif
    SE::Yandex::Position - проверка позиции домена по ключевому слову в Yandex
  • SE::QIP::Position - проверка позиции домена по ключевому слову в search.qip.ru
  • SE::Google::PageRank - PR страниц и доменов
  • SE::Google::SafeBrowsing - проверка домена в блеклисте гугла(подпись harm в выдачи)
  • SE::Yandex::TIC - проверка тематического индекса цитирования домена в Яндексе(тИЦ)
  • SE::DMOZ - наличие сайта в каталоге DMOZ
  • SE::Google::TrustCheck - проверка сайта на траст(доверие) гугла(дополнительный блок ссылок в выдаче и т.п.)
  • Net::Whois - определяет зарегистрирован домен или нет, а так же дату окончания регистрации
  • SE::Bing::LangDetect - определение языка сайта через поисковик Bing
  • Net::DNS - парсер резолвит домены в IP адреса
  • Rank::Category - автоматически определяет категорию сайта на английском языке, категории такие же как в dmoz.org, например google.com - Computers/Internet/Searching
  • Rank::CMS - определение около 200 видов CMS на основе признаков. Определяет все популярные форумы, блоги, CMS, гестбуки, вики и множество других типов движков


Парсеры различных сервисов

  • SE::YouTube - полноценный парсер YouTube, парсит ссылку на ролик, титл, описание, длину ролика, дату добавления, имя пользователя и количество просмотров. Поддерживает все фильтры YouTube
  • SE::Google::Maps - парсер ссылок в результатах выдачи в картах Гугла(Google Maps), позволяет искать сайты привязанные к определенной местности
  • SE::Yandex::Direct - парсер direct.yandex.ru, парсит список всех объявлений(титл, текст, домен) и кол-во объявлений по определенному запросу
  • SE::Google::Images - парсер Google Images, парсит прямые ссылки на картинки, сниппеты, разрешение и размер
  • SE::Bing::Translator - переводчик через сервис www.bing.com/translator/, поддерживает все языки сервиса, включая автоопределение языка оригинала текста
  • Util::AntiGate - распознавание каптчи через сервис AntiGate, служит для настройки и тестирования распознавания каптч

Парсинг контента

  • HTML::LinkExtractor - парсит внешние и внутренние ссылки с указанного сайта, может ходить по внутренним ссылкам до выбранного уровня.
  • Net::HTTP - скачивает указанную страницу, поддерживает многостраничный парсинг.

Планируется еще много парсеров в ближайшем будущем, все созданно для того чтобы быстро добавлять новые парсеры.

Обработка и фильтрация результатов

  • Фильтрация любого результата по вхождению строки, эквивалентности строк, регулярному выражению, больше, меньше, равно и т.п.
  • Уникализация любого результата по строке, домену, главному домену, папке, строке без учета параметров.
  • Парсинг любого результата с использованием регулярных выражений.

Не было бы никакого A-Parser'а если бы не он не имел все нижеперечисленные преимущества, оставляя остальные парсеры далеко в стороне:

  • Полностью интерактивный мега-юзабильный веб интерфейс
    • Быстрое добавление заданий - Quick Task, когда не нужны никакие настройки, а хочется только побыстрому спарсить результаты
    • Расширенный редактор заданий, позволяет комбинировать несколько парсеров в одном задании, к примеру можно одновременно парсить ссылки со всех парсеров поисковых систем, делать уник по всем результатам прямо в процессе работы и т.д.
    • Очередь заданий - статистика в реальном времени, выполнение одновременно нескольких заданий и т.д.
    • Встроенные подсказки для элементов управления позволяют просматривать хелп непосредственно в интерфейсе
    • Поддержка русского и английского языка
  • Огромная скорость работы, подробнее тут: Производительность
  • Поддержка двух самых популярных платформ - Linux и Windows, производительность под Windows фактически не отличается от Linux версии
  • User API - интеграция возможностей парсера в свои скрипты, подробнее тут: User API, взаимодействие с другими программами и скриптами
  • Открытая разработка, багтрекер, выслушивание всех мнений и их реализация
  • Первоклассная тех поддержка, знакомая многим по моему старому проекту - A-Poster'у
  • Данный список можно еще долго продолжать, в ближайшее время все уникальные возможности и подробное их описание появится в Wiki

Более подробное описание и скриншоты

Wiki - дополнительная информация, инструкции и т.д.

Скриншот интерфейса:
add-task.png


На данном скриншоте показан пример добавления задания на парсинг одновременно трёх поисковых систем - Google, Bing и Yahoo, одновременная уникализация по домену всех результатов

Ценовая политика

На данный момент продается версия Pro(все парсеры) и Enterprise(все парсеры + API)
  • Цена лицензии - 200$
  • Первый год обновления бесплатны, после первого года использования абонентская плата за обновления - 15$ за каждые 3 месяца(возможность работы без обновлений сохраняется)
  • Цена лицензии с API: +50$ к стоимости основной лицензии
  • Всем клиентам кто имеет лицензию на A-Poster - цена всего 150$
  • Комплект A-Parser + A-Poster всего за 300$!
  • Специальное предложение - всем покупателям A-Parser'а предоставляются приватные прокси на 20 потоков на 2 недели!

Лицензия позволяет запускать A-Parser на одном сервере\компьютере(напоминаю поддерживается работа на всех версиях Windows и Linux). Переносить можно бесплатно, нельзя запускать на нескольких компьютерах одновременно.

Для покупки парсера зарегистрируйтесь на сайте http://a-parser.com и свяжитесь со мной по любому из следующих контактов:
Предварительно перед покупкой с удовольствием отвечу на любые ваши вопросы, а также возможно обсуждение реализации недостающего вам функционала.
 
Качественный софт, который помогает с высокой скоростью парсить различные данные. Огромные плюсы, это апи, многопоточность и скорость. В результате чего отлично интегрируется с различными сторонними скриптами. Поддержка реагирует на все запросы быстро!
 
Сборник рецептов #52: чекер e-mail, отзывы Wildberries и двойные ссылки в выдаче Google

52-й сборник рецептов, в котором опубликованы парсер для универсальной проверки e-mail, парсер отзывов из Wildberries и пресет для сбора двойных ссылок одного сайта из выдачи Google.

Универсальный чекер e-mail

Парсер для универсальной проверки почт. Делается проверка на валидность, на наличие MX записей и на существование почты.

w0zcz_220823184348.png


Парсер отзывов Wildberries Reviews

Парсинг отзывов из Wildberries в CSV таблицу с возможностью задать локацию и необходимое кол-во отзывов.

2022-08-31-18-24-55.png


Сбор двойных ссылок одного сайта из Google выдачи

Парсинг двойных ссылок одного сайта с первой страницы выдачи Google в CSV таблицу.

3thet_220901100307.png



Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 
Сборник рецептов #52: чекер e-mail, отзывы Wildberries и двойные ссылки в выдаче Google

52-й сборник рецептов, в котором опубликованы парсер для универсальной проверки e-mail, парсер отзывов из Wildberries и пресет для сбора двойных ссылок одного сайта из выдачи Google.

Универсальный чекер e-mail

Парсер для универсальной проверки почт. Делается проверка на валидность, на наличие MX записей и на существование почты.

w0zcz_220823184348.png


Парсер отзывов Wildberries Reviews

Парсинг отзывов из Wildberries в CSV таблицу с возможностью задать локацию и необходимое кол-во отзывов.

2022-08-31-18-24-55.png


Сбор двойных ссылок одного сайта из Google выдачи

Парсинг двойных ссылок одного сайта с первой страницы выдачи Google в CSV таблицу.

3thet_220901100307.png



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

чекер почт с проксями можно использовать?
 
Курс "Специалист по дропам и PBN с нуля до профи" используя A-Parser (+включает лицензию)

kodii3.jpg

Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 26 сентября.

Что это за обучение?
Практический курс, после которого вы научитесь и узнаете:

— какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится
— как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло
— как строить PBN, что с ними делать дальше и как на них зарабатывать
— как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики

Для кого это обучение?
— Для seo-мастеров, которые хотят продвигать сложные ниши в различных гео. Для тех, кто ищет новые методы линкбилдинга. Для тех, кто хочет в текущей компании повысить компетенции и доход
— Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая -
kodii3_review.jpg
 
чекер почт с проксями можно использовать?

ВНИМАНИЕ: Подключение к SMTP серверам осуществляется без прокси (вне зависимости от настроек пресета), поэтому возможен бан IP с которого осуществляется парсинг.
 
1.2.1661 - новые парсеры: Яндекс Балабоба и позиции в DuckDuckGo, улучшения во встроенных парсерах

1.2.1661.png


Улучшения
  • Добавлен парсер позиций DuckDuckGo:
    se-duckduckgo-position.png
    SE:: DuckDuckGo:: Position
  • Добавлен парсер Яндекс Балабоба:
    se-yandex-balaboba.png
    SE::Yandex::Balaboba
  • Реализована работа с (другой софт) через API Antigate v2
  • Добавлена передача кук Google при включении опции ReCaptcha2 pass proxy в
    se-google.png
    SE::Google
  • Обновлен список доменов в
    se-yandex.png
    SE::Yandex
  • В связи с тем, что Яндекс теперь всегда выдает по 10 результатов на страницу, в
    se-yandex.png
    SE::Yandex убран параметр Links per page
  • В
    html-linkextractor.png
    HTML::LinkExtractor и
    check-backlink.png
    Check::BackLink добавлен сбор <a> тега
  • В
    shop-aliexpress.png
    Shop::AliExpress добавлена поддержка сессий
  • В
    html-emailextractor.png
    HTML::EmailExtractor добавлена опция Skip meta tags, при ее включении указывает парсеру не собирать почты в meta тегах
  • В парсере
    deepl-translator.png
    DeepL::Translator актуализирован список языков
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлен выбор региона в
    se-yandex.png
    SE::Yandex
  • Исправлена обработка url с кириллицей в PAA
    se-google.png
    SE::Google
  • Исправлена работа
    se-google-keywordplanner.png
    SE::Google::KeywordPlanner, в некоторых случаях парсер не видел ответ и ошибочно повторял попытки
  • Исправлена ошибка логина в парсере
    se-yandex-direct.png
    SE::Yandex:: Direct
  • В
    se-yandex-register.png
    SE::Yandex::Register исправлен баг при отображении Яндексом ошибки о некорректном номере телефона или о других проблемах
  • se-google-translate.png
    SE::Google::Translate - в некоторых случаях парсинг завершался с ошибкой
  • Исправлен баг с ошибочным выводом результатов в
    net-http.png
    Net::HTTP при сборе через регулярку, в случаях когда один запрос отработал успешно, а другой нет, и второй вывел результаты первого
  • Исправлена ошибка с висящими процессами Chrome после завершения задания на Windows 11
  • Исправлена доступность fs.constants

 
Сборник статей #16: вывод результатов в JSON, синхронизации файлов и SEO кейс продвижения сайта

Представляем 16-й сборник статей, в который вошли статья о вариантах вывода результатов в JSON виде, статья о синхронизации А-Парсеров на разных ПК с помощью Google Диск и SEO кейс продвижения сайта с выходом на иностранный рынок.

Обзор вариантов вывода результатов в JSON виде

Полный обзор всех возможных способов вывода результатов в JSON виде с примерами: вывод в JSON для одиночных запросов, формирование JSON построчно, формирование объекта в памяти и вывод результатов в JSON в конце работы задания.

kmana_220929161801.png


Синхронизация А-Парсеров на разных ПК с помощью Google Диск (Google Drive)

В этой статье описывается как синхронизировать файлы А-Парсера, конфиги, все настройки которые вы сделали на одном ПК, с другим ПК.
В качестве инструмента будет использоваться простой и бесплатный Google Диск (Google Drive) с помощью которого вы можете хранить и передавать коллегам файлы и папки, а также работать над ними вместе с другими пользователями на компьютере или мобильном устройстве.

2022-10-03-13-47-47.png


Как мы потратили 1 млн рублей для выхода на иностранный рынок SEO: кейс с расходами и результатами

Статья на vc.ru о том, как мы за 3 месяца вывели сайт с нуля в топ по Южной Африке. Делимся готовой пошаговой схемой быстрого вывода сайта на иностранный рынок, с данными по нагрузке сотрудников, расходами, таблицами и примерами ТЗ.
Для массовой проверки выдачи Google использовался Python и парсер A-Parser.
Кейсы по применению нашего парсера Google и его описание:
https://a-parser.com/docs/parsers/se-google

anfshkfakrfkdjea5g.png


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 
Сборник рецептов #53: популярные запросы Google Trends, парсер yep.com и проверка домена в выдаче

53-й сборник рецептов, в котором собраны парсер популярных запросов за сутки на Google Trends, парсер yep.com и пресет для проверки на содержание доменов в выдаче.

Парсинг популярных запросов за сутки Google Trends

Парсер для сбора поисковых трендов за сутки с Гугл Трендс. Собираются дата, название запроса, трафик, похожие запросы и ссылка на позицию.

2022-10-07-17-40-36.png


Парсер yep.com

Простой пресет для парсинга поисковой системы yep.com.

ext3j_221013133702.png


Yandex - проверка на содержание доменов в выдаче

Пресет для проверки на содержание доменов в выдаче с записью в разные файлы результатов по условию.

2022-09-06-17-03-17.png


Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 
чтобы не тратить времени купил апарсер прошку чтобы спарсить букварикс... в итоге оказывается что плагин ***** работает! пздц
вы или удалите его или еще что а не вводите людей в заблуждение!
А то не парсит он видете ли потому что много запросов к апи... еще и г***о прокси на 100 потоков
жалею что приобрел
 
1.2.1683 - новый парсер Cloudflare::Radar, поддержка сервиса CaptchaAI, исправления ошибок

1.2.1683.png


Улучшения

Исправления в связи с изменениями в выдаче

Исправления
  • Исправлено лишнее использование сессии на последней попытке в
    se-google.png
    SE::Google
  • Исправлен парсинг поисковой выдачи Яндекс, когда в выдаче только 1 результат
  • Исправлена ошибка в
    telegram-groupscraper.png
    Telegram::GroupScraper, из-за которой парсились не все имена и ссылки на логины
  • Исправлен баг в
    se-yandex-position.png
    SE::Yandex:: Position, из-за которого ошибочно осуществлялся поиск по запросу вместе с искомым доменом
  • Исправлена проблема в
    check-roskomnadzor.png
    Check::RosKomNadzor, из-за которой при массовом парсинге иногда не менялась прокси
  • В
    html-linkextractor.png
    HTML::LinkExtractor исправлен сбор внутренних ссылок после редиректа
  • Puppeteer: улучшена работа с сайтами, запрашивающими доступ в модальном диалоге

 
чтобы не тратить времени купил апарсер прошку чтобы спарсить букварикс... в итоге оказывается что плагин ***** работает! пздц
вы или удалите его или еще что а не вводите людей в заблуждение!
А то не парсит он видете ли потому что много запросов к апи... еще и г***о прокси на 100 потоков
жалею что приобрел

Это не в парсере проблема, а в том что букварикс сами отключают свое free api из-за нагрузок (это подтверждает их поддержка). Вы легко может в этом убедиться, протестировав в браузере (именно их free api), перейдите по ссылке - http://api.bukvarix.com/v1/keywords/?q=тест&api_key=free&format=json&num=1000 - там есть ссылка на описание ошибок.

Планируется добавление возможности работать через платное апи, а также парсить веб версию используя Chrome. Пока не реализовано, вы можете при помощи NET::HTTP или JS парсера создать пресет для парсинга букварикс.
 
  • Спасибо
Реакции: sydoow

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)