A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

[ivan777]

спасибо за отличный софт!

 

[Alex101]

Пользуюсь больше года. В самом начале было немного трудно привыкнуть к интерфейсу, но со временем все стало понятно. Поддержка на уровне, очень оперативно. Обновы постоянные. Много готовых модулей под разные задачи. Продуктом доволен.

 

[A-Parser Support]

1.2.1076 - 3 новых парсера, завершение перехода на Node.js, интеграция puppeteer в сборку

Улучшения

• В связи с переводом основных встроенных парсеров на новую платформу Node.js, полностью переписаны и обновлены парсеры:
  • 
    Net::HTTP
  • 
    HTML::LinkExtractor
  • 
    HTML::TextExtractor
  • 
    HTML::TextExtractor::LangDetect
  • 
    Check::BackLink
• Основные улучшения от перевода данных парсеров на Node.js:
  • увеличение производительности в ~1.5 раза
  • унификация HTTP движка с JavaScript парсерами, единый обход CloudFlare
• Добавлены новые парсеры:
  • 
    DeepL::Translator
  • 
    Rank::Ahrefs::KeywordDifficulty
  • 
    Rank::Ahrefs::KeywordGenerator
• В
  
  HTML::EmailExtractor добавлена опция Skip non-HTML blocks, позволяющая отключить сбор почт внутри тегов script, style и т.п.
• В
  
  SE::Google::Translate добавлены новые переменные:
  • $translit_orig - оригинальный текст транслитом
  • $translit_translated - переведенный текст транслитом
  • $variants.$i.text - список вариантов перевода оригинального текста
• В
  
  SE::Bing обновлен список регионов и языков
• В
  
  Social::Instagram:: Profile и
  
  Social::Instagram:: Post добавлена возможность собирать кол-во видеопросмотров
• В
  
  SE::Yandex::Translate добавлена возможность отключать использование сессий
• В
  
  Net::HTTP добавлена возможность указывать user-agent для Chrome
• В парсере
  
  Rank::MOZ исправлена ошибка, возникающая при вызове парсера из JS методом this.parser.request().
• В
  
  Rank::CMS добавлена поддержка нового apps.json и возможность использовать
  
  Net::HTTP
• В
  
  Net::Whois обновлена поддержка всех зон
• Для проксичекеров добавлена опция Exclude from "All", а также сделаны изменения в логике:
  • "All" - использует все прокси выбранные для задании
  • конкретный проксичекер - использует его, даже если он не выбран в задании
• Добавлена поддержка устаревших версий SSL
• JS парсеры: Добавлена опция tlsOpts для this.request(), позволяет передавать настройки для https соединений
• JS парсеры: обновление Node.js с 14.2.0 до 14.15.0
• JS парсеры: модуль puppeteer включен в сборку А-Парсера и не требует отдельной установки

Исправления в связи с изменениями в выдаче

• Множество различных исправлений в
  
  SE::Google и
  
  SE::Yandex в связи с изменениями в выдаче
• В
  
  SE::Yandex удалена функция автораспознавания каптч в связи с изменением вида каптч
• Исправлена работа
  
  SE::Google::Translate
• В
  
  HTML::EmailExtractor исправлена ошибка, при которой пропускались большие блоки html
• Исправлена ошибка в
  
  Social::Instagram::profile из-за которой не парсилось больше одной страницы
• Исправлена авторизация в
  
  SE::Google::KeywordPlanner
• В
  
  SE::Google::TrustCheck исправлено определение горизонтальных блоков ссылок
• В
  
  SE::Baidu исправлен парсинг related keywords
• В
  
  Shop::Amazon исправлен сбор продавцов, а также исправлена ошибка, связанная с количество страниц
• Исправлен
  
  Rank::Linkpad, а также в нем удалена переменная $links_cost, т.к. этого показателя больше нет на источнике
• В
  
  Rank::Social::Signal в связи с неактуальностью удалена переменная $googleplus_like
• В
  
  Rank::CMS исправлено определение по признакам скриптов для нового apps.json
• Также адаптированы к изменениям в выдаче:
  
  SE::Yandex::Translate,
  
  SE::MailRu,
  
  Rank::MajesticSEO,
  
  SE::Yandex:: Direct,
  
  SE::Google::ByImage,
  
  Rank::Ahrefs,
  
  Shop::eBay,
  
  SE::Yandex::Register,
  
  SE::Seznam,
  
  Shop::Yandex::Market,
  
  SE:: Dogpile,
  
  SE:: Dogpile::Images,
  
  SE::Startpage,
  
  SE::Baidu,
  
  Shop::AliExpress,
  
  SE::Youtube,
  
  Rank::Social::Signal,
  
  SE::Yandex::SQI,
  
  SecurityTrails:: Domain

Исправления

• В
  
  SE::Yandex исправлена работа Extra query string
• Исправлено регулярное выражение в
  
  HTML::EmailExtractor для устранения ошибок в некоторых случаях
• Исправлено поведение парсера
  
  SE::Google::KeywordPlanner при отсутствии результатов по запросу
• 
  Maps::Yandex исправлен и переведен на puppeteer
• Исправлена ошибка в приоритетах выбора проксичекера
• JS парсеры: исправлен follow_meta_refresh
• API: исправлена работа параметра rawResults

 

[A-Parser Support]

Сборник рецептов #45: парсеры Google Places и prom.ua, получение характеристик картинок "на лету"

45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

Парсер Google Places

Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.

Парсер prom.ua

Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.

Скачивание картинок

В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

[A-Parser Support]

1.2.1148 - накопительное обновление встроенных парсеров и исправление Bypass Cloudflare

Улучшения

• В
  
  HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
• Повышена производительность
  
  Shop::Yandex::Market
• В
  
  Check::RosKomNadzor добавлена возможность выбирать источник для проверки
• 
  Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
• В
  
  Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
• В
  
  Rank::Ahrefs расширен перечень собираемых данных
• В
  
  SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
• Реализована возможность использовать прокси с одним IP:port, но с разными логинами

Исправления в связи с изменениями в выдаче

• Множество различных адаптаций к изменениям в верстке страниц с результатами в
  
  SE::Google и
  
  SE::Yandex
• Множество исправлений в
  
  Rank::MajesticSEO, связанных с постоянными изменениями в логике запроса и верстке страницы
• В
  
  Rank::Alexa::API исправлено получение кода страны
  В
  
  Rank::Ahrefs исправлен парсинг рейтинга
• Исправлена работа с каптчами в
  
  SE::Yandex,
  
  SE::Yandex::SQI,
  
  SE::Yandex::Images
• Исправлен парсинг $keywords в
  
  SE::Yandex::ByImage
• Исправлена работа
  
  SE::Yandex:: Direct,
  
  SE::Ask,
  
  SE::Baidu,
  
  SE::Bing::Suggest,
  
  Rank::KeysSo,
  
  SE::Google::TrustCheck,
  
  SE::Google::ByImage,
  
  Check::RosKomNadzor,
  
  SE::Seznam,
  
  SE::MailRu,
  
  Rank::Ahrefs,
  
  Rank::Ahrefs::KeywordDifficulty,
  
  Rank::Ahrefs::KeywordGenerator

Исправления

• Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
• Исправлена ошибка в
  
  Maps::Yandex, из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
• В
  
  SE::Youtube исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
• В
  
  SE::Google::KeywordPlanner исправлена авторизация
• Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
• Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий

 

[ial1408]

Всем доброго времени суток. Давно смотрю на эту программу и никак не могу понять зачем она нужна если есть зеннопостер. Это ни в коем случае не подкол, действительно хочу понять. То чувство когда понимаешь что тебе программа нужна, но не понимаешь зачем и как она заменит зенно. Наверное я на форуме не один такой.

 

[Astraport]

Всем доброго времени суток. Давно смотрю на эту программу и никак не могу понять зачем она нужна если есть зеннопостер. Это ни в коем случае не подкол, действительно хочу понять. То чувство когда понимаешь что тебе программа нужна, но не понимаешь зачем и как она заменит зенно. Наверное я на форуме не один такой.

По сути это конкурент.
Говорят, в чём-то удобнее и быстрее. Но по функционалу в разы проще.
И для полноценной работы потребуются продвинутые знания JS.

 

[John Wick jr.]

подскажите, кто использует a-parser, прикрутили поддержку node js, casper js и т.п. давненько смотрел на этот софт, но отпугивала цена учитывая наличие content downloader'a.

 

[profi88]

Всем привет!
У кого есть шаблон парсера под гугл?

 

[ivan777]

не очень ясно, что имеется ввиду шаблон парсера под гугл, т.к. их встроенных несколько
вот валидатор майлов у них пушка https://a-parser.com/resources/144/

 

[sls]

Недавно перешёл на a-parser полностью всем доволен, удобно ставится на нужный сервер + доступ по вебу с любого устройства. У них же можно купить и нужное количество прокси. В общем, моим задачам под парсинг полностью соответствует. Отличный софт, всем рекомендую!

 

[uuw]

node js

в основное впилили

Улучшение - [1.2.1016] Обновлены Net::HTTP, HTML::LinkExtractor, TextExtractor/LangDetect и Check::BackLink

Мы заканчиваем переход основных встроенных парсеров на новую платформу NodeJS, обновлены парсеры: Net::HTTP HTML::LinkExtractor HTML::TextExtractor...

a-parser.com

как и Puppeter

 

[uuw]

зачем и как она заменит зенно

Не ты, а дядя и очень быстро и качественно за каждым чихом того же гугла в верстке и т.п. правит парсеры. По флагманским парсерам обычно менее суток на починку из опыта.
Если не пипец конечно как в мае прошлого года, когда передастию рекапчи перетрахнули.
Ну а по производительности, в 100 потоков парс гугла на средней паршивости компе с рекапчей на про кого нельзя говорить спокойно тянет.
ryzen 3600 с 32гигами озу.
Зенка - она ведь про другое.

 

[A-Parser Support]

Обновление документации и курс по заработку на PBN используя A-Parser

Обновленная документация

Мы не стоим на месте: постоянно совершенствуем наш продукт, расширяем его функционал, ориентируясь на сегодняшние потребности пользователей и на удобство использования A-Parser. В соответствии с этим мы полностью обновили нашу техническую документацию, в первую очередь изменили интерфейс, создали логичную структуру разделов, предусмотрели удобную навигацию и поиск.

Кроме дополнения и обновления существующей документации добавлены новые, ранее не публиковавшиеся разделы:

• настройка и работа с Docker
• новое API v2 для написания JS парсеров с использованием TypeScript
• использование Chrome с прокси с помощью Puppeteer
• взаимодействие с A-Parser через Redis API
• использование Node.js модулей

Также, для всех встроенных парсеров добавили блоки с примерами их использования. Вся документация сопровождается скриншотами и различными примерами, большинство из которых можно импортировать в свой А-Парсер и изучить.

Обновленная документация еще будет расширяться и дополняться, но Вы уже сейчас можете ознакомиться с ней, перейдя по ссылке: https://a-parser.com/docs/

Курс по заработку на PBN используя A-Parser(+включает лицензию)

Наш хороший друг Николай Кодий запускает второй набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов. Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов. Данный курс без "воды" — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. Курс насыщен практикой на реальных задачах. Каждый выпускник сможет в дальнейшем сотрудничать с Николаем или получить рекомендацию от него и контакты компаний, которые часто ищут специалистов по PBN. Подробнее о курсе читайте в его телеграм-канале https://t.me/mypbn/1113

 

[A-Parser Support]

Сборник рецептов #46: парсинг сообщений из Viber, корейский поисковик и сбор контактов организаций

46-й сборник рецептов, в который вошли парсер сообщений Viber, парсер корейского поисковика и пресет для сбора контактов организаций из каталога.

Парсер Viber - сбор сообщений из публичных групп вайбер

В А-Парсере уже довольно давно существует парсер для сбора сообщений из публичных групп в Telegram. Представляем аналогичное решение для не менее популярного мессенджера - Viber.

Парсер корейского поисковика Daum.net

Еще один парсер поисковых систем, на этот раз корейской daum.net

Парсинг контактов организаций из ua-region.info

Пресет для сбора телефонов, почт, сайтов, адресов и прочей информации из каталога организаций ua-region.info

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

[artem1024]

Безальтернативное решение для парсинга в интернете. Имеет огромное количество встроенных парсеров, позволяет создавать кастомные парсеры на javascript, работает на всех операционках и взаимодействует с любым другим софтом через апи. Продуктом очень доволен.

 

[A-Parser Support]

1.2.1239 - обновление Node.js, поддержка ReCaptcha v3 и Smart captcha, исправление ошибок

Улучшения

• Node.js обновлен до версии 15.14.0
• Добавлена возможность разгадывать Google ReCaptcha v3 в виде нового парсера
  
  Util::ReCaptcha3
• В
  
  SE::Yandex, а также в некоторых других парсерах Яндекса реализована обработка новой Smart captcha
• В
  
  Rank::MajesticSEO добавлен режим парсинга через Chrome
• В
  
  SE::
  DuckDuckGo актуализированы языки и регионы
• В
  
  SE::Google::Cache добавлена возможность использовать сервисы разгадывания рекаптч
• В
  
  SE::YouTube добавлен сбор ссылок на канал
• Актуализирован список языков в
  
  DeepL::Translator
• Теперь в
  
  SE::Bing при обнаружении бана, прокси банится парсером вместо простой смены
• В
  
  Shop::Amazon обновлен юзер-агент, за счет чего выросла производительность

Исправления в связи с изменениями в выдаче

• Множество адаптаций
  
  SE::Google и
  
  SE::Yandex к изменениям в верстке страниц с выдачей
• Исправлен постоянный бан запросов в
  
  SE::Google::Cache и
  
  SE::Bing
• Исправлен проход по пагинации в
  
  SE:: DuckDuckGo
• В
  
  SE::Youtube исправлен подсчет кол-ва результатов и определение существования следующей страницы
• Исправлена работа с каптчей в
  
  Shop::Amazon
• Исправлена разбивка на блоки больших запросов в
  
  SE::Yandex::Translate
• Исправлены
  
  SE::Bing,
  
  SE::MailRu,
  
  SE::MailRu:: Position,
  
  SE::Google::Compromised,
  
  Rank::MajesticSEO,
  
  Rank::KeysSo,
  
  SE::Yandex:: Direct,
  
  SecurityTrails::IP,
  
  Net::Whois,
  
  SE::Bing::Translator,
  
  SE:: DuckDuckGo,
  
  Social::Instagram:: Profile,
  
  Shop::Yandex::Market,
  
  Rank::Ahrefs::KeywordGenerator,
  
  Rank::Ahrefs::KeywordDifficulty,
  
  SE::Seznam,
  
  Shop::Amazon,
  
  Rank::Linkpad

Исправления

• Исправлен баг в
  
  HTML::LinkExtractor, из-за которого парсинг по запросу останавливался с ошибкой
• В
  
  Rank::MOZ исправлено отсутствие повторных попыток, а также изменена логика определения неудачных запросов
• Исправлена ошибка проверки прокси, если в пароле был символ "*"
• Исправлен баг, из-за которого при использовании шаблонизатора в Additional headers переставал работать Check content
• Исправлена логика проверки результатов в
  
  SE::Bing::Images
• Исправлена работа XPath
• Исправлена утечка памяти: при длительной работе процесс node.js постепенно заполнял всю доступную оперативную память
• Исправлена работа с прокси на некоторых сайтах, баг появился в одной из предыдущих бета-версий

 

[A-Parser Support]

Курс по заработку на PBN используя A-Parser(+включает лицензию)

Наш хороший друг Николай Кодий запускает очередной набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Курс учит профессии или помогает в ней прокачаться и упорядочить знания.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Данный курс без "воды" и с живыми вебинарами, с разборками домашних заданий — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. А, кроме того, сможете попрактиковаться в поиске дропов на продажу. И поднятии на них сеток, для себя или на продажу.

Курс насыщен практикой на реальных задачах. Каждый выпускник получает весь необходимый инструментарий. Многие из выпускников потом находят работу в хороших компаниях или работают на себя.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link

 

[A-Parser Support]

47-й сборник рецептов, в который вошли парсер данных о Youtube каналах, парсер отзывов из Google Play и универсальный чекер изменений на страницах с уведомлением в Telegram.

Парсинг данных о Youtube канале
Парсер для сбора информации о каналах на Youtube. Данный парсер собирает описания каналов, дату регистрации, общее количество просмотров, страну, ссылки и email, если он есть в описании.

Парсинг отзывов Google Play Market
Парсер комментариев к приложениям в Google Play, который позволяет парсить как тексты отзывов, так и различную информацию: имя автора, аватар, дату и рейтинг.

Универсальный чекер апдейтов(текста, цен и т.п.) на страницах с уведомлением в Telegram
Данный парсер позволяет отслеживать изменения на различных страницах и получать уведомления в Telegram. Особенностью парсера является возможность гибко добавлять признаки для разных сайтов без необходимости вмешиваться в код. Также парсер формирует отчет, в котором видно сколько раз сработали и сколько уведомлений было отправлено.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

[A-Parser Support]

1.2.1294 - новые опции и расширение перечня типов собираемых данных в некоторых парсерах, багфиксы

Улучшения

• В
  
  SE::Google добавлены новые опции:
  • Exact match - соответствует опции в поисковике "Точное соответствие"
  • Safe search - позволяет включать/отключать Безопасный поиск Google
• В
  
  SE:: DuckDuckGo добавлены опции Safe search и Serp time, а также исправлены мелкие ошибки в логике работы
  
• В
  
  SE::Google::Trends добавлена опция Use empty queries(ignore query value) которая позволяет осуществлять поиск по категории
  
• В
  
  SE::Yandex:: Direct реализована поддержка каптч, а также добавлена переменная, позволяющая различать органическую и рекламную выдачу
  
• В
  
  SE::YouTube добавлена возможность парсить "Похожие запросы", а также собирать дату добавления видео
  
• В
  
  SE::Yandex::Suggest добавлен выбор способа запроса, один из которых позволяет собирать все расширенные подсказки (реклама, факты, ссылки на сайты)
• В
  
  Net::HTTP добавлена опция Don't verify TLS certs
  
• В
  
  Google::Maps добавлена возможность парсить ссылку на карточку компании
  
• Добавлено обнаружение ограниченных (18+) профилей в
  
  Social::Instagram:: Profile
  
• Улучшена поддержка доменных прокси
  
• Исправлена работа с await this.request в JavaScript API v2
  
• Реализован автоматический запуск заданий в статусе Some error при перезагрузке A-Parser
  
• Добавлен флаг статичного формата имени файла результата, который позволит более гибко называть файлы и при этом сохранять возможность получать ссылки на них через getTaskResultsFile

Исправления в связи с изменениями в выдаче

• Исправлено определение AMP ссылок в
  
  SE::Google
  
• Исправлен парсинг рекламных анкоров в
  
  SE::Yandex
  
• Исправлена проблема со 100%-м баном запросов в
  
  SE::Bing
• Исправлена работа
  
  Net::Whois с доменной зоной .sex
  
• В
  
  Shop::AliExpress изменился набор собираемых данных
  
• Адаптация к изменениям в верстке:
  
  SE::Google,
  
  SE::Yandex,
  
  SE::Bing,
  
  SE::Seznam,
  
  Rank::MOZ,
  
  DeepL::Translator,
  
  HTML::LinkExtractor,
  
  SE::Startpage,
  
  SE::Yandex::ByImage,
  
  Rank::MajesticSEO,
  
  Shop::Yandex::Market,
  
  SE::Rambler,
  
  SE::YouTube

Исправления

• Исправлена работа с поисковыми операторами в
  
  SE:: DuckDuckGo
  
• Исправлена работа
  
  SE::Google::Translate с некоторыми языками
  
• Исправлена работа Redis API, проблема появилась в одной из предыдущих версий

 

[A-Parser Support]

Дорогие друзья!

Наш партнёр, международная финансовая партнёрская сеть Leadgid, подготовила бонусы для новых пользователей!

Регистрируйтесь уже сейчас, лейте трафик и получайте бонус +10% к первой выплате. Для этого достаточно сообщить своему менеджеру промокод APARSERSTART10

В Leadgid вы можете найти более 500 финансовых офферов и более 30 ГЕО.

В арсенале партнёрки есть офферы не только по СНГ, но и по всему миру: Испании, Эстонии, Польше, Мексике, Вьетнаму, США и многим другим странам!

Leadgid известен в арбитражных кругах своим насыщенным нетворкингом и крутыми конкурсами. Принимайте участие в новом конкурсе "Остров Сокровищ Leadgid" и летите вместе с Leadgid на Мальдивы, где вас будет ждать грандиозная вечеринка с розыгрышем главных призов!

Регистрация по ссылке: https://my.leadgid.com/?utm_source=aparser&utm_medium=referral&utm_campaign=collab

______________________________________________________________

А также, мы представляем видео уроки по работе с A-Parser от DIM STUDIO. На данный момент уже доступно 13 уроков и их список будет пополняться.

Плейлист со всеми видео уроками
A-Parser - первый видеоурок - ЗНАКОМСТВО

Список тем:

1. Знакомство. Установка, первичная настройка, запуск первого проекта.
2. A-Parser - (другой софт): Подключаем и проверяем.
3. Сбор главныx страниц phpbb форумов.
4. Как собрать DLE сайты через проверку HTML кода.
5. Последовательный сбор трёх движков статистики (Refspam).
6. Сбор ников с сайтов.
7. Поиск активных ссылок в отчётах (другой софт) + Nofollow.
8. Сбор базы форм обратной связи для (другой софт).
9. Импорт/Экспорт пресетов.
10. Поиск движка AWSTATS.
11. Определяем движки из баз для (другой софт) с помощью Rank::CMS.
12. Сбор базы ключевых слов через Rank::Bukvarix::Keyword.
13. Собираем данные из групп Telegram.

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[A-Parser Support]

Сборник статей #13: работа с MongoDB и поиск дроп доменов

Представляем 13-й сборник статей, в который вошли статья о работе с MongoDB и статья по поиску дроп доменов с использованием A-Parser.

Пример интеграции А-Парсера с MongoDB. CRUD Операции

В данной статье рассмотрен пример интеграции А-Парсера с MongoDB. В частности показаны CRUD операции. В качестве хранимых данных в базе используются результаты работы парсера поисковой выдачи Bing.

Дроп домены: для построения сеток PBN

PBN, или Private Blog Network — это сетка сайтов, созданных для того, чтобы с них проставлять ссылки на свои «белые» проекты для выхода в ТОП в высококонкурентных нишах. Такая сетка строится на дроп-доменах, поскольку у них есть история (конечно же, она должна быть чистой), траст, беклинки и даже трафик. В этой статье на конкретном примере показан пример решения задачи по поиску дропов с использованием A-Parser.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 

[A-Parser Support]

1.2.1325 - новые парсеры Pinterest, улучшения в существующих парсерах, исправление ошибок

Улучшения

• Добавлены парсеры Pinterest:
  • 
    SE:: Pinterest - парсинг поисковой выдачи Pinterest
  • 
    SE:: Pinterest::Suggest - парсинг подсказок Pinterest с возможностью парсить в глубину
• В
  
  SE::Google добавлен парсинг исправленного запроса
  
• В
  
  SE:: Dogpile::Images добавлена поддержка рекаптч
  
• В
  
  Shop::Yandex::Market добавлен сбор количества покупок и просмотров
  
• В
  
  HTML::EmailExtractor улучшено обнаружение почт, защищенных CF

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке в
  
  SE::Google и
  
  SE::Yandex
  
• Исправлено определение turbo страниц в
  
  SE::Yandex
  
• Исправлена и оптимизирована работа
  
  SE::Google::TrustCheck и
  
  SE::Google::Compromised
  
• 
  SE::Google::Cache,
  
  SE:: DuckDuckGo,
  
  Rank::Alexa,
  
  Rank::Ahrefs

Исправления

• Исправлена проблема с распознаванием символов диакритики
• Устранены падения при ошибках в некоторых API запросах
• Исправлены зависания при парсинге
  
  SE::Yandex с использованием аккаунтов
  
• Исправлена ошибка распознавания дат в
  
  Net::Whois, а также адаптирован сбор данных для некоторых зон
• Исправлена ошибка выбора IP для (другой софт)/CapMonster в
  
  Util::ReCaptcha2
• Исправлена ошибка с указанием Provider url в
  
  Util::ReCaptcha2
  
• Исправлена ошибка при которой отсутствовал объект с перечнем редиректов в
  
  Net::HTTP при Engine = Chrome
  
• Исправлена работа
  
  Net::HTTP с http сайтами при Engine = Chrome
• JS парсеры: исправлена работа noChange в this.proxy.set()
• JS парсеры: исправлена ошибка, при которой set.lvl был пустой при вызове другого парсера из JS парсера
• Исправлена работа кнопки Выход

 

[A-Parser Support]

Сборник рецептов #48: скорость загрузки сайтов, парсер SocialBlade и определение категорий сайтов

48-й сборник рецептов, в котором собраны пресеты для сбора данных о скорости загрузки сайтов, парсинга статистики из SocialBlade и определения категорий сайтов.

Получение показателей скорости загрузки сайтов с помощью Chrome UX Report Compare Tool

Пресет для сбора данных о скорости загрузки сайтов/страниц с возможностью выбрать платформу (Desktop/Mobile/All). С его помощью можно массово измерить скорость по большим спискам сайтов и сравнить их производительность.

Парсинг статистики с Social Blade

Парсер для сбора данных из сервиса socialblade.com. С его помощью по ключевому слову, имени, бренду можно найти пользователей по социальным платформам, собрать количества подписчиков и спарсить теги твича.

Проверка категории сайтов через сервис cyren.com
Парсер сервиса cyren.com. С его помощью можно определить категорию сайта, а также собрать Alexa rank и некоторые Whois данные.

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

 

[A-Parser Support]

Видео урок: Сбор форм обратной связи с тематических ресурсов +200 OK

Новый видео урок по работе с A-Parser от DIM STUDIO, в котором рассмотрен способ сбора форм обратной связи с тематических ресурсов.

В данном уроке показано как собрать формы обратной связи с тематических ресурсов с последующей проверкой на 200 OK через A-Parser для подготовки к последующему прогону через (другой софт).

Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

 

[A-Parser Support]

1.2.1353 - Обновление NodeJS, поддержка Windows 11 и Windows Server 2022

Улучшения

• NodeJS обновлен до версии 16.11.0
  
• Добавлена полная поддержка ОС Windows 11 и Windows Server 2022
  
• В
  
  SE::Google::Translate добавлена опция Device, которая позволяет переключаться между mobile и desktop версиями переводчика
• Улучшена работа с очень большими запросами в
  
  DeepL::Translator
  
• Улучшен алгоритм разделения запросов на части в
  
  SE::Yandex::Translate, теперь он максимально приближен к оригиналу
  
• В
  
  SE::Google::Cache добавлена переменная $link, содержащая ссылку из тулбара
• В
  
  Shop::Amazon добавлена возможность парсить ASIN товаров
• В
  
  Rank::MajesticSEO добавлена возможность собирать Incoming Languages и Site Languages

Исправления в связи с изменениями в выдаче

• Исправлен парсинг рекламы в
  
  SE::Google
• Исправлен парсинг $related в desktop выдаче
  
  SE::Yandex
  
• Исправлен парсинг сниппетов в desktop выдаче и парсинг mobile выдачи в целом в
  
  SE::Bing
  
• Исправлена работа парсеров
  
  Rank::Ahrefs и
  
  Rank::Ahrefs::KeywordDifficulty
• Rank::LinkPad удален из сборки в связи с закрытием доступа к данным
  
• Исправлен парсинг $totalcount в
  
  SE::Yahoo

Исправления

• Исправлена ошибка с символом $ в
  
  DeepL::Translator
• Исправлена работа прокси при использовании движка Chrome в
  
  Net::HTTP
  
• Исправлена проблема стабильности при использовании в некоторых случаях
  
  HTML::TextExtractor и
  
  HTML::TextExtractor::LangDetect
  
• Исправлена проблема из-за которой
  
  SE::Youtube иногда завершался с ошибкой
• Исправлен вывод исходников страниц в
  
  SE::Google::ByImage

 

[A-Parser Support]

Сборник статей #14: авторизация на сайтах, скачивание изображений и парсинг Telegram

Представляем 14-й сборник статей, в который вошли обзор вариантов авторизации на сайтах, статья о скачивании изображений из сайтов и способ получения сообщений из чатов Telegram.

Варианты авторизации на сайте с помощью A-Parser

В статье рассмотрено 3 основных варианта авторизации на сайте с использованием различного функционала A-Parser.

Скачивание всех изображений из сайта

Обзор решения задачи по скачиванию всех изображений из сайта. В статье рассмотрено 2 способа парсинга и показаны преимущества и недостатки каждого.

Способ получения данных с чатов Телеграм используя экспорт сообщений

Статья, посвященная вопросу парсинга данных из Telegram. В статье описаны и сравниваются между собой встроенный в клиент Telegram экспорт сообщений и парсинг с помощью A-Parser.

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

 

[cheguevara]

Приобрёл Pro лицензию месяц назад и я в восторге! Жалею, что не взял раньше потому что я просто потерял кучу времени на то, что может делать за меня А-парсер) Я не был знаком с парсерами вообще и многое для меня непонятно, но поддержка даже на самые тупые вопросы спокойно отвечает, всё объясняет, подсказывает и помогает. Помимо встроенных парсеров есть готовые пресеты настроек и есть приватный раздел, что мне как новичку парсинга дало нужный толчок к пониманию. Все мы тут ищем в итоге траффик, и как по мне, так это идеальный софт для добычи рабочего материала! Команде респект и большое спасибо!

 

[A-Parser Support]

Команда A-Parser поздравляет всех с Новым годом 2022!

В преддверии наступающего года, хочется выразить благодарность за проявление доверительного отношения к нам и пожелать всем огромных успехов в новом году. Пусть этот год станет стартовой площадкой для новых взлётов, достижений, открытий, побед! Желаем Вам интересных, успешных новых проектов и надежных партнеров. Пусть осуществится все задуманное и запланированное! С Новым годом!

Релиз стабильной сборки А-Парсера - 1.2.1403

Улучшения

• В парсеры позиций добавлена возможность искать позиции по части ссылки или по вхождению подстроки (Match type - By substring)
• В SE::Youtube добавлена возможность выбирать тип выдачи (Desktop/Mobile)
• Добавлен парсинг альтернативных переводов в DeepL::Translator
• Улучшен алгоритм авторизации по email:password в SE::Google::KeywordPlanner
• Реализована корректная обработка редиректа robots.txt в парсере Check::BackLink
• JS парсеры: в this.request добавлена опция follow_common_redirects, работает аналогично соответствующей настройке в Net::HTTP
• В связи с неактуальностью удалены следующие парсеры: SE::Bing::LangDetect, Rank::Linkpad, Rank::SEMrush. Также удален SE::Google::Modern, вместо него нужно использовать SE::Google

Исправления в связи с изменениями в выдаче

• Адаптация к изменениям в верстке Google и Yandex
• Исправлен парсинг мобильной верстки в SE::Bing
• Исправлен выбор дат в SE::Google::KeywordPlanner
• SE::Yandex::ByImage, SE::Yahoo, SE::Yandex::Translate, SecurityTrails:: Domain, Shop::Yandex::Market

Исправления

• Исправлена работа авторизации в SE::Google::KeywordPlanner
• Исправлено использование прокси в Net::HTTP при Engine = Chrome
• Исправлена проблема в SE::Google::Translate, из-за которой не менялись прокси при переборе попыток
• В Net::HTTP исправлена ошибка, из-за которой не завершался поток, появилась в одной из предыдущих версий
• Исправлена работа функции Bypass CloudFlare на некоторых сайтах
• Исправлен режим работы -foreground

График работы поддержки на праздники: https://a-parser.com/threads/7214/

​

Курс по заработку на дропах и PBN используя A-Parser (+включает лицензию)

Наш хороший друг Николай Кодий (https://t.me/mypbn) запускает очередной набор на курс по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов.

Старт - 17 января.

Что это за обучение?
Николай научит и покажет на реальных кейсах и примерах:

• какой софт нужен для поиска дропов, сколько он стоит, как продлевается и регится.
• как правильно анализировать и выбирать дропы для себя и на продажу, чтобы не получить фуфло,
• как строить PBN, что с ними делать дальше и как на них зарабатывать.
• как с помощью знаний, которые он даёт, стать универсальным и востребованным специалистом по построению PBN под любые страны и тематики.

Для кого это обучение?

• Для владельцев агентств, которые хотят выходить на заказы для буржа и открывать отдел pbn. Для тех, кто хочет нанимать подрядчиков для построения pbn, понимать процесс и контролировать качество работы.
• Для частных и работающих в найме seo-мастеров, которые хотят оказывать услугу по поиску дропов и построению сеток.
• Для тех, кто ищет новые методы линкбилдинга.
• Для тех, кто хочет освоить в новом году новую профессию. И стать специалистом в PBN.

Больше нигде вы не получите такой системной и понятной теории, такого большого практического опыта и возможности смотреть и усваивать информацию на живых вебинарах с преподавателем, отвечающим именно на ваши вопросы.

Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов.

Подробнее о курсе читайте на ленде курса - https://kurs.pbn.link
И на FB странице Николая - https://www.facebook.com/nkodiy/

 

[A-Parser Support]

1.2.1432 - многоядерная обработка заданий, парсеры Wildberries, оптимизация производительности

В версии 1.2.1432 добавлена долгожданная возможность обработки разных заданий на нескольких ядрах процессора, что многократно увеличивает производительность заданий, требовательных к CPU. Данная возможность доступна только для лицензии Enterprise, успейте сделать апгрейд до повышения цен

Улучшения

• Добавлены новые парсеры:
  • 
    Shop::Wildberries:: ProductsList - парсер списка товаров Wildberries по ключу, бренду или категории
  • 
    Shop::Wildberries:: ProductInfo - парсер данных о товаре на Wildberries
  • 
    Util::hCaptcha - парсер для разгадывания hCaptcha с помощью сервисов разгадывания
• Добавлена поддержка обработки заданий на разных ядрах процессора, данная возможность доступна только для лицензии Enterprise и многократно ускоряет обработку нескольких заданий в очереди
  
• Оптимизация скорости начальной загрузки и общей производительности JS парсеров, скорость загрузки A-Parser выросла на 30-50%
  
• В интерфейсе добавлен выбор версии API при создании парсеров
  
• Улучшена работа опции Detect charset on content
  
• В
  
  SE::Google обновлен список доменов
• В
  
  SE::Yandex:: Direct обновлен список регионов
  
• В
  
  Check::BackLink добавлена возможность проверки ссылки без указания протокола в режиме поиска по подстроке

Исправления в связи с изменениями в выдаче

• Исправлена работа
  
  SE::Yandex
• Исправлено получение $commentscount в
  
  Shop::Amazon
  
• Исправлен сбор $number_sales в
  
  Shop::eBay
  
• Исправлена работа
  
  SE::Yandex:: Direct
  
• Исправлена работа парсеров Bukvarix

Исправления

• Исправлена работа
  
  SE::Google с доменом google.com.bd
• Исправлен сбор ссылок в
  
  HTML::LinkExtractor в некоторых случаях
• Исправлен баг интерфейса, из-за которого в Планировщике была скрыта кнопка удаления заданий

Напоминаем, вы можете успеть купить A-Parser по старой цене. Новые тарифы вступят в силу 15 Февраля 2022