A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

[A-Parser Support]

A-Parser - 1.1.652 - динамический лимит потоков, поддержка цифровой каптчи для Google

В версии 1.1.652 добавлена поддержка динамического лимита потоков, позволяющая распределить лимит между всеми запущенными заданиями, тем самым увеличивается общая скорость выполнения заданий в очереди

Помимо этого парсер

SE::Google теперь поддерживает работу с цифровыми каптчами, а сервис Cheap-Captcha предоставил пользователям A-Parser уникальную скидку: всего 25 центов за 1000 распознанных каптч

Улучшения

• Теперь A-Parser пропускает пустые запросы, это улучшение расширяет логику обработки запросов
• В парсере
  
  Net::HTTP не передаются пустые хедеры
• В парсере
  
  SE::Yandex::WordStat теперь корректно определяются аккаунты с заблокированной функцией парсинга вордстата

Исправления в связи с изменениями в выдачи

• 
  SE::Yandex,
  
  SE::AOL

Исправления

• В парсере
  
  SE::Yandex::WordStat исправлена работа при редиректе на региональный домен, а также исправлена работа с устаревшими сессиями
• 
  Net::Whois не корректно работал с зоной .tr
• В парсере
  
  SE::Google невозможно было получить исходник страницы($data) при использовании антигейта
• В парсере
  
  SE::Yandex не сохранились сессии при использовании аккаунтов

 

[nit_off]

Использую данный софт очень давно, в начале покупал для подбора дропов и экономии времени.
Теперь все задачи по парсингу отправляю в а-парсер.
Огромные плюсы для меня запускается на любых впс(беру на бесплатный тест)
и отличная поддержка как техническая так и в плане актуальности всех парсеров.

 

[A-Parser Support]

Новые видео уроки: от покупки до настройки и запуска задания

Смотрите новые видео уроки от Дениса Бартаева, подписывайтесь на наш канал!

A-Parser: обзор личного кабинета и процесса оплаты

A-Parser: установка, запуск и обновление

A-Parser: настройка, добавление прокси, запуск задания

Оставляйте в комментариях пожелания для будущих видео!

 

[zazhigin]

Отличный софт. За 10 минут спарсил 100к ссылок по моим запросам. Под мои нужды самое лучшее решение.

 

[A-Parser Support]

A-Parser - 1.1.669 - 64 битная Linux версия, проверка позиций по множеству доменов

Начиная с версии 1.1.669 A-Parser доступен в 64 битной версии для Linux, основные преимущества:

• уменьшение потребления памяти
• больше нет ограничений на максимальное потребление памяти в 4Гб, что позволит запускать больше заданий одновременно и в большее число потоков

Напоминаю что A-Parser одинаково хорошо работает на Windows, Linux и FreeBSD

Другая хорошая новость - сервис Cheap-Captcha.com дарит всем пользователям A-Parser'а $5 на разгадывание 20000 каптч для Google или Яндекса

Улучшения

• Все парсеры позиций в поисковых системах(
  
  SE::Google::Position,
  
  SE::Yandex::Position, ...) теперь поддерживают съем позиций сразу по нескольким доменам
• Для парсера
  
  SE::Yandex добавлена возможность указать язык результатов поиска

Исправления в связи с изменениями в выдаче

• 
  SE::Google,
  
  SE::Yandex,
  
  SE::DuckDuckGo,
  
  SE::Yandex::Direct::Frequency

Исправления

• В предыдущий версии появилась ошибка в обработке нескольких ключевых слов за один запрос в парсере
  
  SE::Yandex::Direct::Frequency
• Очистка очереди заданий работала некорректно

 

[A-Parser Support]

Сборник рецептов #16: парсинг OpenSiteExplorer с авторизацией, Яндекс.Каталога и Яндекс.Новостей

16-й выпуск Сборника рецептов. В нем мы научимся парсить OpenSiteExplorer с авторизацией, попробуем забирать все сайты из Яндекс.Каталога и сделаем парсер Яндекс.Новостей. Поехали!

Парсинг OpenSiteExplorer (MOZ) с авторизацией
С помощью рассмотренного в статье способа, можно парсить OSE с авторизацией, что в свою очередь позволяет обходить ограничение на 10 запросов с одного IP в сутки. Плюс ко всему, значительно расширен набор возвращаемых параметров по сравнению со стандартным парсером. Кроме этого, можно совсем не использовать прокси, что дает значительный прирост в скорости! Сам пресет и описание - по ссылке выше.

Парсинг всех сайтов из указанной категории Я.Каталога
Многие пользователи A-Parser неоднократно спрашивали о возможности спарсить все сайты из Яндекс.Каталога. Поэтому мы публикуем сам пресет и подробное описание процесса его создания и работы. Все это - по ссылке выше.

Как парсить Яндекс.Новости?
В А-Парсере в стандартном парсере Google можно парсить новости. А вот для Яндекса на данный момент нету такой возможности. Но решается это довольно просто. Как именно - читайте по ссылке выше. Плюс бонусом небольшой пресет для парсинга подсказок из Я.Новостей - еще один способ парсить ключевые слова

Кроме этого:

• Проверка вхождения ключа в анкор
  
• Обновлен пресет для парсинга пользователей по тегу из Instagram

Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

• Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте
• Сборник рецептов #2: собираем форумы для (другой софт), парсим email со страниц контактов
• Сборник рецептов #3: мобильные сайты, несколько парсеров, позиции ключевых слов
• Сборник рецептов #4: поиск в выдаче, парсинг интернет-магазина и скачиваем файлы
• Сборник рецептов #5: ссылки из JS, паблик прокси и карта сайта
• Сборник рецептов #6: парсим базу номеров телефонов и сохраняем результаты красиво
• Сборник рецептов #7: парсим RSS, качаем картинки и фильтруем результат по заголовкам
• Сборник рецептов #8: парсим 2GIS, Google translate и подсказки Youtube
• Сборник рецептов #9: проверяем сезонность ключевых слов и их полезность
• Сборник рецептов #10: пишем кастомный парсер поисковика и парсим дерево категорий
• Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!
• Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок
• Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query
• Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты
• Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu

 

[A-Parser Support]

A-Parser - 1.1.681 - обход защиты CloudFlare, улучшения в конструкторах запросов

В версии A-Parser 1.1.681 добавлен автоматический обход проверки CloudFlare на браузер, тем самым позволяя собирать информацию с сайтов под защитой самого популярного облачного провайдера. Работает в парсерах

Net::HTTP,

HTML::LinkExtractor и

HTML::TextExtractor

В конструкторах запросов улучшена логика при разделении запроса на части

Исправления в связи с изменениями в выдачи

• 
  SE::Yandex - пропускались некоторые ссылки
• 
  SE::MailRu,
  
  SE::Baidu

Исправления

• Исправлена поддержка тега meta http-equiv в парсере
  
  Net::HTTP
• Теперь x64 Linux версия A-Parser запускается на всех современных дистрибутивах
• В парсере
  
  SE::Yandex::Direct::Frequency исправлена ошибка, которая могла приводить к зацикливанию запросов
• Исправлена ошибка в Тестировщике заданий, при которой не очищался результат предыщущего парсинга

 

[A-Parser Support]

Доброго времени суток, друзья!


Отныне в A-Parser добавлена уникальная возможность создавать свои парсеры на языке JavaScript:

Давайте более подробно рассмотрим нововведения:

• теперь возможна реализация парсеров, регеров, постеров и т.п. любого уровня сложности, используя все преимущества A-Parser
  
• API будет дорабатываться и пополняться полезными возможностями
  
• для тех кто уже готов пользоваться новым функционалом - вступайте в наш чат https://join.skype.com/nMAYI9lpsJ9Z для JavaScript разработчиков
  
• ограничения: работает на windows или linux-x64, только для Pro и Enterprise лицензий
  

Мы ежедневно работаем над улучшениями и предоставляем вам только качественный продукт!

Благодарим вас за использование A-Parser

 

[Andrew Shell]

Постоянно ведется разработка новых функций, добавление новых парсеров и исправление ошибок, убедится в этом можно на странице http://a-parser.com/projects/a-parser/news

https://a-parser.com/projects/a-parser/news
A-Parser - парсер для профессионалов SEO - Ошибка
Запрашиваемая страница не найдена.

 

[Forbidden]

Запрашиваемая страница не найдена.

спасибо за репост сообщения аж 13ого года, все течет, все меняется, вот вам актуальная ссылка https://a-parser.com/news/

 

[A-Parser Support]

Всем привет!

Друзья, рады сообщить что мы обновили Каталог примеров и добавили 32 примера и 1 видео.

Более подробно вы можете всё просмотреть здесь: https://a-parser.com/threads/1738/

Всем профитной недели и приятной работы в месте с A-Parser!

 

[A-Parser Support]

Дорогие друзья!

Рады сообщить о том, что мы впервые запустили новогодний розыгрыш 3 лицензий A-Parser'а. Две "Lite" и одну "Pro". Подробнее об условиях и дате вы можете узнать в нашей группе Вконтакте: https://vk.cc/5YBNVX


Не упустите этот момент, возможно розыгрыш произойдёт только один раз


С любовью, команда A-Parser!

 

[A-Parser Support]

1.1.712 - новогодняя юбилейная 100-ая версия, JavaScript парсеры

Всех с наступающим новым годом! Участвуйте в конкурсе и получайте бесплатные лицензии, но об этом ниже


Сегодня я хочу вам представить юбилейную 100-ую версию A-Parser'a! Да, мы выпустили ровно 100 версий за почти 5 лет существования нашего парсера. Разработка парсера никогда не останавливается, сейчас он буквально пухнет от возможностей! Это хорошо подчеркивает все принципы и подходы заложенные в A-Parser еще в далеком 2012 году.


Одно из главных новшеств новой версии - JavaScript парсеры, теперь каждый кто обладает хотя бы минимальными знаниями программирования сможет создавать высокопроизводительные парсеры на языке JavaScript используя все возможности A-Parser'а(многопоточность, работу с прокси, шаблонизатор, обработка запросов и результатов, и многое другое)

A-Parser давно перестал быть просто парсером, на сегодняшний день это полнофункциональная платформа для сбора информации в промышленных масштабах, которая позволит вам собирать информацию из самых разных источников и множеством разных способов. В следующем году вас ждет еще больше новых возможностей, следите за новостями!


Улучшения

• JavaScript парсеры - возможность создавать свои парсеры используя все преимущества A-Parser
  
• JS парсеры: возможность получить и установить Cookies
  
• JS парсеры: мютекс для синхронизации между потоками
  
• JS парсеры: возможность использования инструментов tools
  
• JS парсеры: поддержка запросов к другим парсерам
  
• Множественные оптимизации всех парсеров, обработке подвергаются только те элементы страницы которые необходимы в результатах парсинга
  
• В парсере
  
  HTML::TextExtractor будут игнорироваться блоки меню без текста
  
• В парсере
  
  SE::Google::Compromised добавлена возможность проверки подозрительных сайтов по всем страницам
  
• API: добавлена возможность получить количество активных аккаунтов(для Яндекса)
  
• API: при выставленном флаге rawResults будут передаваться все доступные результаты
  
• Убрана настройка Raw data results, теперь необходимость этих результатов определяется автоматически
  
• Добавлена возможность работы с одним прокси сервером(параметр Reuse proxy beetwen retries)
  
• Если ошибка в шаблонизаторе произошла во время парсинга она будет записана в лог
  

Исправления в связи с изменениями в выдачи

• В парсере
  
  SE::YouTube не собиралась выдача
  
• В парсере
  
  SE::Bing не парсилось количество результатов для новостей
  
• В парсере
  
  SE::Google не собирались рекламные блоки
  
• В парсере
  
  SE::Yandex некоторые позиции в выдаче могли пропускаться
  
• В парсере
  
  SE::Yandex::Register исправлена обработка ошибок регистрации
  

[*]Исправления

• Исправлена ошибка с обработкой запросов вне рабочего каталога A-Parser, что в некоторых случаях могло привести к проблемам с безопасностью
  
• В парсере
  
  SE::Yandex::WordStat в редких ситуациях могла зациклиться работа с одним прокси
  
• В парсере
  
  Net::HTTP не корректно работала опция Check next page при редиректе на другой URL
  
• Исправлена проблема с работой
  
  [noparse]Net:NS[/noparse] на ОС Linux x64
  
• Исправлен вывод ошибок в логе при уникализации "не доменов"
  
• Исправлена работа парсера
  
  HTML::TextExtractor::LangDetect
  
• Исправлен парсер
  
  Check::BackLink, ошибка появилась в предыдущей версии
  
• Не выводились внешние переменные в методе .format, ошибка появилась в предыдущей версии
  

Напоминаем, что мы разыгрываем 3 лицензии на A-Parser общей стоимостью $437, участвуйте в конкурсе, победитель будет выбран 5ого января 2017!

 

[asusa651]

Доброго время суток, интересует отдельна услуга по парсеру статей, всего ключей будет 1863, разбиты на 11 категорий

1. Парсер статей по ключевым запросам
2. Парсить на 1 ключ по 30 статей
3. Если идет картинка в статье то копировать урл картинки для этой статьи
4. Определять и не парсить тексты с доров
5. Оставлять только нужные теги <p><div><strong><H1> и так далее.. Остальное удалять
6. Статьи парсить только от 2500 знаков б/п

 

[A-Parser Support]

Доброго времени суток друзья! Команда A-Parser поздравляет вас с наступившим 2017 годом и наступающим Рождеством.


Не забывайте о нашем розыгрыше https://vk.cc/5YBNVX/. Мы разыграем сегодня 3 лицензии на A-Parser общей стоимостью $437. Результаты розыгрыша после 17:00 по Москве. Более подробную информацию смотрите по ссылке которая указана выше.

 

[one]

Более подробную информацию смотрите по ссылке которая указана выше.

403 Forbidden - выдает ссылка.

 

[bumer]

а как то онлайн просмотреть можно будет как выбираться будут победители? Слеш убери

 

[A-Parser Support]

а как то онлайн просмотреть можно будет как выбираться будут победители? Слеш убери

Стрим не делали

 

[A-Parser Support]

1.1.726 - новые возможности планировщика, множество исправлений

Улучшения

• В планировщик добавлена возможность ежемесячного запуска заданий, с возможностью выбрать определенный день месяца
  
• В планировщике теперь можно указать уникальность задания, если задание активно в очереди то при попытке его запуска через планировщик оно будет отложено до следующего запуска
  
• Файл логов задания теперь удаляется одновременно с удалением задания
  
• В тестовом парсинге улучшен дебагер и предпросмотр HTML кода
  

Исправления в связи с изменениями в выдачи

• 
  SE::YouTube,
  
  Rank::DMOZ,
  
  Rank::Mustat,
  
  SE::Dogpile,
  
  SE::Ask,
  
  SE::AOL
  

Исправления

• В парсере
  
  Net::Whois исправлен парсинг дат для множества доменных зон
  
• Функция добавления ! перед каждым словом(для снятия частотности по WordStat) в некоторых случаях работала некорректно
  
• Исправлена ошибка при работе прокси с использованием только одной попытки(Request retries)
  
• Исправлена ошибка при которой парсер падал при неверно составленном Конструкторе результатов
  
• В некоторых случаях использование XPath могло приводить к зависанию парсера
  
• В парсере
  
  SEO::Ping исправлена обработка ответов для некоторых сервисов
  
• В некоторых случаях ошибка задания могла отображаться некорректно
  

Так же, мы хотели бы ещё раз поздравить наших победителей которые получили лицензии A-Parser'a: Сергея Чернова, Романа Лисина и Илью Нечаева. Поздравляем вас ещё раз!

 

[A-Parser Support]

В этом видео вы узнаете как собрать тысячи и миллионы профилей в социальной сети ВКонтакте:

В уроке рассмотрены:

• Создание парсера профилей соцсети ВКонтакте: имя, город, телефон, семейной положение, время последнего захода и ссылку на аватар(фотографию)
  
• Использование регулярных выражений для фильтрации данных результата
  
• Использование конструктора результатов для модификации результатов
  
• Использование Cookies в запросах
  

Подписывайтесь на наш канал, ставьте лайки и оставляйте в комментариях пожелания для следующих уроков!

 

[A-Parser Support]

1.1.743 - исправлен парсер Яндекса, множество исправлений в JavaScript парсерах

В версии 1.1.743 выпущено множество исправлений для JavaScript парсеров, а также добавлены новые примеры: определение языка страницы через Яндекс переводчик и сбор текстовки по ключевому слову одним заданием(на выбор через Google или Яндекс)


Улучшения

• В JavaScript парсерах добавлена возможность создавать новые запросы(this.query.add)
  
• В парсере
  
  SE::Yahoo теперь определяется бан прокси по IP
  
• Добавлен параметр, позволяющий A-Parser'у работать с файлами запросов и результатов вне рабочего каталога
  

Исправления в связи с изменениями в выдаче

• 
  SE::Yandex - парсил только первую страницу выдачи
  
• 
  SE::Google::Trends - использовал все попытки если по ключевому слову не было данных
  

Исправления

• Исправлена работа опции Max threads per proxy(максимальное число потоков на одну прокси)
  
• В парсере
  
  HTML::LinkExtractor исправлен парсинг ссылок с фрагментом(#)
  

Исправления в JavaScript парсерах

• Настройки checkbox воспринимались некорректно
  
• Исправлена ошибка в работе this.cookies.setAll
  
• В интерфейсе не отображались измененные параметры конфига
  
• Исправлены утечки памяти
  
• Исправлено игнорирование параметра success
  
• Исправлено поведение при использовании Override настроек
  
• Исправлена ошибка при получении результатов из другого парсера
  

 

[A-Parser Support]

1.1.764 - шаблонизатор в полях конфига, выбор языка в SE::Bing

Улучшения

• В парсер
  
  SE::Bing добавлена возможность выбора языка результатов поиска
  
• Во всех полях конфигурации каждого парсера теперь есть возможность использовать шаблонизатор, тем самым позволяя использовать запрос или его часть как значение конфига, а также добавлять произвольную логику(пример - использование переменного DNS сервера)
  
• В JavaScript парсерах добавлена возможность установки одиночного cookie(this.cookies.set)
  
• В парсере
  
  SE::Yandex::WordStat SE::Yandex::WordStat уменьшено потребление каптчи
  

Исправления в связи с изменениями в выдачи

• 
  SE::Google - исправлена работа с антигейтом
  
• В парсере
  
  SE::Google исправлен парсинг объявлений, а также пропуск первого результата поиска в редких случаях
  
• В парсере
  
  SE::Yandex исправлен сбор сниппетов
  
• 
  SE::AOL,
  
  SE::Bing::Images
  

Исправления

• Исправлена утечка памяти при использовании логов в задании
  
• В парсере
  
  SE::Ask не определялся бан прокси
  
• Исправлена работа опции allow_outside_files
  
• Исправлена работа с utf8 в исходниках tools.js и JavaScript парсерах
  
• В редких случаях при неудачном парсинге 2ой или последующих страниц запрос мог считаться успешным
  

 

[SadisT_UA]

Спасибо большое автору за данный инструмент! В паре вместе с зенкой отлично работает, скорость парсинга ссылок и контента для доров просто зашкаливает Так же очень радует, что парсер постоянно обновляется и поддержка на высоте.

 

[A-Parser Support]

Спасибо большое автору за данный инструмент! В паре вместе с зенкой отлично работает, скорость парсинга ссылок и контента для доров просто зашкаливает Так же очень радует, что парсер постоянно обновляется и поддержка на высоте.

Спасибо большое за ваш отзыв

 

[Biohazard]

Не удержусь если тоже не оставлю свой отзыв ))
По скорости, гибкости настроек, стабильности это один из крутейших парсеров.
Софтинка трудится сутками и полностью себя оправдывает по функционалу.
Маст хэв!

 

[d4k]

Купил A-Parser, быстро разобрался в настройках все подробно и понятно описанно в доках. Шустро работает - сколько парсеров перепробывал принял решение: останусь на A-Parserе. Данному продукту нет равных и аналогов не видел. Денег своих стоит, да и окупить можно с полна если руки прямые и из плечей растут.

 

[A-Parser Support]

A-Parser 1.1.790 появился новый экспорт, который позволяет экспортировать сразу несколько заданий, настройки парсеров, JavaScript парсеры, а также tools.js:

Улучшения

• Новый экспорт заданий
  
• В JavaScript парсерах добавлена возможность указать иконку парсера
  
• В JavaScript парсерах добавлен функционал для работы с CAPTCHA
  
• Добавлено автоматическое версионирование JavaScript парсеров
  
• В хедерах ответа теперь указан заголовок Proxy с которым был сделан запрос
  
• В JavaScript парсерах добавлен параметр attempt для this.request, позволяющий вручную управлять механизмом попыток
  
• В JavaScript парсерах добавлен функционал управления прокси
  
• В парсере
  
  Check::BackLink улучшена обработка nofollow
  

Исправления в связи с изменениями в выдачи

• 
  SE::DuckDuckGo,
  
  SE::Ask,
  
  SE::AOL,
  
  Rank::MajesticSEO
  
• 
  SE::Bing не парсил при указании региона
  
• Парсер
  
  SE::Yandex::WordStat мог пропускать запросы при использовании антикаптчи
  

Исправления

• В парсере
  
  SE::QIP для некоторых запросов не корректно определялась кодировка сниппетов
  
• A-Parser зависал при использовании JavaScript парсеров совместно с конструктором результатов
  
• В парсере
  
  SE::Bing в серп могли попадать рекламные блоки
  
• В парсере
  
  Net::Whois собиралась дата для некоторых доменов
  
• В JavaScript парсерах исправлен вывод ошибок в коде
  
• В JavaScript парсерах исправлен подсчет HTTP запросов для статистики
  

 

[Red_Comet]

Небольшой отзыв-обзор для тех, кто не совсем понимает, в чем основные отличия между Зеннопостером (ЗА) и А-Парсером (АП), с любительской точки зрения. И думает, брать или нет. (я, когда купил оба софта, тоже не особенно понимал, зачем я это сделал )

Буду писать совсем по-тупому и по-простому, чтоб все вместилось. В ЗП ты "записываешь" свои действия, и на автомате повторяешь. Это может быть запрос к поисковику с последующим сохранением данных (парсинг), работа с файлами на локальном/удаленном компьютере (скопировали, наполнили,...), и т.д.

В АП ты выбираешь один из "источников", откуда ты будешь дергать контент, и настраиваешь соответсвующий парсер. Это может быть парсер гугла, youtube, и т.д. из 64 готовых парсеров. Плюс Net:HTTP, на основе которого можно создать парсинг практически с любой ссылки.

Теперь ключевой момент. Если хочется создать парсер в ЗП, который уже включен в АП, это будет лишний геморрой на голову (нужно создать, оттестировать, регулярно обновлять свой созданный парсер в ЗП + еще какие то моменты, о которых мне неизвестно). В АП же это на 1 раз настроить и идти гулять. Плюс регулярные обновления. Это про 64 готовых.

С Net:HTTP посложнее, поскольку надо соображать в Regex, но в теории - где что то дают, можно собирать (парсить). У АП огромная скорость, только успевай подавать на вход живые прокси (для поисковиков) или предоставь достаточный канал в интернет.

А-Парсер - это как огроменный проект ЗП, заточенный под объемный парсинг всего живого и неживого на большой скорости. С большей долей вероятности скоростные характеристики АП превысят любые проекты, созданные новичками и любителями в ЗП (возможно, и профессионалами, но у меня нет навыков, чтобы утверждать о подобном). Т.е. оптимально использование парсера, если постоянно возникает потребность в парсинге данных и нет желания и/или времени создавать и поддерживать свои проекты в ЗП.

Освоиться в Зеннопостере по-проще, но разобраться во всех мельчайших подробностях - сложнее (личное мнение). Если отбросить пользовательский контент, в ЗП надо создавать все проекты с нуля, в АП уже есть пачка готовых решений. АП - прежде всего парсер, ЗП - конструктор действий пользователя.

Оба софта мне нравятся и регулярно пользуюсь ими в повседневной работе (у вас могут быть другие потребности )

 

[A-Parser Support]

1.1.811 - 6 новых парсеров, улучшения в JavaScript парсерах

В A-Parser 1.1.811 добавлено 6 новых встроенных парсеров - Амазон, Яндекс.Маркет, Рамблер, IxQuick, добавление ссылки в индекс Bing, расширенный парсер Moz(OpenSiteExplorer). Добавляйте идеи для новых парсеров на нашем форуме и мы их обязательно реализуем.


Помимо встроенных парсеров вы можете создавать свои собственные парсеры на языке JavaScript - используя всю мощь многопоточности A-Parser'а, а также производительность движка V8 и преимущества ES6.


Для владельцев CapMonster и (другой софт) - напоминаем что A-Parser можно подключить к этим программам из коробки, тем самым колоссально повысив скорость парсинга во многих парсерах


Улучшения

• Новый парсер
  
  Shop::Amazon - парсит выдачу https://www.amazon.com по ключевому слову, собирает название, ссылку, картинку, прайс, прайс до скидки, рейтинг, число комментариев, продавца и дополнительную информацию
  
• Новый парсер
  
  Shop::Yandex::Market - парсер Яндекс.Маркета, по указанному ключевому слову(или по прямой ссылке на категорию) собирает следующие данные: название товара, ссылку, ссылку на картинку, рейтинг, число комментариев, цену от и до, число предложений от магазинов и список дополнительных характеристик
  
• Новый парсер
  
  SE::Rambler - сегодня рамблер использует одновременно выдачу Google и Яндекса, в зависимости от геолокации пользователя(прокси), есть поддержка антигейта
  
• Новый парсер
  
  SE::IxQuick - https://www.ixquick.com - еще один поисковик, основанный на выдаче Google
  
• Добавление ссылок в индекс Бинга -
  
  SE::Bing::AddURL - добавляет ваши ссылки в промышленных масштабах, требуется антигейт
  
• Новый парсер
  
  Rank::OpenSiteExplorer::Extended - расширенная версия парсера
  
  Rank::OpenSiteExplorer, собирает с https://moz.com 39 параметров по домену, сабдомену и странице
  
• JavaScript парсеры: новые методы this.util.urlFromHTML(url, [base]) и this.util.updateResultsData(results, data)
  
• В парсере
  
  SE::Yandex добавлен сбор времени последнего кэширования страницы
  

Исправления в связи с изменениями в выдаче

• 
  SE::Yandex - исправлен парсинг выдачи, сбор ссылки на кэш страницы, а также парсинг рекламных объявлений
• 
  SE::Google - исправлен парсинг рекламных объявлений, а также проблема с парсингом в редких случаях при использовании антигейта
• В парсере
  
  Net::Whois исправлен парсинг дат, а также улучшен парсинг whois сервера GoDaddy
• 
  SE::Google::Trends - полностью обновлен парсер и список собираемых значений
• 
  Rank::LinkPad,
  
  Rank::MajesticSEO,
  
  SE::Seznam
  

Исправления

• Проблема с прокруткой в Планировщике
  
• Проблема с кодировкой в tools.parseJSON
  
• Ошибка импорта JavaScript парсеров
  

 

[A-Parser Support]

1.1.832 - новые парсеры, выбор языка интерфейса в Google

Улучшения

• Новый парсер
  
  Rank::SimilarWeb - парсит сервис http://similarweb.com, собирает множество параметров, включая ранк домена, трафик, распределение трафика по источникам и странам
• Новый парсер
  
  Rank::MegaIndex - парсит сервис https://megaindex.com, собирает число трафика по органике и рекламным запросам, а также различную информацию о беклинках и индексации сайта
• Новый парсер
  
  Rank::SEMrush::Keyword - собирает трафик, конкуренцию и другие параметры по ключевому слову в сервисе http://semrush.com
• В парсере
  
  SE::Google добавлена возможность выбора языка интерфейса гугла, актуально для точного снятия позиций
• В настройках антигейта добавлена опция Report bad captchas - отключив которую можно сэкономить время на запрос о неправильной каптче, актуально для CapMonster и (другой софт)
• Удалены 5 устаревших парсеров:
  
  SE::Google::pR - сервис больше не существует,
  
  SE::Google::Maps - выдача зависит от гео прокси,
  
  Rank::Ahrefs - парсинг сервиса возможен только с аккаунтами с подтвержденной кредитной картой,
  
  Rank::Category - нет подходящего сервиса,
  
  Rank:: DMOZ - dmoz прекратил свое существование в марте
• Теперь парсер
  
  SE::Yandex по умолчанию использует https, избегая ненужного редиректа

Исправления в связи с изменениями в выдаче

• 
  SE::Bing,
  
  Rank::Archive,
  
  SE::AOL,
  
  SE::IxQuick,
  
  SE::Yahoo,
  
  Rank::Linkpad

Исправления

• JavaScript парсеры: исправлена обработка checkbox в настройках
• JavaScript парсеры: исправлено падение при одновременном запуске нескольких заданий
• 
  SE::Bing::AddURL - исправлена работа при неверно разгаданной каптче
• 
  SE::Google::Trends - исправлена работа с неанглийскими запросами
• В парсере
  
  Net::HTTP исправлена работа опции Check next page в редких случаях
• Исправлена работа со сжатым контентом для редких сайтов