A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

koster · 21.01.2013

Forbidden , привет! :-)

Поддержу тему. Рекомендую парсер! Автор очень отзывчивый и обязательный человек, трудоголик, которых поискать нужно. В приватном разделе софта есть возможность оставить свои замечания и пожелания по парсеру, написать пожелания о новых модулях, которые автор исполняет очень быстро. Также есть возможность обсудить с другими участниками улучшения уже имеющихся модулей, ведь только в спорах рождается истина.
Присоединяйтесь в ряды пользователей A-parser и вы не пожалеете. Скорость и функциональность данного софта на высоте! Работает также замечательно как в Windows так и Unix ОС.

Пишу отзыв чтобы все понимали что это за продукт, ведь чем больше клиентов будет у Forbidden (автора A-parser), тем больше будет разнообразных модулей и интересных идей. Никогда не приходилось пользоваться настолько быстрым парсером. В A-parser кроме парсера большинства ПС (Яндекс, Google, Yahoo, QIP, Bing, AOL) есть парсер Wordstat, парсер подсказок, чек whois (занятость домена), PR, ТИЦ, в парсере Wordstat и подсказках Google можно задать глубину парсинга, тем самым достигается выборка полных результатов, а также в A-parser гибкая настройка вывода результатов. В данный момент в приватном разделе парсера обсуждается написание модуля проверки обратных ссылок (nofollow, noindex, robots.txt, код 200). Также ещё модули, о которых пока не буду писать. На скринах ниже продемонстрирую вам работу и опишу часть полезных фич данного парсера.
1) Можно парсить сразу несколько ПС например или сервисов, скоро будет фича чтобы из одного парсера передавались параметры в другой, например результаты из Parser1 можно будет передать в Parser2.

2) Возможность выбора региона выдачи Яндекса, а также домен yandex.ru, yandex.by, yandex.ua

3) Возможности выбора домена, языка, страны в ПС Google:

4) Возможность выбора языка и домена для парсера Подсказок ПС Google, а также выбор глубины парсинга:

5) Возможность выбора региона в Wordstat:

6) Возможность добавления собственного GET параметра к запросам:

7) Очень быстрый модуль определения CMS сайтов:

Переходим к тесту: соберём запросы из wordstat по ключу - пластиковые окна:
Процесс работы парсера в 400 потоков:

Результат работы, задание перешло в "Завершённые", где имеется удобная кнопочка Download:

Результат работы по запросу можно скачать здесь: скачать. Остаётся только запустить Excel и разделить там строки по столбцам, указав в качестве разделителя точку с запятой.
Я описал лишь часть возможностей, также во всех ПС предусмотрен парсинг анкоров/сниппетов. Конкуренция/частота в Wordstat. Также можно самому настройть парсинг любых ресурсов, за исключения тех, где информация выводится на ajax (там только Zennoposter/HumanEmulator).
Рекомендую всем к покупке A-parser. Постоянно выходят новые модули, новые фишки. В очередном обновлении написан новый модуль ютуба с сортировкой по длине, качеству ролика и прочих параметров. Повторюсь: чем нас (покупателей) будет больше, тем больше будет новых идей и новых модулей в A-parser.

Постоянно ведется разработка новых функций, добавление новых парсеров и исправление ошибок, убедится в этом можно на странице http://a-parser.com/projects/a-parser/news

Присоединяйтесь! :-)

rostonix · 11.02.2013

Программа лучшая в своем роде :-)

Hungry Bulldozer · 11.02.2013

Прекрасный парсер. Рекомендую.

www · 11.02.2013

В сравнении с хрефером - небо и земля по скорости, не говоря уже о кол-ве модулей, которые регулярно обновляются и пополняются. Аналогов на данный момент походу нет.

koster · 11.03.2013

Сегодня написал в ICQ автору A-Parser, что в модуле парсера Google Images перестало работать определение одного параметра, он тутже исправил и выдал рабочий вариант! Оперативность на высоте!
Ранее я писал что в приватном разделе обсуждается написание модуля обратных ссылок. Так вот, модуль уже создан и успешно работает! :-)

Тестировал его пока ещё на слабеньких объёмах (3000 страниц - 200 потоков - меньше чем за 2 минуты), не затыкается, как некоторые отдельные программы, не вылетает и скорость на высоте!! Лучшего чекера обратных ссылок не видел :-)

Возможности нового модуля Check:BackLink:
1) Определяет наличие ссылки на странице, закрыта ли страница от индексации в Robots.txt, закрыта ли ссылка на странице в <noindex> или rel=nofollow
2) Есть возможность задать свой юзерагент.
3) Считает кол-во внутренних и кол-во внешних ссылок на странице где установлена наша ссылка.
Применение модуля:
1) Для тех, кто покупает ссылки в биржах этот модуль просто необходим!
2) Хрумоводам :-)

для чека профилей и прочего )
Скриншоты:

rostonix · 14.03.2013

Поздравляю! И желаю успехов! Надеюсь на дальнейшее развитие программы. Не понимаю как жил без нее раньше )

:az:

7make · 14.03.2013

Поздравляю!
Парсеру исполнилось не только 1 год, он стал парсером №1 за это время!.
Для меня, этот парсер стал не просто парсилкой, а удобным инструментом для сбора аналитических данных.
Советую всем!

A-Parser Support · 03.06.2013

A-Parser - версия 1.0.37

Улучшения:

При добавлении быстрого задания теперь количество попыток выполнить запрос(Request retries) установлено в 200

Исправления:

Исправлен парсер

SE::YouTube в связи с изменением в выдачи
Исправлено импортирование заданий(ошибка появилась в предыдущей версии)
Исправлена обработка каптчи у парсера

SE::Google
Исправлен подсчет количества результатов(ошибка появилась в предыдущей версии)

Связанные задачи:

Ошибка #516: SE::YouTube broken
Ошибка #515: Bug when importing/loading tasks(introduced in 1.0.27)
Ошибка #479: Fix again Google captcha
Ошибка #478: Fix counting results from arrays(bug introduced in 1.0.27)
Улучшение #523: Tasks added from Quick Task now have Request retries = 200
Улучшение #480: Validating parser/preset exists before adding task

A-Parser Support · 14.06.2013

A-Parser - версия 1.0.60

Улучшения в CaptchaKiller для парсера

SE::Google

Исправлена загрузка каптчи в

SE::Yandex::WordStat и работа фильтров в

SE::YouTube

Полный список изменений тут: 1.0.60

Dodgy · 15.06.2013

Отличный парсер, перешел полностью на него!) Парсит все и вся! Форбидену респект)

A-Parser Support · 03.07.2013

A-Parser - версия 1.0.69

Новый парсер

HTML::TextExtractor - парсит текстовые блоки с указанной страницы, можно использовать для парсинга огромного количества текста для наполнения своих сайтов и доров, можно настроить минимальную длину текстового блока для парсинга

В парсере

Net::HTTP появилась возможность использовать POST и HEAD запросы, пример парсинга с POST запросом:

Другие улучшения:

Теперь в формате результата есть возможность указать исходный запрос - {firstquery}, позволяет при парсинге в глубину сохранять результаты по файлам с именами изначальных запросов
В парсер

Net::Whois добавлен парсинг NS серверов и статусов доменов
В парсере

Net::Whois теперь используется единый формат даты регистрации и окончания регистрации - dd.mm.yyyy для всех зон
Новые результаты для всех парсеров:
- {retries} - использованное количество попыток на данный запрос
- {querynum} - порядковый номер запроса
- {lvl} - уровень вложенности запроса(при использовании опций Parse all results, Parse to level)
Для парсера

Net::HTTP добавлен параметр Max redirects count - определяет максимальное количество редиректов
Для всех парсеров

SE::Google::* добавлен домен www.google.by
Теперь есть возможно указать задержку между запросами(актуально только при парсинге в 1 поток)

Исправления:

Исправлен парсинг подсказок

SE::Bing::Suggest
Исправлено сохранение результатов с двоичными данными(изображения, видео и т.п.)

Подробнее тут: 1.0.69

A-Parser Support · 12.07.2013

A-Parser - версия 1.0.71

Мини-апдейт, исправляет ошибки:

В предыдущей версии перестал работать

Util::AntiGate, следствием чего перестала работать возможность распознавания каптчи(в парсерах Google, Yandex и т.п.)
В конструкторе результатов(Results builder) не работала функция замены по регулярному выражению(Regex Replace)
Парсер падал если не мог создать папку с результатами

Подробнее тут: 1.0.71

В данный момент ведется активный перенос парсера на обновленную платформу и сокращение времени выпуска новых версий(на данный момент компиляция всем пользователям занимает около 2ух дней)

pakotorn · 15.07.2013

самое эффективное решение в сети, гибкость, простота и доступность. Сам уже полгода пользуюсь, что только на нем не творил, можно делать практически все что в голову придет. Плюс автор лично в аське все рассказывает и помогает, можно под себя парсеры заказывать, респект Форбиддену.

A-Parser Support · 26.07.2013

A-Parser - версия 1.0.81

В этой версии только экстренные исправления в связи с изменением в выдаче:

SE::YouTube
Rank::Alexa
Rank::MajesticSEO

Также исправлена некорректная работа парсера при использовании UTF-8 в регулярных выражениях

Подробнее тут: 1.0.81

Перенос парсера на новую платформу, начатый около 2ух недель назад, подходит к концу и в ближайшее время будет доступна бета-версия.

A-Parser Support · 05.08.2013

A-Parser - версия 1.0.91

Новый парсер

SE::Yandex::WordStat::ByDate - парсит статистику показов ключевых слов Yandex WordStat по месяцам или неделям:

Новый парсер

SE::Baidu - парсит поисковую систему baidu.com, популярную в китае и японии:

Теперь парсер гугла

SE::Google может парсить по новостям и блогам:

Парсер Яндека

SE::Yandex дополнительно парсит рекламные объявления в выдаче:

Другие улучшения:

Можно выбрать несколько файлов для обработки - на каждый файл будет создано свое задание:

Теперь в апарсере есть новости и подсказки на английском и русском:

В парсере

Net::HTTP появилась возможность указать Cookies
В парсер

HTML::TextExtractor добавлена возможность отключить парсинг анкоров у ссылок

Исправления:

Исправлен парсер

Rank::Ahrefs в связи с изменением в выдаче
Исправлена ошибка при которой парсер мог упасть при большом числе файлов запросов
Исправлена работа конструктора результатов Results builder при использовании макроса {query}
Отсутствовала прокрутка в тестовом парсинге
Иногда число активных заданий могло уменьшаться

Подробнее тут: 1.0.91

rostonix · 05.08.2013

Ура!)

A-Parser Support · 19.08.2013

A-Parser - версия 1.0.99

Вновь исправлен

SE::Yandex::WordStat в связи с изменением в выдаче, также возвращена поддержка работы с антигейтом и теперь автоматически сохраняются хорошие сессии для экономии прокси и каптч

Улучшения в Extract Top Domain(в Query Builders, Results Builders и в уникализации результатов) - теперь парсер корректно определяет все региональные поддомены вида *.org.ru, *.co.uk и др.

Обновлен список языков для всех парсеров гугла

SE::Google::*

Исправления:

В парсере

HTML::LinkExtractor некорректно обрабатывались ссылки mailto: и javascript:, также теперь по умолчанию этот парсер не переходит по редиректам
В парсере

SE::Bing исправлена ошибка при которой A-Parser мог падать в некоторых случаях
Исправлено зависание при парсинге

SE::Baidu
В интерфейсе иногда могли пропадать настройки парсеров
Исправлен

SE::YouTube в связи с изменением в выдаче

Подробнее тут: 1.0.99

A-Parser Support · 26.08.2013

A-Parser - версия 1.0.111

Расширение API:

Новый метод info - получение информации о PID, версии парсера и количества заданий в очереди
Новый метод getTaskConf - получение полных настроек задания по его ID
AParser.pm - Perl модуль, реализует текущее API

Парсеры

SE::Yandex::WordStat и

SE::Yandex::WordStat::ByDate полностью исправлены после последних обновлений Яндекса. Средняя скорость проверки теперь составляет 5000 кейвордов в минуту без использования антигейта.

В парсеры

SE::Bing::Suggest и

SE::Yahoo::Suggest добавлена опция

Parse to level позволяющая автоматически подставлять найденые подсказки опять в запросы, тем самым происходит парсинг вглубь до 10 уровней вложенности

В парсере

Rank::MajesticSEO теперь можно проверить количество беклинков у конкретной страницы сайта

Исправлены:

[NOPARSE]SE:MOZ[/NOPARSE] - в связи с изменение в выдаче
Опция Match subdomains(проверка сабдоменов) во всех парсерах позиций сайта(Positions) - ошибка появилась в предыдущей версии

Подробнее тут: 1.0.111

A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

Новичок

Client

Новичок

Известная личность

Moderator

Client

Client

Новичок

Новичок

Известная личность

Client

Новичок

Новичок

Новичок

Новичок

Новичок

Новичок

Активный пользователь

Новичок

Активный пользователь

Client

Активный пользователь

Активный пользователь

Client

Активный пользователь

Активный пользователь

Известная личность

Новичок

Активный пользователь

Активный пользователь

Кто просматривает тему: (Всего: 2, Пользователи: 0, Гости: 2)