A-Parser - продвинутый парсер поисковых систем, WordStat, YouTube, Suggest, PR, etc

  • Автор темы Автор темы Forbidden
  • Дата начала Дата начала
Сделайте распродажу вашено софта что ли:-)
 
A-Parser - 1.1.323 - парсинг с помощью XPath, поддержка JavaScript в шаблонизаторе, тестировщик заданий

Улучшения
  • Добавлен новый Тестировщик заданий, позволяющий тестировать все задание целиком, включая использование нескольких парсеров, конструкторов запросов и результатов. Тестировщик позволяет просматривать результаты по каждому созданному файлу, а также отображает логи выполнения по каждому запросу
  • Для парсера
    net-whois.png
    Net::Whois добавлена опция Recursive query, которая позволяет получать расширенную версию WHOIS(контактные email адреса и т.п.)
  • Добавлена поддержка XPath запросов, сильно упрощающая разбор HTML документов
  • Добавлен новый инструмент tools.js, позволяющий исполнять JavaScript из шаблонизатора, теперь помимо возможности использовать JavaScript для обработки и вывода результатов стало возможно частично исполнять скрипты встроенные в HTML(Выборочная обработка JavaScript: расшифровка телефонов)

cj0zi.png


Исправления в связи с изменениями в выдачи
  • Исправлен парсинг рекламных объявлений в
    se-google.png
    SE::Google
  • Исправлен парсер
    rank-ahrefs.png
    Rank::Ahrefs
  • Исправлен парсер
    rank-dmoz.png
    Rank:: DMOZ
Исправления
  • При использовании динамического имени файла append text теперь пишется один раз
  • Исправлена работа с ссылками, которые содержат некоторые символы Юникода в
    net-http.png
    Net::HTTP
  • Исправлена обработка каптчи в
    se-yandex-register.png
    SE::Yandex::Register
  • Исправлен парсинг подсказок в
    se-google-suggest.png
    SE::Google::Suggest
 
tatarin написал(а):
Сделайте распродажу вашено софта что ли:-)
Нажмите для раскрытия...

пока A-Parser пухнет от возможностей мы с трудом удерживаем цены на прежнем уровне :), о какой распродаже может быть речь?
 
  • Спасибо
Реакции: btr
Сборник рецептов #11: парсим Авито, работаем с JavaScript, анализируем тексты и участвуем в акции!

Розыгрыш призов, условия акции смотри в конце!

11-й выпуск сборника рецептов. В нем мы разберем пример парсинга Авито, научимся расшифровывать телефонные номера, скрытые за JS и будем анализировать тексты.

Парсинг Авито
Если просмотреть сайты с вакансиями для фрилансеров, то можно увидеть, что очень часто требуется парсить популярный сайт объявлений avito.ru. Чаще всего в результате нужна база телефонов, реже - списки объявлений и цены. Данная информация может быть необходима маркетологам, для изучения ситуации на рынке, спамерам для рассылки смс и т.д...
Задачу по парсингу Авито можно решить также с помощью А-Парсера. О том как это сделать - читайте по ссылке выше.
hnit6.png


Выборочная обработка JavaScript: расшифровка телефонов
Бывает, что при парсинге различных ресурсов можно наткнуться на информацию, которая скрыта скриптом на JavaScript. До недавнего времени A-Parser не умел обрабатывать JS, и такие сайты оставались в "зоне недоступности". Но начиная с версии 1.1.318 A-Parser научился выборочно работать с JS. Поэтому теперь есть возможность более эффективно парсить такие ресурсы и получать нужную информацию.
Как это делать и больше подробностей о поддержке JS в А-Парсере читайте по ссылке выше.
ZiTpN.png


Анализ текста
Иногда возникает необходимость проанализировать спаршенный или написанный текст по различным параметрам (например: тошнота, водность, определить тематику и язык, найти наиболее повторяющиеся слова и т.п.). Для этого существует много различных приложений и онлайн-сервисов. Парсинг одного из таких сервисов будет показан по ссылке выше.
d7ri3.png


Почти 3 месяца назад у нас появилась Платная услуга по составлению заданий для А-Парсера. Она оказалась очень актуальна среди новых пользователей парсера, а также среди тех, у кого не хватает времени на его изучение. За время ее существования было составлено более 70 заданий, при этом 75% состояли из 2-х и более пресетов. Среднее время на составление одного заказа, от согласования деталей до получения готового набора пресетов, составляет около 4 часов. При этом, каждый пресет тщательно тестируется, а получаемый результат обсуждается с клиентом.

Так как A-Parser - это программа для парсинга различной информации, 26 ноября, во Всемирный день информации, будет разыграно:
  • 5 пакетов прокси (100 потоков на месяц)
  • 3 бесплатных составления 1-го задания для А-Парсера
В акции принимают участие все, кто ретвитнет нашу новость об этой акции в Twitter. Подписывайтесь на наши каналы в Twitter: русскоязычный @a_parser и англоязычный @a_parser_en и следите за новостями на сайте! Победители акции будут определены случайно с помощью сервиса random.org. Видео определения победителей будет выложено вместе с результатами акции.

Еще больше различных рецептов в нашем Каталоге примеров!

Предыдущие сборники:
 
  • Спасибо
Реакции: CSS
Снижение комиссии при оплате PayPro и Итоги акции

В связи с плохой проходимостью платежей в системе Interkassa было принято решение снизить комиссию PayPro до 3%. PayPro теперь является рекомендуемым способом оплаты, который принимает все популярные платежные системы: PayPal, Visa/MasterCard, QIWI, Yandex.Money, Wire Transfer

Напоминаю что всегда доступен прием WebMoney без комиссии

Одновременно с этим мы перевели Members Area на русский язык, добавили систему уведомлений на e-mail, а также готовим инструкцию по использованию нашего магазина

Итоги акции:

Итак, сегодня 26 ноября, а значит пора подводить итоги нашей акции!
Всего участников оказалось не так и много - 14 человек. Поэтому шансы получить 1 из 8-ми призов были довольно велики.
Было проведено определение победителей, видео по ссылке: http://files.a-parser.com/Video/Action_26_11_15.avi

S5oFS.png


Искренне поздравляем всех счастливчиков! А те, кому не повезло в этот раз - не отчаивайтесь, вскоре будут новые акции! Поэтому следите за нашими новостями на сайте или в Твиттере.

Победители, для уточнения деталей и получения призов, свяжитесь через Твиттер с выигрышных аккаунтов с администрацией А-Парсера @a_parser.
 
A-Paeser - 1.1.355 - улучшения работы с регионами в Google и Яндексе, новые методы API, множество исправлений

Улучшения

  • В парсере
    se-yandex.png
    SE::Yandex теперь также собираются ссылки на колдунщики(внутренние сервисы Яндекса), что позволяет более точно определять позиции сайтов в выдаче
  • В парсере
    se-yandex.png
    SE::Yandex улучшено определение misspell(исправленных) запросов
  • В парсере
    se-yandex.png
    SE::Yandex домен Яндекса теперь выбирается автоматически в зависимости от выбранного региона
  • В парсере
    se-google.png
    SE::Google улучшена работа с сессиями
  • В парсере
    se-bing.png
    SE::Bing добавлен выбор локации
  • В интерфейсе парсера теперь доступен список последних сообщений с форума поддержки
  • Для парсера
    se-yandex.png
    SE::Yandex добавлена поддержка турецкого домена yandex.com.tr
  • В парсере
    net-http.png
    Net::HTTP добавлена поддержка шаблонизатора в поле Cookies
  • Теперь у начального текста, формата результата и конечного текста, общее пространство переменных, что позволяет решать задачи по выводу статистики
  • В макрос num добавлена возможность указать шаг итераций, формат {num:START:END:STEP}
  • Добавлен новый метод API getParserInfo - выводит список всех доступных результатов, который может вернуть парсер
  • Добавлен новый метод API update - обновляет исполняемый файл парсера до последней доступной версии, после успешного ответа A-Parser будет автоматически перезапущен
  • Метод API info теперь дополнительно выдает список всех доступных парсеров

Исправления в связи с изменениями в выдаче

  • В
    se-google.png
    SE::Google исправлено указание локации
  • В
    se-bing.png
    SE::Bing исправлен парсинг серпа и связанных ключевых слов
  • В
    se-yandex.png
    SE::Yandex исправлен сбор сниппетов и анкоров
  • В
    se-yahoo.png
    SE::Yahoo исправлен парсинг выдачи и работа с региональными доменами
  • Исправлены
    rank-category.png
    Rank::Category,
    se-bing-images.png
    SE::Bing::Images,
    bing-langdetect.png
    SE::Bing::LangDetect,
    se-baidu.png
    SE::Baidu,
    se-aol.png
    SE::AOL,
    se-google-safebrowsing.png
    SE::Google::SafeBrowsing,
    se-yandex-register.png
    SE::Yandex::Register

Исправления

  • Исправлено игнорирование максимального числа активных заданий
  • В парсере
    html-linkextractor.png
    HTML::LinkExtractor исправлена обработка относительных ссылок
  • Исправлена перезапись результатов при паузе\старте или при перезапуске парсера и одновременно включенной опции "Перезаписать файл"
  • Исправлена работа функции tools.parseJSON если страница была декодирована в UTF-8
  • Исправлен вывод результатов в Тестировщике заданий
 
A-Parser: вводный видео урок, обзор возможностей

Денис Бартаев рассказывает о базовых возможностях A-Parser




В выпуске рассматриваются:
  • Основные настройки рядового парсера на примере SE::Yandex

    • Настройки Антигейт
    • Настройки прокси с проверкой статуса и без
    • Основные инструменты тестирования результатов парсинга
    • Базовые методы работы с шаблонизатором результатов, переменные парсеров
    • Примеры создания заданий, и описание процедуры работы с Редактором заданий
Подписывайтесь на наш канал!

A-Parser на СПИК 2015 - запись доклада Леонида Гроховского

A-Parser на СПИК 2015! Почти половина доклада посвящена обзору некоторых возможностей A-Parser

Как использовать парсеры для SEO? Как проверять индексацию страниц, как узнать позиции сайта. Об этом в докладе "Парсеры на службе у SEO-специалистов" рассказывает Леонид Гроховский. Подписывайтесь на его канал https://www.youtube.com/user/Grohovskiy
И на наш https://www.youtube.com/channel/UCvypGICrfCky8tPtebmIvQw


Тезисы:
  • Проверка индексации сайтов
  • Сбор сниппетов
  • Парсинг подсвеченных слов из сниппетов
  • Проверка позиций и входных страниц
  • Сбор запросов и подсказок
  • Определение частотности для списка запросов
  • Парсинг VK
  • Выкачивание базы у любого сайта
  • Взаимодействие с A-Parser через API
 
A-Parser - 1.1.370 - планировщик заданий, улучшения в парсерах Google и Яндекса

В новой версии добавлен планировщик заданий, позволяющий легко запланировать выполнение задач, требующих периодичного исполнения, например такие как анализ позиций сайтов или ссылочных показателей

lta5w.png


Другие улучшения

  • В опции Check next page для парсера
    net-http.png
    Net::HTTP добавлен параметр Limit, позволяющий ограничивать максимальное число переходов на следующую страницу
  • В парсере
    se-google.png
    SE::Google улучшена работа с сессиями
  • Парсеры
    se-google.png
    SE::Google и
    se-baidu.png
    SE::Yandex оптимизированы при работе без антигейта
  • Для парсера
    se-bing-translator.png
    SE::Bing::Translator добавлены все новые языки
  • В API при добавлении задания появилась возможность указать флаг removeOnRestart, при указании которого задания будут автоматически удалены при перезапуске парсера
Исправления в связи с изменениями в выдачи

  • se-ask.png
    SE::Ask - парсилась только первая страница
  • se-google.png
    SE::Google - исправлен парсинг сниппетов
  • Исправлены
    se-mailru.png
    SE::MailRu,
    se-dogpile.png
    SE:: Dogpile,
    se-google-pr.png
    SE::Google::pR,
    se-qip.png
    SE::QIP и
    se-qip-position.png
    SE::QIP::position

Исправления

  • При использовании нескольких форматов запросов и опции Parse to level парсер мог вылетать с ошибкой
  • В парсере
    se-google.png
    SE::Google могла повторно отправляться каптча при использовании антигейта
  • Исправлен баг с отображением формата результата после импорта пресета
  • Исправлен баг с отображением переменных в Конструкторе результатов
 
  • Спасибо
Реакции: lexone
A-Parser - 1.1.388 - новый парсер disconnect.me, улучшения в экспорте заданий

Улучшения
  • Добавлен парсер
    se-disconnectme.png
    SE:: DisconnectMe - поисковая система от бывших сотрудников Google, можно выбирать один из трех вариантов выдачи: Google, Bing, Yahoo
  • Теперь при сохранении пресета задания, сохраняется название файла запросов или сам список запросов
  • При экспорте задания, появилась возможность указать включать или нет запросы в код пресета, а также теперь отображается список настроек парсеров которые будут включены в код
  • В очереди заданий добавлена возможность свернуть\развернуть одновременно все задания на странице
  • В очереди заданий для свернутых заданий теперь отображается время выполнения
  • Увеличена скорость парсинга
    se-google.png
    SE::Google
Исправления в связи с изменениями в выдачи
  • В
    se-google-images.png
    SE::Google::Images больше не парсится параметр size
  • Исправлены
    se-google.png
    SE::Google,
    se-google-trustcheck.png
    SE::Google::TrustCheck,
    se-google-compromised.png
    SE::Google::Compromised,
    se-ask.png
    SE::Ask,
    se-dogpile.png
    SE:: Dogpile,
    rank-mustat.png
    Rank::Mustat,
    rank-category.png
    Rank::Category,
    se-aol.png
    SE::AOL
Исправления
  • A-Parser мог падать при использовании парсеров
    se-yandex-wordstat.png
    SE::Yandex::WordStat,
    se-dogpile.png
    SE:: Dogpile, а также при использовании Просмотра логов после перезапуска парсера
  • В парсере
    net-whois.png
    Net::Whois не определялась дата экспайра для некоторых доменов
  • В парсере
    se-bing.png
    SE::Bing не корректно обрабатывались ссылки содержащие символ &

Обновление партнерской программы

Участвуйте в нашей партнерской программе рекламируя A-Parser в своих блогах и на форумах! Размер комиссии - 15%:
  • A-Parser Lite: $18
  • A-Parser Pro: $30
  • A-Parser Enterprise: $42
9d9op.png


В обновленном интерфейсе доступна удобная статистика заработанных средств и выплат, а также список привлеченных пользователей

Подробнее про условия участия в партнерской программе читайте в соответствующем разделе
 
A-Parser: видео урок по парсингу 2ГИС

Денис Бартаев рассказывает о парсинге информации о компаниях и их телефонов из базы 2ГИС


В выпуске рассматриваются
  • Использование парсера-паука HTML::LinkExtractor и его настройка для фильтрации ссылок
  • Работа с параметром Parse To Level
  • Использование парсера Net::HTTP и его настройка для выборки данных со страницы с помощью регулярных выражений
  • Создание Excel-таблицы из результатов парсинга

Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео
 
Сборник рецептов #12: парсим Instagram, собираем статистику и делаем свои парсеры подсказок

12-й выпуск Сборника рецептов. В нем мы рассмотрим пример парсинга Instagram, проверим новую возможность вывода статистики и научимся составлять кастомные парсеры подсказок. А также:
  • Обзор вариантов представления результатов
  • Универсальный чекер страниц
  • Парсинг трафика и стоимости по ключевым словам из SEMrush
  • Обновление и улучшение пресетов для парсинга Авито и 2GIS
Парсинг Instagram
Instagram на сегодня является одним из самых популярных приложений для обмена фото с элементами социальной сети (осенью 2015 года аудитория превысила 400 млн пользователей). Такая популярность делает данный сервис привлекательным для парсинга, с целью получения различной информации. Как парсить Инстаграм с помощью А-Парсера - по ссылке выше.
zk1jr.png


Статистика по результатам парсинга
Начиная с версии 1.1.336 в А-Парсере появилась возможность вести и обрабатывать статистику парсинга, благодаря поддержке шаблонизатора в Начальном и Конечных текстах. Теперь в выдаче можно подсчитать количество ссылок на каждом домене, количество сабдоменов для каждого домена, частоту каждого сабдомена; получить списки доменов, имеющих сабдомены и многое другое... Несколько примеров показаны по ссылке выше.
A5qxD.png


Как сделать свой парсер подсказок?
В A-Parser уже существуют парсеры подсказок для Google, Yandex, AOL, Bing и Yahoo. Но есть и другие сервисы, которые также выдают подсказки. О том, как сделать свой парсер подсказок, а также примеры для Baidu, Rambler, Mail.Ru, LiveInternet, DuckDuckGo и GooglePlay смотрите по ссылке выше.
5s8VN.png


Кроме этого еще несколько рецептов:

Еще больше различных рецептов в нашем Каталоге примеров!

 
  • Спасибо
Реакции: CSS
A-Parser - 1.1.434 - парсинг частотности Яндекс.Директ с большой скоростью, улучшения использования памяти

В этой версии проделана большая работа по добавлению поддержки агрегации запросов. Теперь парсер частотности ключевых слов
se-yandex-direct-frequency.png
SE::Yandex::Direct::Frequency может получать данные со скоростью 20000-50000 слов\минуту

Улучшения
  • Уменьшено потребление памяти при использовании большого числа потоков и\или нескольких парсеров в одном задании
  • Уменьшено потребление памяти при большой очереди завершенных заданий
  • В парсере
    se-yandex-direct-frequency.png
    SE::Yandex::Direct::Frequency добавлена возможность выбрать все регионы или выбрать несколько определенных
  • В парсере
    se-yandex-direct-frequency.png
    SE::Yandex::Direct::Frequency добавлена поддержка Яндекс аккаунтов, а так же поддержка AntiGate и парсинг по 500 ключевых слов за один запрос
  • В парсере
    se-yandex-direct-frequency.png
    SE::Yandex::Direct::Frequency добавлена возможность выбора периода за последний месяц, за определенный месяц, за квартал или за год
  • Для Windows и Linux улучшена поддержка юникода в именах файлах, независимо от языка интерфейса ОС
  • Добавлена возможность просматривать логи только неудачных запросов
  • В API добавлена возможность указать флаг removeOnComplete при добавлении задания, тем самым задания будут автоматически удалятся после завершения
  • В просмотре логов теперь можно выделить данные для копирования
  • В парсере
    net-http.png
    Net::HTTP добавлен параметр Max cookies count, ограничивающий число Cookie для сохранения
  • В парсере
    net-http.png
    Net::HTTP расширен список кодов ответов, а также добавлена возможность указать регулярное выражения для проверки кода ответа
  • В очереди заданий теперь можно искать необходимые задания по названию, номеру, подстроке в запросах, имени файлов запросов и результатов
  • В парсере
    html-linkextractor.png
    HTML::LinkExtractor добавлена опция Check next page, позволяющая расширить логику перехода по ссылкам
  • Добавлена опция Page as new query, которая передает переход на следующую страницу как новый запрос, тем самым позволяя убрать ограничение на количество страниц для перехода
Исправления в связи с изменениями выдачи
  • В парсере
    se-yandex.png
    SE::Yandex исправлен парсинг связанных ключевых слов
  • В парсере SE::Youtube исправлен парсинг количества видео по запросу
  • Исправлен парсинг Google Blogs в парсере SE::Google
  • Исправлены
    se-aol.png
    SE::AOL, SE::Ask, SE::Baidu, SE::Google, SE::Google::pR, SE::DisconnectMe, SE::QIP, SE::Yandex
Исправления
  • Исправлено отображение длинных выпадающих меню
  • Исправлена кодировка запросов в просмотре логов
  • Исправлено падение при использовании опции Parse to level в некоторых ситуациях
  • Исправлено падение в парсере
    seo-ping.png
    SEO::ping
  • Прокси с авторизацией теперь сохраняются корректно в файл живых прокси alive.txt
  • Исправлена работа с прокси при указании пустой пары логин\пароль для авторизации
  • В парсере
    se-yandex-wordstat.png
    SE::Yandex::WordStat теперь при использовании опции Remove + from keywords плюсы удаляются также для фраз правого столбика
  • Исправлено экранирование символа + в HTTP запросах

Все изменения и описания новых возможностей скоро будут доступны в документации
 
A-Parser: видео урок - генерация sitemap.xml используя возможности JavaScript

Денис Бартаев рассказывает об использовании JavaScript в A-Parser:


  • Использование LinkExtractor
  • Показан пример разбора заголовков ответов
  • Введение в основы JavaScript
  • Использование возможностей tools.js для решения практической задачи
Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео
 
A-Parser - 1.1.462 - цепочки заданий, сохранение JavaScript функций в пресете задания

Улучшения
  • Добавлена возможность использовать цепочки заданий - запускать определенное задание после завершение текущего, с возможностью указать файл результатов первого задания, как файл запросов для следующего
  • Теперь JavaScript функции можно сохранять в настройках задания, что позволяет включать их при экспорте задания
  • При форматировании элементов массивов через метод .format теперь можно использовать все простые(Flat) переменные, которые выдает парсер или которые формируются используя Конструктор результатов
  • В прокси чекер добавлена опция Load limit count, позволяющая задать максимальное число прокси для загрузки с источников
  • В парсере
    net-http.png
    Net::HTTP для опции Check content добавлен переключатель Match / Not Match позволяющий проверять не только наличие, но и отсутствие определенного контента на странице
  • Теперь файл задания не перезаписывается при отсутствии свободного места на диске
  • В лог добавлена информация о версии парсера, количество свободной памяти и другая полезная информация
Исправления в связи с изменениями выдачи
  • Исправлены
    se-yandex.png
    SE::Yandex,
    se-google.png
    SE::Google
Исправления
  • В парсере
    se-google.png
    SE::Google сниппеты и анкоры парсились с некорректной кодировкой при использовании Антигейта
  • При использовании опции Конечный текст и кириллического имени файла результата конечный текст сохранялся в файл с неверной кодировкой в имени
  • При использовании лога после постановки задания на паузу и продолжении работы лог переставал писаться, также при отключении логирования и попытке просмотра лога парсер мог упасть
  • В Тестировщике заданий при закрытии окна с активным заданием появлялась ошибка
  • В парсере
    se-yandex-direct-frequency.png
    SE::Yandex::Direct::Frequency некоторые фразы не обрабатывались при использовании аккаунтов, а также некорректно передавалось гео без использования аккаунтов
  • Макрос $pagenum в парсере
    net-http.png
    Net::HTTP переставал работать если после него были указаны символы
  • Парсер
    se-google-trustcheck.png
    SE::Google::TrustCheck не работал совместно с антигейтом
 
A-Parser - 1.1.481 - множество оптимизаций скорости, использование пресетов в цепочках и планировщике

u4cqw.png


В этой версии был внедрен ряд качественных улучшений, призванных увеличить предельную скорость парсинга:
  • Быстрая обработка UTF-8, прирост скорости на некоторых задачах до 1.5х
  • Внедрен механизм анализа используемых переменных в результатах, что позволяет оптимизировать скорость извлекая только требуемые данные. Первым оптимизированным парсером стал
    se-google.png
    SE::Google: двухкратный прирост предельной скорости парсинга при сборе только ссылок(7000-10000 запросов в минуту, по 100 результатов на запрос, другими словами теперь можно получить 1 миллион ссылок за 1-1.5 минуты)
  • Теперь информация о запросах $response формируется только по требованию
  • Оптимизирована работа шаблонизатора при использовании множества парсеров в одном задании
Другие улучшения:
  • Теперь при использовании опции "Запустить задание по завершению" используется имя пресета вместо номера задания из очереди
  • В планировщике заданий также используется имя пресета, что позволяет очищать очередь без риска потерять сохраненные задания для планировщика
Исправления в связи с изменениями в выдачи:
  • se-google.png
    SE::Google - поиск по блогам, также увеличена скорость парсинга за счет изменения запросов
  • se-yahoo.png
    SE::Yahoo,
    se-duckduckgo.png
    SE::DuckDuckGo,
    se-aol.png
    SE::AOL
Исправления:
  • В парсере
    rank-archive.png
    Rank::Archive исправлена логика при обработке ошибки 403 Forbidden
  • Исправлено падение при изменении числа потоков в задании
  • Исправлена поддержка TLS для некоторых сайтов
  • Исправлено зависание задания при падении воркера
  • Теперь задание можно остановить если оно находится в режиме ожидания слота
  • Исправлена работа опции "Сохранять размер окна"
  • Исправлена ошибка в
    html-linkextractor.png
    HTML::LinkExtractor при работе опции Parse to level в случаях когда сайт отдал редирект на другую страницу
 
  • Спасибо
Реакции: CSS
Сборник рецептов #13: сохраняем результат в файл дампа SQL и знакомимся с $tools.query

13-й выпуск Сборника рецептов. В нем мы научимся сохранять результат в файл дампа SQL, который будет сразу готов для импорта в базу данных; познакомимся с очень полезным инструментом $tools.query, с помощью которого можно объединять несколько заданий в одно и делать другие интересные вещи; а также увидим еще несколько полезных рецептов.

Вывод результата в формате дампа SQL
С вопросом "можно ли сохранять результаты сразу в базу данных" очень часто обращаюся пользователи в техподдержку. И так, как на данный момент напрямую сохранять результаты в БД нет возможности (но планируется), то предлагаю вариант выводить их в файл дампа, а потом импортировать в базу данных. Как это делается - показано по ссылке выше.
unEMZ.png


Обзор инструмента $tools.query
$tools.query довольно часто встречается в примерах на форуме. В А-Парсере этот инструмент появился уже больше года назад, но обзора по нему до этого времени не было выпущено. Поэтому мы исправляемся и по ссылке выше вы сможете ознакомиться с некоторыми его возможностями.
floct.png


Еще несколько рецептов:
Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники
 
A-Parser - 1.1.500 - использование разных источников прокси в разных заданиях и парсерах

В этой версии проделана большая работа по улучшению проверки прокси и добавлению возможности использования разных источников прокси:
wmrs2.png

  • Появилась возможность запускать сразу несколько прокси чекеров, каждый поддерживает собственные настройки и собственный рабочий каталог с возможностью указать различные источники проксей
  • В настройках задания, появилась возможность указать прокси от каких чекеров должны использоваться(выбор между всеми или перечисление конкретных)
  • Более того в одном задании каждый парсер может использовать различные источники прокси
  • Добавлен график живых прокси и статистика по обработке источников
  • Уменьшено потребление памяти при большом числе живых прокси
  • В API теперь возможно получить список всех живых прокси, а также список прокси для конкретных прокси чекеров
Благодаря этим нововведениям появилась возможность раздельной работы с разными прокси серверами, когда одни прокси подходят для парсинга сайтов, другие лучше для парсинга выдачи поисковых систем, а третьи могут быть "заточены" под определенный сервис

Другие улучшения:
  • Для парсера
    rank-cms.png
    Rank::CMS добавлена опция эмуляции браузера, она включена по умолчанию и повышает процент распознавания многих CMS
  • В редакторе заданий появилась возможность сворачивать парсеры, что позволяет удобнее работать с большими заданиями
Исправления в связи с изменениями в выдачи:
  • rank-majesticseo.png
    Rank::MajesticSEO,
    se-yandex.png
    SE::Yandex,
    rank-archive.png
    Rank::Archive,
    se-google-images.png
    SE::Google::Images,
    se-google-trustcheck.png
    SE::Google::TrustCheck,
    se-yandex-catalog.png
    SE::Yandex::Catalog
Печальная новость коснулась
se-google-pr.png
SE::Google::pR - Google прекратил отображать PageRank для сайтов, но у нас в арсенале есть множество парсеров для гораздо более точной оценки рейтинга домена!
 
  • Спасибо
Реакции: 7make
A-Parser: видео урок - сбор отзывов о компании

Денис Бартаев рассказывает, как собрать отзывы о компании в необходимом регионе:


  • Парсинг отзывов с популярного сервиса
  • Работа с парсером Net::HTTP, переход по сайту в глубину
  • Использование конструкторов запросов и результатов
  • Получение нескольких элементов контента одним регулярным выражением
  • Работа с асинхронными запросами в A-Parser
  • Просмотр результата в табличном виде в Excel

Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео
 
Отличное ПО. Лучший софт в своем сегменте. Однозначно стоит своих денег. Рекомендую всем кому нужен парсер.

П.С
Кроcсплатформенность A-parser - особый плюс.
Вот например в связи с переходом на linux под зенку пришлось выделить целую виртуалку под виндой с 4гб оперативки...
 
  • Спасибо
Реакции: A-Parser Support
1.1.532 - парсинг регистратора в Whois, множество исправлений

Улучшения

  • В парсере
    net-whois.png
    Net::Whois добавлен парсинг названия регистратора домена

Исправления в связи с изменениями в выдачи

  • se-youtube.png
    SE::YouTube,
    se-aol.png
    SE::AOL,
    se-dogpile.png
    SE::Dogpile,
    se-yandex.png
    SE::Yandex

Исправления

  • Исправлено падение при использовании JavaScript(tools.js) на Windows, также исправлена некорректная работа на Linux
  • Исправлена проблема с логином на некоторых аккаунтах Яндекса
  • Исправлено определение ранка в парсере
    rank-alexa.png
    Rank::Alexa для доменов с www.
  • Исправлена работа с некоторыми доменными зонами в парсере
    net-whois.png
    Net::Whois, а также отображение статуса для некоторых зон
  • Исправлено падение
    rank-cms.png
    Rank::CMS при использовании опции -nofork
  • Исправлены проблемы в работе нового прокси чекера: отключение чекера при изменении настроек, переопределение чекера в задании, а также проблема с отображением в некоторых браузерах
  • Исправлена работа опции Prepend/Append text в некоторых случаях
 
A-Parser - 1.1.566 - кэширование запросов, удобная работа с настройками, множество улучшений

grf1e.png

Улучшения
  • Теперь для парсеров
    net-http.png
    Net::HTTP,
    html-textextractor.png
    HTML::TextExtractor,
    html-linkextractor.png
    HTML::LinkExtractor,
    rank-cms.png
    Rank::CMS кэшируются одинаковые HTTP запросы при использовании любой комбинации из этих парсеров в одном задании, что исключает выполнение повторных запросов к одному URL, как следствие растет скорость, уменьшается нагрузка на целевые сайты
  • Добавлена опция Max connections per host позволяющая ограничить максимальное число одновременных подключений к одному домену/IP
  • Добавлена опция Global proxy ban позволяющая расшарить статистику по бану проксей между заданиями
  • В парсере
    html-linkextractor.png
    HTML::LinkExtractor улучшено отображение табличных данных и списков
  • В парсере
    se-yandex-wordstat.png
    SE::Yandex::WordStat добавлена возможность указать минимальную частотность для добавления запроса на вложенный парсинг
  • В парсере
    se-yandex.png
    SE::Yandex добавлена опция Parse all results позволяющая автоматически обходить ограничение на размер выдачи и собирать гораздо больше результатов
  • В редакторе заданий добавлена функция Copy overrides позволяющая копировать настройки из одного парсера в другой
  • В редакторе заданий добавлена функция Save overrides to preset позволяющая создать новый пресет на основе переопределенных значений
  • При просмотре логов с опцией "Только неудачные" теперь отображаются только те потоки, в которых были неудачные запросы
  • При использовании xPath совместно с сохранением отдельных запросов в один массив данные заполняются равномерно
  • В очереди заданий добавлена дата последнего изменения задания при отображении в компактном виде
  • В очереди заданий добавлена возможность скачать файл результатов при незавершенном парсинге
  • При использовании опции "Сохранять неудачные запросы" теперь дополнительно сохраняются оригинальные запросы для всего задания
  • Добавлена опция Report captcha - распознанные Google каптчи отправляются на наш сервер для анализа, включена по умолчанию
Исправления в связи с изменениями в выдаче
  • se-yandex.png
    SE::Yandex,
    rank-dmoz.png
    Rank: DMOZ, SE::AOL
Исправления
  • Исправлена проблема с большим потреблением памяти на ОС Windows
  • Исправлено неверное сохранение параметра уникализации в некоторых случаях
  • Не работала замена на группы в регулярных выражениях в Конструкторе запросов
  • В парсер HTML::LinkExtractor исправлен парсинг ссылок с пробелами
  • Исправлена проблема с отображением заданий в очереди с большим числом запросов добавленных через текстовое поле
 
A-Parser: видео урок - парсим Rambler с XPath

Денис Бартаев рассказывает, как в несколько кликов создать парсер любой поисковой системы на примере Rambler.ru. Мы получим всю необходимую информацию: ссылки, анкоры, сниппеты, число результатов, связанные ключевые слова и проверку на опечатку в запросе.


В уроке рассмотрены
  • Использование XPath для создания кастомного парсера
  • Обход капчи без использования Antigate
  • Использование Template toolkit для форматирования результата
  • Объединение результатов парсинга в массив объектов с полями, связанными по индексу

Подписывайтесь на наш канал!

Оставляйте в комментариях свои идеи и пожелания для будущих видео
 
A-Parser - 1.1.582 - множество исправлений поисковых систем

Улучшения
  • В очереди заданий теперь запоминается текущая страница отдельно для активных и завершенных задач
  • Добавлена возможность вывести время выполнения каждого запроса
Исправления в связи с изменениями в выдаче
  • se-yandex.png
    SE::Yandex,
    se-bing.png
    SE::Bing,
    se-yandex-register.png
    SE::Yandex::Register,
    se-comcast.png
    SE::Comcast,
    se-disconnectme.png
    SE::DisconnectMe,
    se-bing-translator.png
    SE::Bing::Translator,
    rank-linkpad.png
    Rank::LinkPad,
    se-duckduckgo.png
    SE::DuckDuckGo,
    se-yandex-direct-frequency.png
    SE::Yandex::Direct::Frequency
Исправления
  • Улучшена обработка кодировки текста в
    html-textextractor.png
    HTML::TextExtractor
  • В очереди заданий в некоторых случаях могли не отображаться кнопки управления заданием


Сборник рецептов #14: используем XPath, анализируем сайты и создаем комбинированные пресеты

14-й выпуск Сборника рецептов. Сегодня мы научимся делать кастомные парсеры с помощью XPath, будем анализировать страницы сайта и попробуем делать комбинированные пресеты. Кроме этого ниже обновление 2-х самых популярных пресетов и небольшой сюрприз :-) Поехали!

Быстрое создание кастомного парсера поисковой системы с помощью XPath
В A-Parser есть парсеры для большинства популярных поисковых систем. Но реализовать и поддерживать парсеры для абсолютно всех существующих поисковиков очень сложно, поэтому нам на помощь приходит
net-http.png
Net::HTTP с его замечательной возможностью парсить практически все. В данной статье речь пойдет о том, как с помощью XPath и
net-http.png
Net::HTTP довольно быстро и легко создать кастомный парсер почти любой поисковой системы. Подробности - по ссылке выше.
24i2E.png


Анализ всех страниц сайта
Администраторы сайтов и SEO-специалисты довольно часто сталкиваются с задачей анализа и мониторинга всех страниц сайта. Ранее мы уже публиковали Универсальный чекер страниц, который позволяет проверить доступность страниц на сайте. Теперь мы предоставляем вашему вниманию пресет для анализа всех страниц, который выводит глубину, время ответа, код и статус ответа, размер страницы и, если есть редирект, то конечный адрес редиректа. Все детали и пресет - по ссылке выше.
Am98N.png


Как сделать парсинг и скан сайтов в одном пресете
Возможность использовать несколько парсеров в одном задании - это одно из преимуществ А-Парсера. Простая демонстрация такого функционала показана по ссылке выше.
zuca4.png


Кроме этого:
  • Обновлен пресет парсинга Авито
  • По многочисленным просьбам полностью переделан пресет парсинга 2GIS. Теперь он еще быстрее! А для тех, кто внимательно читает наши статьи - в посте есть небольшой подарок: полная база 2GIS.

Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники
 
лайт версия парсера подходит только для отлежки в дальних закоулках вашего компьютера. тот функционал что добавлен в версии совсем не пригоден для парсинга(говорю про гугл), с 60 персональными проксями парсер отпарсил только 60к. подсказки он не парсит, а на релейтедных кеях далеко не уйдешь. гугл жестко банит все прокси, и поэтому кто желает сэкономить - не советую брать, проще купить 2 парсера которые будут даже минет делать и стоять в 2 раза дешевли лайт верии, а все остальное пробивается зенкой
 
  • Спасибо
Реакции: Andrew Shell
A-Parser - 1.1.594 - Улучшение скорости парсинга Google в 10-20 раз

h1sij.png


После ужесточения парсинга со стороны гугла A-Parser стал парсить его быстрее чем раньше, результаты тестирования парсинга в 1000 потоков, 1 страница по 100 результатов - более 4000 запросов в минуту

3efgi.png


Улучшения
  • Переработан парсер
    se-google.png
    SE::Google - увеличена скорость парсинга в 10-20 раз
  • Названия пресетов заданий теперь сортируются при добавлении
Исправления
  • se-google.png
    SE::Google - исправлена обработка каптчи в связи с изменением выдачи
  • net-whois.png
    Net::Whois - исправлена работа с некоторыми зонами
  • se-yandex-register.png
    SE::Yandex::Register - исправлена работа с каптчей при регистрации аккаунта
  • Исправлено отображение дебаг информации для прокси чекеров
 
A-Parser - 1.1.619 - большая оптимизация потребления памяти, увеличение скорости парсинга Яндекса

28wkr.png


В этой версии проделана большая работа по оптимизации потребления памяти, а также стабильной работе парсера 24/7 с множеством числом заданий

Улучшения
  • Уменьшение потребления памяти
  • Оптимизация парсера
    se-yandex.png
    SE::Yandex - увеличение предельной скорости парсинга в 2.5 раза(~1500 запросов минуту, i7-4770)
Исправления в связи с изменениями в выдаче
  • se-google.png
    SE::Google,
    se-aol.png
    SE::AOL,
    se-yandex.png
    SE::Yandex,
    se-dogpile.png
    SE:: Dogpile,
    se-youtube.png
    SE::YouTube,
    se-bing.png
    SE::Bing
Исправления
  • Исправлен
    se-google.png
    SE::Google при работе с антигейтом: неверная обработка запросов со скобками и очень длинных запросов
  • Исправлен
    net-http.png
    Net::HTTP - при выполнении цепочки редиректов теперь передается оригинальный реферер
  • Исправлена работа с сессиями в
    se-yandex-wordstat.png
    SE::Yandex::WordStat
 
А сколько стоят обновления после 3х или 6ти месяцев соответственно?
 
A-Parser - 1.1.626 - парсер Яндекс картинок, поддержка каптчи при логине в Яндекс, удаление нерабочих аккаунтов

eosv5.png


В версии 1.1.626 добавлена поддержка каптчи при логине в Яндекс аккаунт в парсерах
se-yandex.png
SE::Yandex,
se-yandex-wordstat.png
SE::Yandex::WordStat и
se-yandex-direct-frequency.png
SE::Yandex::Direct::Frequency:

5nwml.png


Также для этих парсеров добавлена настройка Remove bad accounts, которая автоматически удаляет аккаунты с неверным логин/паролем или требующие подтверждения по телефону. Опция включена по умолчанию

Добавлен новый парсер картинок
se-yandex-images.png
SE::Yandex::Images, поддерживает все фильтры(размер, ориентация, тип, цвет, тип файла...). Как известно Яндекс отлично индексирует все картинки для взрослых - отличный способ набрать контента для своих доров/тюбов. В дополнении есть возможность выставить безопасный поиск

2cgwv.png


Парсер Яндекс картинок также поддерживает работу с антигейтом(anti-captcha, rucaptcha, CapMonster - любой сервис с поддержкой API антигейта)

Исправления в связи с изменениями в выдачи
  • se-duckduckgo.png
    SE::DuckDuckGo
 
Сборник рецептов #15: анализируем скорость и юзабилити сайтов, парсим Яндекс.Картинки и Baidu

15-й выпуск Сборника рецептов. В нем мы будем парсить Google PageSpeed Insights, который позволяет оценивать скорость загрузки, юзабилити сайтов и даже получать их скриншоты; сделаем кастомный парсер Яндекс.Картинок и научимся получать полные ссылки из выдачи Baidu. Поехали!

Анализ скорости загрузки и юзабилити сайтов
У Google есть довольно неплохой сервис PageSpeed Insights, который измеряет скорость загрузки веб-страниц, оценивает их юзабилити и даже делает скриншоты страниц. При этом оценивается обычная и мобильная версия парсера. Поэтому мы не могли обойти стороной такой сервис и не сделать для него парсер. О том, что получилось - читайте по ссылке выше.
BN5wQ.png


Кастомный парсер Яндекс Картинок
На форуме неоднократно спрашивали когда в А-Парсер будет добавлен парсер картинок Яндекса. На данный момент такой парсер уже есть:
se-yandex-images.png
SE::Yandex::Images. Но в данной статье будет показан пример кастомного парсера Яндекс.Картинок, который довольно хорошо демонстрирует возможности
net-http.png
Net::HTTP. Подробности - по ссылке выше.
SjOA0.png


Как получить полные ссылки из Baidu
Также довольно часто спрашивают как получить полные ссылки из Baidu. Дело в том, что этот поисковик обрезает ссылки в выдаче, и на выходе получаются ссылки такого вида:
http://www.51testing.com/html...
http://baike.baidu.com/link?u...
http://en.wikipedia.org/wiki....
Нажмите для раскрытия...
Поэтому в данной статье будет показан способ получения полных ссылок с помощью A-Parser.
66pko.png


Кроме этого:

Еще больше различных рецептов в нашем Каталоге примеров!

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники:
 
Войдите или зарегистрируйтесь для ответа.

Похожие темы

equavilon
YouTube Parser - Полный обход фрода API & NOAPI | AQUILONE PARSER
Ответы
0
Просмотры
96
Прочее
equavilon
equavilon
Seoenru
Линкбилдинг под ключ — безопасные SEO ссылки для роста сайта в Yandex & Google
Ответы
0
Просмотры
38
Прочее
Seoenru
Seoenru
Null.Coder
RedirectFactory - Софт для создание редиректов через сокращения ссылок, google, домены. Парсер доменов
Ответы
0
Просмотры
101
Прочее
Null.Coder
Null.Coder
Anygram
Anygram - софт для продвижения и автоматизации в Telegram
Ответы
3
Просмотры
847
Прочее
Anygram
Anygram
FoxLabs
YouTube-Parser – Парсер данных и контактов из YouTube. Шаблон FoxLabs YT парсер
Ответы
9
Просмотры
1K
Продажа шаблонов ZennoPoster/ZennoDroid
FoxLabs
FoxLabs

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)

Сверху Снизу