Парсер Google без прокси и рекапчи

K R

Client
Регистрация
14.01.2017
Сообщения
127
Благодарностей
127
Баллы
43
Закрытый шаблон больше не продаётся. Можете приобрести открытый, подробности здесь.




Шаблон для многопоточного парсинга Google без использования прокси и решения рекапчи.

Особенности шаблона:
Работает на GET-запросах, без браузера.
Не требует использования прокси и решения рекапчи.
Многопоточный.
Максимальное количество результатов поиска для одного ключевого слова - 100.
Минимальная версия Zennoposter - 7.3.2.1.
Привязка к ZennoLab ID.
Дополнительно: плагины парсинга обычного поиска, поиска картинок и поиска в Youtube для вставки в ваши проекты.

Скорость работы: 10 000 запросов выполняются за 12-15 минут на 200 потоках при работе через 4g модем (скорость 12-20 мбит/сек).

Что умеет шаблон:
Общие настройки (см. скриншоты начальных настроек):

Данные собираются в таблицы (можно выбрать какие данные собирать).
Количество результатов: сколько получать результатов для одной страницы, сколько парсить страниц поиска, с какой страницы начать парсинг.
Настройка ГЕО: выбор страны, языка интерфейса поиска или языка документа (ищет страницы только на заданном языке).
Безопасный поиск.
Поиск документов определённого формата (docx, pdf, xlsx и т.д.)
Дополнения к запросам. Можно вставить список дополнений, которые будут поочерёдно применяться к каждому ключевому слову.
Настройки дат. Можно ограничить поиск определёнными временными рамками.
Обычный поиск:
Выбор получаемых данных: ссылка, домен, заголовок, сниппет, количество результатов в Google. Следующие данные можно получить не для всех сайтов: ссылка на изображение, заголовок на сайте, описание на сайте, название сайта.
Поиск изображений:
Выбор получаемых данных: ссылка на изображение, формат изображения (jpg, png и т.д.), размеры изображения в пикселях и байтах, домен, заголовок, сниппет, количество результатов в Google.
Скачивание найденных изображений с отбраковкой битых файлов.
Проверка ссылок изображений на ответ сервера 200 ОК.
Настройка параметров изображений: цвет, размер, формат.

О плагинах:
Плагины нужны для того, чтобы вы могли встроить их в свой проект. Они не собирают данные в таблицу. Вы задаёте настройки, отправляете плагину ключевое слово и в ответ получаете переменную с данными в виде списка или json.
Плагин парсинга изображений возвращает только текстовую информацию. Скачивание изображений в вашем шаблоне нужно будет настроить самостоятельно.
Плагин парсинга Youtube собирает следующие данные: количество результатов в поиске, ссылка на видео, ID видео, название видео, описание видео, ссылка на превью, название канала, ссылка на канал, дата добавления видео, продолжительность видео, жанр видео.


Чего шаблон и плагины не умеют:
Собирать дополнительные данные со страницы поиска Google (people also ask, ключевые моменты для видео и т.п.).
Проверять индексацию со 100% точностью (оператор site: корректно работает не со всеми доменами).

Общие настройки

94474


Работа с датами

94475


Парсинг изображений

94476

Общие настройки

94492


Настройки ГЕО

94493


Работа с датами

94494

Общие настройки

94485


Настройки поиска изображений

94486


Настройки ГЕО

94489


Работа с датами

94488

Общие настройки

94496


Настройки ГЕО

94493


Работа с датами

94497

Что такое запросы:
Максимальное число результатов для одно запроса - 10. Если у вас на одно ключевое слово выставлен парсинг 10 страниц гугла, это будет 10 запросов. Если используется опция дополнений к запросам, то сколько дополнений добавляется к одному ключевому слову, столько и будет запросов. Если парсить по 3 страницы и по 3 дополнения на ключ, то это 9 запросов на одно ключевое слово.

Поддержка: в течение всего срока пользования шаблоном. При необходимости подключусь через AnyDesk для настройки или решения возникших проблем (если проблема на вашей стороне, то консультация будет платной).

Возврат средств: по умолчанию не предусмотрен, но можно обсудить. Как долго проживёт тема я не знаю, зовут меня не Сергей, и фамилия моя не Брин. В случае, если шаблон перестанет работать и я не смогу это исправить, средства будут возвращены по схеме (за вычетом комиссий платёжных систем):
- полная сумма - если после покупки шаблона прошло не больше 15 дней.
- 75% от полной суммы - если после покупки шаблона прошло не больше 1 месяца.
- если приобретена подписка, то вернутся или все средства (если прошло менее 15 дней после оплаты) или половина (если прошло больше 15 дней) за текущий месяц + полная сумма за следующие месяцы, если приобретена подписка на несколько месяцев.

Схема работы и оплаты:
Вы приобретаете шаблон (с плагинами или без них) и получаете 1 месяц работы в объёме 50 000 запросов в сутки. Для дальнейшей работы шаблона и плагинов необходима оплата подписки.

Стоимость шаблона:
- без плагинов: 100$
- с плагинами: 150$
- если у вас нет Zennoposter, то вы можете приобрести шаблон (без плагинов) для Zennobox. Это добавит к стоимости 10$. Также имейте в виду, что на Zennobox максимальное количество потоков - 20.


Стоимость подписки:
- 50 000 запросов в сутки на 1 месяц (назовём это пакетом): 10$
- если приобретаете несколько пакетов, то с шестого пакета стоимость будет 8$ (300 000 запросов в сутки будут стоить 58$, 500 000 запросов - 90$).
- при единовременной оплате подписки на 6 и более месяцев - скидка 20%


Контакты:
Telegram (предпочтительнее) или личка здесь на форуме.


В планах: добавить к шаблону и плагину обычного поиска парсинг статей (ориентировочные сроки - середина-конец августа 2022).

Готов выдать шаблон с плагинами на тест трём пользователям (со статусом Client) за отзыв. Условия: срок 14 дней, 50 000 запросов в сутки.
 

Вложения

Последнее редактирование:
  • Спасибо
Реакции: qweeeraz и FreeSite

Nick

Client
Регистрация
22.07.2014
Сообщения
1 983
Благодарностей
817
Баллы
113
Предлагаю бартер: я тебе допишу плагин сохранения найденных PDF файлов и распознавание текстов из них, а ты мне - пару лицензий на основной продукт.
 

K R

Client
Регистрация
14.01.2017
Сообщения
127
Благодарностей
127
Баллы
43
Все шаблоны на тест выданы.
 
  • Спасибо
Реакции: FreeSite

Max

Client
Регистрация
17.06.2012
Сообщения
168
Благодарностей
44
Баллы
28
результаты тестов. в целом работает шустро. весь заявленный функционал присутствует. на всю катушку не гонял. на 30 потоках - 50к запросов обработалось примерно за 5 часов на не особо сильном железе. Результаты сохраняются в папках по датам сбора. Автор адекватен. В общем годнота.
 
  • Спасибо
Реакции: K R

Nick

Client
Регистрация
22.07.2014
Сообщения
1 983
Благодарностей
817
Баллы
113
Проверил работу проекта на версии 7.7.0.0. Автор выдал шаблон быстро, подсказал шаги по активации.

Сам проект меня приятно удивил. Море настроек, всё понятно названо, везде даже есть подробные подсказки по наведению мыши.

Я искал PDF-файлы, делал настройки по языку, стране, поиску по интервалу времени. Выкачивал небольшими объёмами, в результате — порядка нескольких сотен строк, но вручную я бы затрахался это собирать.

Запросы производились очень-очень быстро. Я не знал, что такое вообще возможно. Я уже пытался делать такой парсер на браузере, обычно Гугл довольно быстро начинает мудить с капчей и банить, а тут всё просто летает! За пару минут сгенерировались аккуратные .xlsx-файлы со всеми нужными колонками (и без ненужных), всё четко и понятно, удобно. Буду вызывать этот проект из своего, для дальнейшего скачивания и разбора файлов.

Предложил автору пару новых фич на доработку, он быстро откликнулся и уже их запланировал.

Всем рекомендую этот продукт. Автору рекомендую сделать английскую версию и в виде веб-сервиса и продавать подписки буржуям))
 
  • Спасибо
Реакции: K R

Netscout

Client
Регистрация
14.10.2022
Сообщения
9
Благодарностей
2
Баллы
3
Здравствуйте ! Тема ещё рабочая ?
 

K R

Client
Регистрация
14.01.2017
Сообщения
127
Благодарностей
127
Баллы
43
Здравствуйте ! Тема ещё рабочая ?
Здравствуйте.
Да, тема рабочая. В связи с низким спросом шаблон не получил дальнейшего развития, но функции свои выполняет.
 

ZennoShelter

Новичок
Регистрация
27.11.2022
Сообщения
13
Благодарностей
0
Баллы
3
Здравствуйте.
Да, тема рабочая. В связи с низким спросом шаблон не получил дальнейшего развития, но функции свои выполняет.
На форуме у вас еще есть какие-то шаблоны на продажу?
 

K R

Client
Регистрация
14.01.2017
Сообщения
127
Благодарностей
127
Баллы
43

ZennoShelter

Новичок
Регистрация
27.11.2022
Сообщения
13
Благодарностей
0
Баллы
3

K R

Client
Регистрация
14.01.2017
Сообщения
127
Благодарностей
127
Баллы
43
Так как с продажей закрытого шаблона дела не идут и шаблон пылится без дела, выставляю его на продажу в открытом виде.

То есть продаю тему практически безлимитного парсинга гугла )

Стоимость 1000 usdt.

Что вы получите за эту скромную сумму:
Передам открытый шаблон под зеннопостер для парсинга гугла. Парсить можно как угодно, не обязательно через зенку - там обычные get-запросы. При желании сможете встроить парсер в свои доргены.
Объясню как это работает. Дам ссылки на документацию.
Передам данные для парсинга. Сможете делать 1 миллион запросов в сутки. 1 запрос - 10 строк из выдачи.
Расскажу как увеличить число запросов - может быть вы сделаете свой софт на продажу или сервис.

Сразу уточню, что на тест шаблон давать не планирую. Для теста можете скинуть свои ключи.

За отдельную плату могу продать шаблон доргена на базе этого парсера. Делал для себя, но меня хватило всего на 10 сайтов, даже какой-то копеечный трафик был. Потом забил на сайты и ушел красноглазить. Дорген по ключу парсит пару статей из топ-10 гугла (заголовок, описание, тело статьи с тегами), переводит на указанные языки (google translate), добавляет ютуб.

Для связи предпочтительно использовать телеграм.

P.S. Тема продаётся в одни руки.
 

Nick

Client
Регистрация
22.07.2014
Сообщения
1 983
Благодарностей
817
Баллы
113
Привет! Вёрстка выдачи Гугла изменилась, как там дела в шаблоне? Он ещё рабочий? Реплика в поддержку продажи ;-)
 

K R

Client
Регистрация
14.01.2017
Сообщения
127
Благодарностей
127
Баллы
43
Привет! Вёрстка выдачи Гугла изменилась, как там дела в шаблоне? Он ещё рабочий? Реплика в поддержку продажи ;-)
Привет. Сам я сейчас парсингом Гугла не пользуюсь, думаю ничего не изменилось. Посмотрю на досуге. Те, кто его использует, ничего не писали, видимо всё в порядке.
Этому шаблону смена верстки Гугла помешать не должна, он получает данные не в виде страницы выдачи.
 

picasso

Новичок
Регистрация
07.08.2024
Сообщения
2
Благодарностей
0
Баллы
1
Здравствуйте ! Есть возможность работы с fingerprint ?
 

K R

Client
Регистрация
14.01.2017
Сообщения
127
Благодарностей
127
Баллы
43

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)