Как спарсить запросы с гугла?

igzdizain

Client
Регистрация
16.05.2015
Сообщения
495
Благодарностей
15
Баллы
18
Вбиваю в поиск гугла запрос и потом собираю данные Dom но в этом dom не могу ссылки найти почему то,они не парсятся чтоли.как их спарсить?
обычный парсинг выдачи гугла как сделать?
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 353
Благодарностей
5 439
Баллы
113
Я обычно беру ссылку со страницы(или ее часть), копирую код(dom) в notepad++ через поиск ищу эту ссылку и смотрю в какие теги она заключена, делаю регулярку и проверю верно ли она находит, если верно то готово, если нет, то либо надо исправить регулярку, либо посмотреть, может есть ссылки в других тегах.
 

igzdizain

Client
Регистрация
16.05.2015
Сообщения
495
Благодарностей
15
Баллы
18
Я тоже через нотпад ищу. Тока я шифт H нажимаю и поиск во всех текущих документах ссылки ищу. Не находит.может реально теги попробовать поискать вокруг ссылки
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 353
Благодарностей
5 439
Баллы
113
если ссылка есть на странице то она и в доме должна быть по логике, попробуй без хттп и доменной зоны поискать. На самый крайний случай возьми не дом, а текст.
 

igzdizain

Client
Регистрация
16.05.2015
Сообщения
495
Благодарностей
15
Баллы
18
Ага спасибо. Да я итак дом спарсил а искал в нем чисто домен без хттп и ру
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 727
Благодарностей
8 820
Баллы
113
Я тоже через нотпад ищу. Тока я шифт H нажимаю и поиск во всех текущих документах ссылки ищу. Не находит.может реально теги попробовать поискать вокруг ссылки
можно поискать по части поискового запроса, напрмиер по одному слову из него, так как запрос может быть весь в тегах, напрмиер в тегах выделения..
ищите по слову из запроса и вокруг не оч. далеко будет и ссылка..
странно что по урлу сайта не находится ничего..
 
Последнее редактирование:

igzdizain

Client
Регистрация
16.05.2015
Сообщения
495
Благодарностей
15
Баллы
18
Может исследовать элемент и в конструкторе через оператора и атрибуты найти ссылки?
 

igzdizain

Client
Регистрация
16.05.2015
Сообщения
495
Благодарностей
15
Баллы
18
Вроде и dom страницы небольшой.Я смотрел так в блокноте искал и ни одной ссылки ненашел. Хотя их в выдаче штук 20 должно быть. Может код скрыт от парсинга
 

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 353
Благодарностей
5 439
Баллы
113
Вроде и dom страницы небольшой.Я смотрел так в блокноте искал и ни одной ссылки ненашел. Хотя их в выдаче штук 20 должно быть. Может код скрыт от парсинга
теоретически если ты видишь ссылки на странице, то и они в доме должны быть, возможно гугл их заворачивает в свои редиректы и "урленкодит" и тогда ты их не видишь, ну мне так кажется.
 

igzdizain

Client
Регистрация
16.05.2015
Сообщения
495
Благодарностей
15
Баллы
18
Да. Так скорее всего и есть. Там чето коряво зашифрованное было кажется. В виде ссылок. Я щас не у компа. Завтра проведу более точный анализ
 

deopl

Client
Регистрация
06.12.2011
Сообщения
656
Благодарностей
126
Баллы
43
Проще искать в конструкторе регулярок. Сразу и регулярку выбирать
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 727
Благодарностей
8 820
Баллы
113

Mikhail B.

Moderator
Регистрация
23.12.2014
Сообщения
14 353
Благодарностей
5 439
Баллы
113
Ага я тоже проверил, все работает. Ты вбей. подожди неск секунд и потом жми дом.

2017-01-16_230907.png
 
  • Спасибо
Реакции: igzdizain

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
19 727
Благодарностей
8 820
Баллы
113
Проще искать в конструкторе регулярок. Сразу и регулярку выбирать
почти с языка снял.. :-)

To igzdizain:
но я все же ищу в нотепаде++ и потом сразу проверяю в конструкторе..
искал по слову из поискового запроса, рядом недалеко оказалась и ссылка..
 
  • Спасибо
Реакции: deopl

minsky

Client
Регистрация
18.08.2013
Сообщения
106
Благодарностей
27
Баллы
28
Вот только что проверил, этот собирает (?<=<h3\ class="r"><a\ href=").*?(?="\ onmousedown=")
 
  • Спасибо
Реакции: igzdizain

igzdizain

Client
Регистрация
16.05.2015
Сообщения
495
Благодарностей
15
Баллы
18

igzdizain

Client
Регистрация
16.05.2015
Сообщения
495
Благодарностей
15
Баллы
18

igzdizain

Client
Регистрация
16.05.2015
Сообщения
495
Благодарностей
15
Баллы
18
Спасибо ребята. Предоставили полно решений.завтра попробую
 

minsky

Client
Регистрация
18.08.2013
Сообщения
106
Благодарностей
27
Баллы
28

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)