как парсить сниппеты гугла

blud

Client
Регистрация
19.04.2011
Сообщения
657
Благодарностей
77
Баллы
28
собственно вопрос в теме..
не пинайте если уже где то тема есть на форуме(я не нашел) лучше ткните носом...

я попробовал как паршу разные сайты: беру dom и пытаюсь найти что нужно ...а тут ... ничо не понял (((((
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
20 407
Благодарностей
9 116
Баллы
113
собственно вопрос в теме..
не пинайте если уже где то тема есть на форуме(я не нашел) лучше ткните носом...

я попробовал как паршу разные сайты: беру dom и пытаюсь найти что нужно ...а тут ... ничо не понял (((((
да вроде бы как обычно - находим за что зацепиться и парсим регуляркой, например вот что у меня получилось:
Код:
(?<=<span\ class="st">).*?(?=</span>)
а потом чистим от мусора (хтмл-теги)..

upload_2014-6-11_4-18-49.png
 
Последнее редактирование:
  • Спасибо
Реакции: blud

blud

Client
Регистрация
19.04.2011
Сообщения
657
Благодарностей
77
Баллы
28
спасибо ...я решил это чуть по другому:



правда в тексте остались ссылки .... все что начинается с http и www. я знаю как удалить ... но там попадаются и такие:
my.lrig.org/blogs/jaykay-joya/2014/06/10/
community.aacom.org/blogs/gus-crews/2014/06/10/underattack-blend.com/ Edge-Of-Tomorrow -6070.html
может кто из знатоков подскажет регулярку, что бы выпарсить это ... заранее благодарен
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
20 407
Благодарностей
9 116
Баллы
113
в парсинге по регулярке, которую я привел - нет ссылок..
:dz: ваш способ безусловно оч. интересный, но ... все же..
приведите пример спасренного снипета по вашему методу..
 
  • Спасибо
Реакции: rostonix

blud

Client
Регистрация
19.04.2011
Сообщения
657
Благодарностей
77
Баллы
28
в парсинге по регулярке, которую я привел - нет ссылок..
:dz: ваш способ безусловно оч. интересный, но ... все же..
правильно, но там нет и нужных мне кейвордов, которые есть в тайтлах
 

rostonix

Известная личность
Регистрация
23.12.2011
Сообщения
29 067
Благодарностей
5 715
Баллы
113
Ну ссылки то наверное тегами какими-то обозначены?
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
20 407
Благодарностей
9 116
Баллы
113
правильно, но там нет и нужных мне кейвордов, которые есть в тайтлах
тайтлы можно отдельно регуляркой парсить - там по h3 тегу оч. удобно цеплять их..
просто ради интереса, скопипастье что у вас в переменной text после парсинга лежит?
 

blud

Client
Регистрация
19.04.2011
Сообщения
657
Благодарностей
77
Баллы
28
тайтлы можно отдельно регуляркой парсить - там по h3 тегу оч. удобно цеплять их..
просто ради интереса, скопипастье что у вас в переменной text после парсинга лежит?
||-PUTLOCKER-AYA|| Watch Edge of Tomorrow Online Full my.lrig.org/blogs/jaykay-joya/2014/06/10/ edgeoftomorrow putlocker Cached 20 hours ago - That is an excellent trailer, youtube video, news for you to download Edge of Tomorrow full movie free online in HD, DVD Watch Edge of В Putlocker! Watch Edge of Tomorrow Online Free Full | Movie watch - edge-of-tomorrow -o Cached Eventbrite Loading Putlocker! Watch Edge of Tomorrow Online Free Full | Movie 2014 is using Eventbrite to organize upcoming events. Check out Putlocker! Watch Edge of В TadeePM:( Watch Edge of Tomorrow Full Movie - Action Phim support-splashtoppersonal.splashtop.com/entries/72502028-TadeePM Cached 2 days ago - Sehen Edge of Tomorrow Full Movie . Wonder How to Watch Full Movies online? The easiest way to watch Edge of Tomorrow Online free full В Watch Edge of Tomorrow Online Free Full Movie | Facebook EdgeofTomorrow On Cached Watch Edge of Tomorrow Full Movie Online Free Megashare, Viooz HD Screen: "Edge of Tomorrow" is also the anchor blocked inВ UNDERATTACK! Watch Edge of Tomorrow Free Full 2014 community.aacom.org/blogs/gus-crews/2014/06/10/underattack- watch Cached 6 hours ago - Cruise acts in Edge of Tomorrow is so Great! We will provide convenience for you to Watch Edge of Tomorrow Full Movie Online for Free. [ОЈbayER]} Watch Edge of Tomorrow Full Movie 2014 Viooz Watch - Edge- Cached 1 day ago - Watch Edge of Tomorrow Online Free Full Movie and Watch Edge of Tomorrow Online Free Watch Edge of Tomorrow Online Free Full Movie . Edge Of Tomorrow (2014) - Cinema Blend cinema blend.com/ Edge-Of-Tomorrow -6070.html Cached Similar Watch Tom Cruise World-Premiere Edge Of Tomorrow In 3 Cities In One Day LIVE! This full trailer makes the movie look so much better than earlier marketingВ +ZA+ Watch Edge of Tomorrow Online Free Full Movie + Cached Society of Naval Architects and Marine Engineers Loading 5 days ago - Watch Edge of Tomorrow Online Full Movie Edge of Tomorrow Full Movie HD Watch Edge of Tomorrow Movie Watch Edge of Tomorrow OnlineВ News for watch Edge of Tomorrow full movie Movie Review: ' Edge of Tomorrow ,' Starring Tom Cruise and ABC News ‎- 4 days ago Does ' Edge of Tomorrow ' Actually Work? He's strapped into an exo-suit -- that's powered, full -body armor -- and dropped into Normandy super-smart sci-fi action thriller that's mostly unpredictable, and a pleasure to watch . 'The Fault in Our Stars': Deep Feelings, Chronic Manipulation Wall Street Journal ‎ - 5 days ago More news for watch Edge of Tomorrow full movie Watch Edge of Tomorrow Movie Online Free The - Pinterest Cached Similar Pinterest Loading Watch Edge of Tomorrow Movie Online Free The Let Me Watch This Megavideo Streaming Stream Free Download Videobb Full HD Online Watch CinesHD. Alia Bhatt) Watch Edge of Tomorrow Movie Full Online Free Cached Edge of Tomorrow FULL MOVIE . Spend a little time for free register and you could benefit later. You will be able to stream or Watch also download " Edge of В
я уже убрал все что начиналось с http и www
 

blud

Client
Регистрация
19.04.2011
Сообщения
657
Благодарностей
77
Баллы
28
Последнее редактирование:

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
20 407
Благодарностей
9 116
Баллы
113
blud, я так понимаю, что это снипеты с одной страницы выдачи все вместе, как бы в куче?
если да, то советую все же разбирать регуляркой отдельными снипетами, там и ссылок нет уже изначально, и перемешивать снипеты можно легко.. осталось лишь только допарсить заголовки, зацепившись за h3..
таким образом получите именно то что хотели, но с плюшками - уникализация перемешиванием, настраивать какие снипеты брать, какие игнорировать (по номерам снипетов например.. это для лучшей уникализации)..
 

blud

Client
Регистрация
19.04.2011
Сообщения
657
Благодарностей
77
Баллы
28
может вы и правы.... спасибо ... буду пробовать
 

jumanji

Client
Регистрация
23.12.2011
Сообщения
41
Благодарностей
8
Баллы
8
да вроде бы как обычно - находим за что зацепиться и парсим регуляркой, например вот что у меня получилось:
Код:
(?<=<span\ class="st">).*?(?=</span>)
а потом чистим от мусора (хтмл-теги)..

Посмотреть вложение 5621
нашел на форуме регулярку - <.*?> – поиск всех html тегов, например, чтобы спарсенный текст очистить от кода.
спарсил текст - сохранил его в список - перемешал элементы списка - и на этом остановился, как в это поле вставить текст, переменной не создавалось же
 

Sergodjan

Administrator
Команда форума
Регистрация
05.09.2012
Сообщения
20 407
Благодарностей
9 116
Баллы
113
нашел на форуме регулярку - <.*?> – поиск всех html тегов, например, чтобы спарсенный текст очистить от кода.
спарсил текст - сохранил его в список - перемешал элементы списка - и на этом остановился, как в это поле вставить текст, переменной не создавалось же
Операции над списком - Объединить элементы списка в переменную и ее вставить в Обработка текста..
 
  • Спасибо
Реакции: jumanji

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)