Парсинг

[Andi88]

Ребята, подскажите как избавится от первого и последнего значения в списках такого рода?
jaguar.ru/#
jaguar.ru/dealer-network/index.html
jaguar.ru/request-a-brochure/index.html
jaguar.ru/quality-section/owners/jaguar-mobile-application.html
jaguar.ru/about-jaguar/how-to-become-our-dealer.html
jaguar.ru/quality-section/owners/merchandise-brochure.html
jaguar.ru/market-selector.html
jaguar.ru/jaguar-experience/index.html%20
jaguar.ru/build-yours/index.html%20
jaguar.ru/corporate-sales/index.html%20
jaguar.ru/financing/special_offers/index.html%20
jaguar.ru/incontrol/index.html%20
jaguar.ru/special-offers/index.html%20
jaguar.ru/jaguar-range/f-pace/experience/reveal.html
jaguar.ru/privacy-legal.html
jaguar.ru/terms-conditions.html
jaguar.ru/about-jaguar/careers.html
jaguar.ru/sitemap.html
jaguar.ru//livetex.ru/lead_generator/?utm_source=clients&utm_medium=chatlink&utm_campaign=chatlink
jaguar.ru/

 

[Andi88]

Точнее не именно первого и последнего, а с доменом и шилдом на конце

 

[Sergodjan]

строку с шилдом можно регуляркой отпарсить .*\#

 

[Andi88]

строку с шилдом можно регуляркой отпарсить .*\#

а ту, что без него, только слешь где?

 

[sof]

Можно прочекать на дубли и все строки будут уникальны (при условии что # удалишь в первом Url)

 

[Andi88]

Можно прочекать на дубли и все строки будут уникальны (при условии что # удалишь в первом Url)

эм, строки и так уникальны

 

[Andi88]

Помогите парсер ссылок сайта наладить, какой то мелкий шлак иногда попадает.
(возможно есть более простые способы собрать ссылки?)

 

[Andi88]

Можно прочекать на дубли и все строки будут уникальны (при условии что # удалишь в первом Url)

Понял тебя, но "удалить дубли" оставляет 1 вариант (и удаляет все копии)

 

[Andi88]

270 ссылок выдал ucheck.ru
http://ucheck.ru/analyze/jaguar.ru/90Qo
671 pr-cy.ru
У меня даже с 1 страницы не получается на всех сайтах чтобы парсило, а тут 671 результатов за секунду...
Вопрос встал такой, потому что pr-cy.ru упал или проводились какие-то работы и шаблон не мог нормально работать, тоесть я зависим от этого сайта и его функционала.

 

[ZennoScript]

jaguar.ru/\w.+
Как то так...Ну а вокруг этой регулярки уже подставьте свои данные.

 

[samsonnn]

Ребята, подскажите как избавится от первого и последнего значения в списках такого рода?
jaguar.ru/#
jaguar.ru/dealer-network/index.html
jaguar.ru/request-a-brochure/index.html
jaguar.ru/quality-section/owners/jaguar-mobile-application.html
jaguar.ru/about-jaguar/how-to-become-our-dealer.html
jaguar.ru/quality-section/owners/merchandise-brochure.html
jaguar.ru/market-selector.html
jaguar.ru/jaguar-experience/index.html%20
jaguar.ru/build-yours/index.html%20
jaguar.ru/corporate-sales/index.html%20
jaguar.ru/financing/special_offers/index.html%20
jaguar.ru/incontrol/index.html%20
jaguar.ru/special-offers/index.html%20
jaguar.ru/jaguar-range/f-pace/experience/reveal.html
jaguar.ru/privacy-legal.html
jaguar.ru/terms-conditions.html
jaguar.ru/about-jaguar/careers.html
jaguar.ru/sitemap.html
jaguar.ru//livetex.ru/lead_generator/?utm_source=clients&utm_medium=chatlink&utm_campaign=chatlink
jaguar.ru/

регулярка - (?<=jaguar\.ru/).*?(?=\.html)

 

[Andi88]

регулярка - (?<=jaguar\.ru/).*?(?=\.html)

Html ведь не во всех сайтах окончание?

 

[ssXXXss]

(?<=jaguar\.ru/[a-z]).*?\.[^*<].+