Нужен шаблон кекширования доров

  • Автор темы Автор темы nicos77777
  • Дата начала Дата начала
N

nicos77777

Client
Регистрация
04.04.2013
Сообщения
339
Реакции
20
Баллы
18
добрый вечер. нужно сделать шаблон который скекшировалбы мне дор до определенного уровня вложенности, не вылазя за пределы дора и обходя дор по всем ссылкам(тоесть с доменом и без), подобие паука. кекшировать нужно видимо, тоесть дор специфический, кортинки не появятся через гет запрос.
 
WARNING

It's great. I love the checker, but when you download it, you get malware. Had I not had xenu for a long time, I would have thought that xenu was malware because of this. Get rid of the crappy malware that is installed alongside xenu. It hurts the reputation of a great product. And yes, I KNOW it came with Xenu. My antivirus was going crazy when Xenu was downloading, and it STILL managed to install two viruses on my computer.

mFpPuHJ.png
 
zortexx написал(а):
@lokiys
Did you know that some antiviral software mark some components of ZennoPoster as a virus or mailware?
Нажмите для раскрытия...

Yep I know XulRunner is found as virus by some antivirus softs.
Did you know that some Malware are not found using virustotal ?
Its just a friendly heads up after that you can install whatever is good for you :)

Cheers
 
А зачем вам Xenu в зенку загружать? Собирайте урлы Xenu, выгружайте их и делайте со списком что хотите. Могу посоветовать вместо Xeno использовать Screaming Frog SEO spider. Тоже не плохой инструмент. На торентах ищите.
 
lokiys написал(а):
WARNING

It's great. I love the checker, but when you download it, you get malware. Had I not had xenu for a long time, I would have thought that xenu was malware because of this. Get rid of the crappy malware that is installed alongside xenu. It hurts the reputation of a great product. And yes, I KNOW it came with Xenu. My antivirus was going crazy when Xenu was downloading, and it STILL managed to install two viruses on my computer.
Нажмите для раскрытия...
You need download tools from developers sites. :)
 
UP мужики извините, но нужна ваша помощь. Реализовал гулялку по сайту до определенного уровня. Но в этой гулялке присутствует сайт/сервис который показывает внутренние ссылки. Это сильно затормаживает скорость а иногда и качество. Вы не можете подсказать снипет который бы выдирал внутренние ссылки на страници(и выдавалбы список в виде 'домен.ру/блаблабла')

Заранее огромное спасибо!
 
Не совсем понимаю связки тормозов и того что вам нужно получить ссылки.
Можно в цикле взять все элементы a и их href + сохранение в список. Изменяя номер совпадения счетчиком
 
Войдите или зарегистрируйтесь для ответа.

Кто просматривает тему: (Всего: 0, Пользователи: 0, Гости: 0)

Сверху Снизу