Создание статичной копии сайта

[KrashBandicoot]

Раньше, это легко делалось через wget, сейчас куча защит, которые обходить тяжело, но Зенно с этим справляется прекрасно, собссно поэтому и возникла задача спарсить весь сайт через зенно, но как это сделать, чтобы локальная копия имела внутреннюю перелинковку, дабы я мог развернуть рабочую копию?

 

[Sergodjan]

Раньше, это легко делалось через wget, сейчас куча защит, которые обходить тяжело, но Зенно с этим справляется прекрасно, собссно поэтому и возникла задача спарсить весь сайт через зенно, но как это сделать, чтобы локальная копия имела внутреннюю перелинковку, дабы я мог развернуть рабочую копию?

На днях поднимался этот вопрос, попробуйте поискать по форуму в недавних темах.
Но вопрос был про сторонние приложения. Навскидку одно из таких приложений - ScrapeBox.

 

[KrashBandicoot]

Хотелось бы с зенно этот вопрос решить, а не искать другой софт...

 

[code]

На днях поднимался этот вопрос, попробуйте поискать по форуму в недавних темах.
Но вопрос был про сторонние приложения. Навскидку одно из таких приложений - ScrapeBox.

Ссылка на тему:

https://zenno.club/discussion/threads/podskazhite-plagin-vozmozhnost-kak-perenesti-wordpress-na-obychnyj-html.127761/

Хотелось бы с зенно этот вопрос решить, а не искать другой софт...

Вероятно, в ZP достаточно долго это реализовывать, из-за чего все выбирают готовые решения.

 

[KrashBandicoot]

Ссылка на тему:

https://zenno.club/discussion/threads/podskazhite-plagin-vozmozhnost-kak-perenesti-wordpress-na-obychnyj-html.127761/

Вероятно, в ZP достаточно долго это реализовывать, из-за чего все выбирают готовые решения.

Подобные решения только для обычных сайтов, а для динамических + защищенных всякими cloudflare и бот протектами - это не подойдёт, почему я и думал через зенно это сделать

 

[SenSS]

Раньше, это легко делалось через wget, сейчас куча защит, которые обходить тяжело, но Зенно с этим справляется прекрасно, собссно поэтому и возникла задача спарсить весь сайт через зенно, но как это сделать, чтобы локальная копия имела внутреннюю перелинковку, дабы я мог развернуть рабочую копию?

Спарсить и заменить абсолютные пути внутренних ссылок на относительные. Можно зенкой во время парсинга, можно, после парсинга, в notepad++ пакетно изменить все файлы в папке.
Или вопрос не в этом?

 

[KrashBandicoot]

Спарсить и заменить абсолютные пути внутренних ссылок на относительные. Можно зенкой во время парсинга, можно, после парсинга, в notepad++ пакетно изменить все файлы в папке.
Или вопрос не в этом?

В принципе можно и так, но как в зенке создавать статичные копии страниц?

 

[heks]

Раньше классный инструмент был черный дракон назывался прикольно было им сайты клонировать и ссылки на сапу и миралинкс скидывать. А при некоторых условиях даже тиц переклеивать))

 

[SenSS]

В принципе можно и так, но как в зенке создавать статичные копии страниц?

Как вариант: получить исходный код страницы -> сохранить в файл, имя взять из оригинального урла. Получить ссылки на картинки, скачать их и сохранить в отдельную директорию с заменой путей при парсинге.
Там работы, отсилы, на пару часов, если не нужно заморачиваться с специфическими настройками вывода контента

 

[izubr]

Как вариант: получить исходный код страницы -> сохранить в файл, имя взять из оригинального урла. Получить ссылки на картинки, скачать их и сохранить в отдельную директорию с заменой путей при парсинге.
Там работы, отсилы, на пару часов, если не нужно заморачиваться с специфическими настройками вывода контента

а как же .js .css в которых также напичкано и бывают закодированы(js) ?
Взаимодействие PHP и JavaScript, базы даных ? Копии не получится, или нерабочий сайт, а иммитация.

 

[SenSS]

а как же .js .css в которых также напичкано и бывают закодированы(js) ?
Взаимодействие PHP и JavaScript, базы даных ? Копии не получится, или нерабочий сайт, а иммитация.

Вы определитесь - вам шаблон нарисовать или подсказать общий алгоритм?
* Где в стартпосте было сказано про кодированный JS/etc? Да и про PHP спрашивать в данном контексте - людей смешить. Ну а, если, скачивание CSS файлов вызывает затруднение, то учите матчасть

 

[KrashBandicoot]

Как вариант: получить исходный код страницы -> сохранить в файл, имя взять из оригинального урла. Получить ссылки на картинки, скачать их и сохранить в отдельную директорию с заменой путей при парсинге.
Там работы, отсилы, на пару часов, если не нужно заморачиваться с специфическими настройками вывода контента

Честно я никогда такого в зенно не делал и даже не знаю с чего начать... Надо же не тупо хтмл страницы сохранить, а еще и все элементы скачать и правильные урл всему расставить.

 

[Moonwalker]

Ну так в чем вопрос тогда, не совсем понятно. Из коробки зенка этого не сделает. Но при этом зенкой это сделать можно. Просто надо потратить какое-то время, продумать логику и схему замены всех путей во всех файлах.
Есть уже готовые решения, но ими по какой-то причине пользоваться не хочется. Если нужны именно шашечки, то изучать, углубляться (причем, даже не в зенку) и тратить время... Помочь тут вряд ли кто прямо готов будет, поскольку здесь больше про логику, а не конкретный код или кубики (основной кубик, имхо, будет "Обработка текста - Замена" ). Если важно именно на Зенке, но самому лень углубляться, тогда писать ТЗ (но это, опять же, про логику) и искать исполнителя.

 

[Nersd]

а что вы с копией делать будете?

 

[igoreff]

Тут как раз главный вопрос для чего это делается, если тупо массово копии на свой домен то там много мусора вылезет, типа разной рекламы, скрипты итд и не всё так просто отловить и заменить своими ссылками, да и смысла в этом нет уже. Если цель что то менять и заливать на свои домены, там уже другой подход будет, ну и так далее

 

[KrashBandicoot]

Ну так в чем вопрос тогда, не совсем понятно. Из коробки зенка этого не сделает. Но при этом зенкой это сделать можно. Просто надо потратить какое-то время, продумать логику и схему замены всех путей во всех файлах.
Есть уже готовые решения, но ими по какой-то причине пользоваться не хочется. Если нужны именно шашечки, то изучать, углубляться (причем, даже не в зенку) и тратить время... Помочь тут вряд ли кто прямо готов будет, поскольку здесь больше про логику, а не конкретный код или кубики (основной кубик, имхо, будет "Обработка текста - Замена" ). Если важно именно на Зенке, но самому лень углубляться, тогда писать ТЗ (но это, опять же, про логику) и искать исполнителя.

Изначальный вопрос был, как раз в том, что в зенке есть готовые кубики или скрипты для этой задачи (казалось бы задачка древняя и её 100 раз уже должны были решать). Если ничего нет, то значит придётся писать всё с 0...
Ну, касательно ТЗ... у меня будет список УРЛ (скажем тыщ 10), по ним надо пройтись и скопировать все страницы статично + изменить УРЛы, чтобы они функционировали в минимальном виде (сохранился внешний вид и все элементы СЕО, а так же адреса страниц и внутренняя перелинковка (домен будет иной) ).

 

[Moonwalker]

А какие тут могут быть кубики? "Сделать копию сайта"? Ну, у тебя же есть Зенка, открой, посмотри, там нет такого кубика )) Зенка в целом про возможность сделать то, что тебе нужно самому, а не про то, что она это сделает за тебя.
А так задача, в целом, линейная. Сохранить все страницы. Сохранить все элементы с этих страниц (фото, стили, шрифты, скрипты какие-то простые, если не планируешь постоянно подгружать из с донора и т.д.). Поправить во всех страницах пути к этим элементам. Поправить все ссылки (тут менее линейное, зависит от структуры донора, плюс, возможно, я бы сводил все через какую-то промежуточную базу/таблицу, в которую все варианты замен прописывать).
Но, мне кажется, это все про шашечки, если есть уже готовые решения, которые сделают это быстро и правильно. Но если интересно поразбираться и потренироваться, то это все реализуемо. Ну убьешь времени раз в сто больше, чем взяв готовое, но если цель не в "сэкономить время", то и бог с ним.

 

[KrashBandicoot]

А какие тут могут быть кубики? "Сделать копию сайта"? Ну, у тебя же есть Зенка, открой, посмотри, там нет такого кубика )) Зенка в целом про возможность сделать то, что тебе нужно самому, а не про то, что она это сделает за тебя.
А так задача, в целом, линейная. Сохранить все страницы. Сохранить все элементы с этих страниц (фото, стили, шрифты, скрипты какие-то простые, если не планируешь постоянно подгружать из с донора и т.д.). Поправить во всех страницах пути к этим элементам. Поправить все ссылки (тут менее линейное, зависит от структуры донора, плюс, возможно, я бы сводил все через какую-то промежуточную базу/таблицу, в которую все варианты замен прописывать).
Но, мне кажется, это все про шашечки, если есть уже готовые решения, которые сделают это быстро и правильно. Но если интересно поразбираться и потренироваться, то это все реализуемо. Ну убьешь времени раз в сто больше, чем взяв готовое, но если цель не в "сэкономить время", то и бог с ним.

Я обычно такое делал через wget, но современные сайты имеют кучу защит, которые тяжело через такие старые инструменты обходить. Собссно можете накидать хотя бы простых кубиков для сохранения страницы\скачки файлов с этой страницы? мне бы хотя бы один пример создания статичной страницы через зенно, как это делает любой браузер при нажатии "сохранить как".