Работа с изображениями: Zennoposter в связке с ИИ

serjik777

Client
Регистрация
18.10.2015
Сообщения
27
Благодарностей
41
Баллы
13

Приветствую Вас Коллеги!
Это то моя вторая работа на этом конкурсе да и вообще так как не доводилось мне участвовать хоть наверное могу отнести себя к старожылам зеннолаба.
К вашему вниманию довольно таки простенький шаблон со стороны реализации но имеющий огромный потенциал – во всяком случае я так считаю.
Суть данного кейса, а если быть точным целого набора кейсов, основана на модели генеративного ИИ
CosXL (за основу взят Stable Deffusion XL) от stabilityai. Данная модель обладает чудесным свойством переделывать любые картинки и фото как сгенерированные так и нет по очень короткому текстовому запросу часть кейсов покажу в видео часть просто упомяну ниже в этой статье.

Алгоритм работы шаблона:

В папку под названием IshodnikiIMG помещаем фото для пакетной обработки шаблоном, это могут быть карточки товаров, фотки для инсты, ваши креативы, да и вообще любые под любые нужды.
В текстовом файле PROMPT сохраняем промпт (в файле примеры.txt я собрал для вас некоторые найболее интересные или те которые мне доводилось использовать самому)
После отработки шаблона, результат вы сможете найти в папке RezultatIMG
Среднее время генерации одного изображения на хаггинфейс ~9c.
(Negative Prompt=0, Guidance Scale=7, Steps=20 )
Среднее время генерации одного изображения на локальной машине от 2с. до 5-6с. зависит от площади изменения изображения а также от размера входящего изображения.
Пример: входное изображение 1024х1024 с промтом замены времени года с лета на зиму 4с.
На ПК: Intel i7 9700k (в режиме overclock), GeForce 3060ti, 32Gb ОЗУ (настройки генерации поумолчанию).

Вообще данная тема сама меня нашла, дело было так мой друг имеет маленький бизнес, связанный со отделочными материалами и декором: гипсовая лепнина, гипсовые изделия с имитацием дорогих пород мрамора, дерева и золота. В начале марта он обратился ко мне с просьбой у него есть интернет магазин с гипсовыми изделиями, задача добавить к каждой карточке товара все возможные варианты отделки. Каждый артикул это фото в хорошем качестве с хорошим светом и все, первая мысль найти базу 3д моделей лепнины заплатить пару шекелей спецу для настроики 3д сцены и планово отрендерить каждый артикул с нужной текстурой. Этим алгоритмом действий я поделился с другом, но не тут то было после консультации с 3д-артистом выяснилось что не существует в природе таких моделей - похожие да но не один в один, цена создания с нуля по фото 50 евро за штуку при общей чиленности 800 штук. Такая сумма была не подёмной для моего товарища, время шло но простого=дешевого решения не было, были у меня попытки с использованием StableDeffusion в связке с ControlNet и IP-Adapter-ом, но все не то.

И тут случайно - как это всегда бывает, на CivitAI мне на глаза попадается эта модель в мыслях сразу “вот же оно решение” сделав парочку ручных тестов, предположение подтвердилось – бинго!
Накидав “шаблончик” взял у друга исходники приступил к работе, всего получилось около 6,5k фото
Хотелось бы уточнить что изначальный шаблон работал в связке с ComfyUI через API разницы с тем что выложил впринципе никакой кроме дополнительного апскейлера.
Следующие кейсы применения данного шаблона раскажу только о несколький вариантах применения:

Кейс-2: Быстрая ретуш фотографий и виртуальный мейкап
Примечание: Тут главное правильный промпт возможно более детальный чем обычно

Кейс-3: Коллажирование будь-то продактплейсмент или обложка для Ютуба или рекламный креатив
Примечание: вполне достаточно грубо вырезать обьекты составить коллаж и прогнать через шаблон результат будет отличным при соответствующем промте. Важно отметить если хотите добится атмосферности, хорошей фактуры нужно добавлять яркие пятна-как источник света значения RGB блиские к 250,250,250.

Кейс-4: Добавление/убирание любых предметов с изменением их качеств таких как цвет материал фактура текстура

Кейс-5: Изменения качеств обьектов (текучесть у твердых обьектов, люминесценция например дерева, полупрозрачная кожа и т.п. на что хватит фантазии)

Наверное на этом остановлюсь, пробуйте коллеги потенциал у этой технологии большой ИМХО.
Надеюсь кому-то зайдет данная тема!
 

Вложения

Последнее редактирование модератором:

Shakeway

Client
Регистрация
03.02.2017
Сообщения
39
Благодарностей
13
Баллы
8
Это интересно, потому может пригодиться)
 
  • Спасибо
Реакции: serjik777

sokol44

Пользователь
Регистрация
21.04.2015
Сообщения
31
Благодарностей
7
Баллы
8
Очень интересная статья. Подскажите, какой промт написать чтобы поместить объект в какой-то интерьер? Например как на этом сайте https://canvy.com/. Возможно ли такое? Как вы другу добавляли к каждой карточке товара все возможные варианты отделки?
 

serjik777

Client
Регистрация
18.10.2015
Сообщения
27
Благодарностей
41
Баллы
13
Очень интересная статья. Подскажите, какой промт написать чтобы поместить объект в какой-то интерьер? Например как на этом сайте https://canvy.com/. Возможно ли такое? Как вы другу добавляли к каждой карточке товара все возможные варианты отделки?
Могу предположить следующие варианты решения подобной задачи:
а) модель CosXL очень хорошо работает в плане замены/подмены/изменения на начальном фото/рендере должена быть область/предмет которою можно однозначно интерпретировать (как пример прямоугольник или другой шейп определенного цвета проще всего мне было бы сделать такое через экшн в фотошопе а потом пакетно перегнать все фотки) далее используя промпт что то типа: "(replace / change) the (color) rectangle shape with a (bed / closet / coffee table)" многовариантность можно легко прикрутить через тотже спинтакс
 
Последнее редактирование:

serjik777

Client
Регистрация
18.10.2015
Сообщения
27
Благодарностей
41
Баллы
13
Очень интересная статья. Подскажите, какой промт написать чтобы поместить объект в какой-то интерьер? Например как на этом сайте https://canvy.com/. Возможно ли такое? Как вы другу добавляли к каждой карточке товара все возможные варианты отделки?
если вдруг имелось ввиду другое например а именно смешивание двух и более множеств по схеме:
Множество-1 (интерьер-1, интерьер-2 ..... интерьер-n )
Множество-2 (обьект-1, обьект-2 ..... обьект-n )
Множество-3 (обьект-1, обьект-2 ..... обьект-n )
******************************************************
Множество-n (обьект-1, обьект-2 ..... обьект-n )
Где как пример: Мн.-1 это сам интерьет комнаты допустим спальня, Мн.-2 это кровати, Мн.-3 это прикроватные тумбы, Мн.-n это светильники. И эсть не обходимость получения всех возможных вариантов, лично я бы смотрел в сторону связки ComfyUI+ZennoPoster так как тут нужна работать как минимум с двумя-тремя разными моделями,
segment-anything/openai clip-vit (для распознавания нужного предмета интерьера), rmbg (для удаления фона) CosXL (для "причёсывания" готовой картинки )
если я вообще правильно понял ваш вопрос, вот подобная реализация только с одеждой - https://huggingface.co/spaces/HumanAIGC/OutfitAnyone
 

sokol44

Пользователь
Регистрация
21.04.2015
Сообщения
31
Благодарностей
7
Баллы
8
если вдруг имелось ввиду другое например а именно смешивание двух и более множеств по схеме:
Множество-1 (интерьер-1, интерьер-2 ..... интерьер-n )
Множество-2 (обьект-1, обьект-2 ..... обьект-n )
Множество-3 (обьект-1, обьект-2 ..... обьект-n )
******************************************************
Множество-n (обьект-1, обьект-2 ..... обьект-n )
Где как пример: Мн.-1 это сам интерьет комнаты допустим спальня, Мн.-2 это кровати, Мн.-3 это прикроватные тумбы, Мн.-n это светильники. И эсть не обходимость получения всех возможных вариантов, лично я бы смотрел в сторону связки ComfyUI+ZennoPoster так как тут нужна работать как минимум с двумя-тремя разными моделями,
segment-anything/openai clip-vit (для распознавания нужного предмета интерьера), rmbg (для удаления фона) CosXL (для "причёсывания" готовой картинки )
если я вообще правильно понял ваш вопрос, вот подобная реализация только с одеждой - https://huggingface.co/spaces/HumanAIGC/OutfitAnyone
Спасибо за ответ. Задача следующая. Есть множество фото с интерьерами на которых есть допустим рамка красного цвета. Вместо нее надо поместить другое изображение, например картину, как на сайте выше. В то же время эта картина по размерам должна быть пропорциональна интерьеру, т.е. не должно быть, что она в 2 раза больше кровати, если ее размер 30 х 50 см.
 

sokol44

Пользователь
Регистрация
21.04.2015
Сообщения
31
Благодарностей
7
Баллы
8
Спасибо за ответ. Задача следующая. Есть множество фото с интерьерами на которых есть допустим рамка красного цвета. Вместо нее надо поместить другое изображение, например картину, как на сайте выше. В то же время эта картина по размерам должна быть пропорциональна интерьеру, т.е. не должно быть, что она в 2 раза больше кровати, если ее размер 30 х 50 см.
Подкажите как лучше решить эту задачу?
 

serjik777

Client
Регистрация
18.10.2015
Сообщения
27
Благодарностей
41
Баллы
13
Подкажите как лучше решить эту задачу?
лично я бы решал эту задачку одним из следующих методов (каждым из них можно достичь желаемого результата)
1) ZP+Imagemagic
2) Action Photoshop
3) ConfyUI
4) преднастроеная 3д сцена с двумя плоскостями где в качестве техкстур одна это фон и вторая сама картина далее с помощю batch rendera можно отрендерить все желаемые варианты
***при условии если речь только про картины на стенах интерьера
 
  • Спасибо
Реакции: sokol44

Кто просматривает тему: (Всего: 1, Пользователи: 0, Гости: 1)