- Регистрация
- 22.03.2019
- Сообщения
- 1 676
- Благодарностей
- 1 066
- Баллы
- 113
Настраиваем локальный GPT сервис на своем ПК. Экономим сотни $$$
- Автор темы zarufakis
- Дата начала
gospodinkot
Client
- Регистрация
- 04.03.2019
- Сообщения
- 138
- Благодарностей
- 36
- Баллы
- 28
Patcher
Client
- Регистрация
- 06.05.2011
- Сообщения
- 81
- Благодарностей
- 72
- Баллы
- 18
На ноуте и правда странное поведение, в первую очередь грузит процессор и только потом видеокарту. Исключить камень из работы ни какими настройками не получается. На стационарном железе такой проблемы нет камень и карта +- одинаковые
- Регистрация
- 22.03.2019
- Сообщения
- 1 676
- Благодарностей
- 1 066
- Баллы
- 113
У меня было нечто похоже на компе, не смотря на то, что модель меньше памяти видюхи. Удаляешь конфиг и создаешь его заново, с нуля настраиваешь все параметры.
- Регистрация
- 22.03.2019
- Сообщения
- 1 676
- Благодарностей
- 1 066
- Баллы
- 113
Я тоже по началу подумывал генерировать картинки коболдом, но поняв, сколько это займет ресурсов отказался от этой идеи. А покопавшись в инете нашел бесплатный апи, который можно дрочить в хвост и в гриву. Пользуйся, картинки фото качества. https://zenno.club/discussion/threads/flux-1-besplatno-generiruem-kartinki-po-svoemu-promptu.122632/
подскажи, если взять видюху на 16гб, можно ли будет одновременно запускать слабую и сильную модель (при условии что хватает ресурсов видеокарты). например, для одной задачи нужны простые генерации 1 общей фразы, которую можно сделать легкой моделью. а для другой задачи - нужно написать текст, либо осмысленно отвечать на сообщения (насколько это вообще реально в этом ИИ?
), то там нужна помощнее модель. вот можно так разделять, или придется делать большущую модель для всего?было бы круто собрать отдельный мощный ПК (видяха всего-то 1.5к баксов) и генерить фото+текст локально. если в небольших объемах то можно потянуть.
- Регистрация
- 22.03.2019
- Сообщения
- 1 676
- Благодарностей
- 1 066
- Баллы
- 113
В LM Studio можно загружать несколько моделей, главное, что бы они суммарно поместились в памяти карты и по апи обращаться к той, либо иной.подскажи, если взять видюху на 16гб, можно ли будет одновременно запускать слабую и сильную модель (при условии что хватает ресурсов видеокарты). например, для одной задачи нужны простые генерации 1 общей фразы, которую можно сделать легкой моделью. а для другой задачи - нужно написать текст, либо осмысленно отвечать на сообщения (насколько это вообще реально в этом ИИ?
было бы круто собрать отдельный мощный ПК (видяха всего-то 1.5к баксов) и генерить фото+текст локально. если в небольших объемах то можно потянуть.
спасибо.
FLUX - тоже интересно, но насколько там картинки соответствуют заданию? я нейронками не пользуюсь, и не знаю как оценить. лучше ли она, чем ставить локально (ее или другую) для генерации картинок?
- Регистрация
- 22.03.2019
- Сообщения
- 1 676
- Благодарностей
- 1 066
- Баллы
- 113
Для генерации картинок локально нужна карта не ниже 500к рублей, иначе не имеет смысла с этим связываться, лучше использовать метод, который я дал в соседней статье.
ну в теме про флюкс человек написал, что у него стоит локально и 1 картинка генерится минуту, он пока не отписал какая видяха. видяха за 1.5к баксов на 16 гиг думаю справится с этим, если время устраивает. метод по апи - классный, но его всегда могут прикрыть/сделать платным.
samsonnn
Client
- Регистрация
- 02.06.2015
- Сообщения
- 1 761
- Благодарностей
- 1 432
- Баллы
- 113
Хмм... аж интересно стало, что же это за видяха такая на 16гб и за такую цену? К примеру стоимость новой RTX 4070 ti Super около +- 1000$
Наверное RTX 4080 или 4090?