Настраиваем локальный GPT сервис на своем ПК. Экономим сотни $$$

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 676
Благодарностей
1 066
Баллы
113

gospodinkot

Client
Регистрация
04.03.2019
Сообщения
138
Благодарностей
36
Баллы
28
Может кто подскажет смотрю генерит процом а не картой
/QUOTE]
GTX 1050 Ti вообще не задействуется. вся нагрузка на проц. Графическое ядро процессора отключил в диспетчере.
 

Patcher

Client
Регистрация
06.05.2011
Сообщения
81
Благодарностей
72
Баллы
18
На ноуте и правда странное поведение, в первую очередь грузит процессор и только потом видеокарту. Исключить камень из работы ни какими настройками не получается. На стационарном железе такой проблемы нет камень и карта +- одинаковые
126270
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 676
Благодарностей
1 066
Баллы
113
На ноуте и правда странное поведение, в первую очередь грузит процессор и только потом видеокарту. Исключить камень из работы ни какими настройками не получается. На стационарном железе такой проблемы нет камень и карта +- одинаковые Посмотреть вложение 126270
У меня было нечто похоже на компе, не смотря на то, что модель меньше памяти видюхи. Удаляешь конфиг и создаешь его заново, с нуля настраиваешь все параметры.
 
  • Спасибо
Реакции: Patcher

samsonnn

Client
Регистрация
02.06.2015
Сообщения
1 761
Благодарностей
1 432
Баллы
113
как отправить в Post запросе изображение + текст? нашел какой то api, все ровно не пойму - тык
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 676
Благодарностей
1 066
Баллы
113
как отправить в Post запросе изображение + текст? нашел какой то api, все ровно не пойму - тык
Я тоже по началу подумывал генерировать картинки коболдом, но поняв, сколько это займет ресурсов отказался от этой идеи. А покопавшись в инете нашел бесплатный апи, который можно дрочить в хвост и в гриву. Пользуйся, картинки фото качества. https://zenno.club/discussion/threads/flux-1-besplatno-generiruem-kartinki-po-svoemu-promptu.122632/
 
  • Спасибо
Реакции: Asmus003

Asmus003

Client
Регистрация
25.03.2018
Сообщения
243
Благодарностей
66
Баллы
28
Я тоже по началу подумывал генерировать картинки коболдом, но поняв, сколько это займет ресурсов отказался от этой идеи. А покопавшись в инете нашел бесплатный апи, который можно дрочить в хвост и в гриву. Пользуйся, картинки фото качества. https://zenno.club/discussion/threads/flux-1-besplatno-generiruem-kartinki-po-svoemu-promptu.122632/
подскажи, если взять видюху на 16гб, можно ли будет одновременно запускать слабую и сильную модель (при условии что хватает ресурсов видеокарты). например, для одной задачи нужны простые генерации 1 общей фразы, которую можно сделать легкой моделью. а для другой задачи - нужно написать текст, либо осмысленно отвечать на сообщения (насколько это вообще реально в этом ИИ?:-)), то там нужна помощнее модель. вот можно так разделять, или придется делать большущую модель для всего?
было бы круто собрать отдельный мощный ПК (видяха всего-то 1.5к баксов) и генерить фото+текст локально. если в небольших объемах то можно потянуть.
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 676
Благодарностей
1 066
Баллы
113
подскажи, если взять видюху на 16гб, можно ли будет одновременно запускать слабую и сильную модель (при условии что хватает ресурсов видеокарты). например, для одной задачи нужны простые генерации 1 общей фразы, которую можно сделать легкой моделью. а для другой задачи - нужно написать текст, либо осмысленно отвечать на сообщения (насколько это вообще реально в этом ИИ?:-)), то там нужна помощнее модель. вот можно так разделять, или придется делать большущую модель для всего?
было бы круто собрать отдельный мощный ПК (видяха всего-то 1.5к баксов) и генерить фото+текст локально. если в небольших объемах то можно потянуть.
В LM Studio можно загружать несколько моделей, главное, что бы они суммарно поместились в памяти карты и по апи обращаться к той, либо иной.
 

Asmus003

Client
Регистрация
25.03.2018
Сообщения
243
Благодарностей
66
Баллы
28
В LM Studio можно загружать несколько моделей, главное, что бы они суммарно поместились в памяти карты и по апи обращаться к той, либо иной.
спасибо.
FLUX - тоже интересно, но насколько там картинки соответствуют заданию? я нейронками не пользуюсь, и не знаю как оценить. лучше ли она, чем ставить локально (ее или другую) для генерации картинок?
 

zarufakis

Client
Регистрация
22.03.2019
Сообщения
1 676
Благодарностей
1 066
Баллы
113
спасибо.
FLUX - тоже интересно, но насколько там картинки соответствуют заданию? я нейронками не пользуюсь, и не знаю как оценить. лучше ли она, чем ставить локально (ее или другую) для генерации картинок?
Для генерации картинок локально нужна карта не ниже 500к рублей, иначе не имеет смысла с этим связываться, лучше использовать метод, который я дал в соседней статье.
 

Asmus003

Client
Регистрация
25.03.2018
Сообщения
243
Благодарностей
66
Баллы
28
Для генерации картинок локально нужна карта не ниже 500к рублей, иначе не имеет смысла с этим связываться, лучше использовать метод, который я дал в соседней статье.
ну в теме про флюкс человек написал, что у него стоит локально и 1 картинка генерится минуту, он пока не отписал какая видяха. видяха за 1.5к баксов на 16 гиг думаю справится с этим, если время устраивает. метод по апи - классный, но его всегда могут прикрыть/сделать платным.
 

samsonnn

Client
Регистрация
02.06.2015
Сообщения
1 761
Благодарностей
1 432
Баллы
113
видяха за 1.5к баксов на 16 гиг
Хмм... аж интересно стало, что же это за видяха такая на 16гб и за такую цену? К примеру стоимость новой RTX 4070 ti Super около +- 1000$
Наверное RTX 4080 или 4090?
 

Кто просматривает тему: (Всего: 2, Пользователи: 1, Гости: 1)