- Регистрация
- 22.03.2019
- Сообщения
- 1 702
- Благодарностей
- 1 079
- Баллы
- 113
Настраиваем локальный GPT сервис на своем ПК. Экономим сотни $$$
- Автор темы zarufakis
- Дата начала
gospodinkot
Client
- Регистрация
- 04.03.2019
- Сообщения
- 141
- Благодарностей
- 38
- Баллы
- 28
Patcher
Client
- Регистрация
- 06.05.2011
- Сообщения
- 82
- Благодарностей
- 72
- Баллы
- 18
На ноуте и правда странное поведение, в первую очередь грузит процессор и только потом видеокарту. Исключить камень из работы ни какими настройками не получается. На стационарном железе такой проблемы нет камень и карта +- одинаковые
- Регистрация
- 22.03.2019
- Сообщения
- 1 702
- Благодарностей
- 1 079
- Баллы
- 113
У меня было нечто похоже на компе, не смотря на то, что модель меньше памяти видюхи. Удаляешь конфиг и создаешь его заново, с нуля настраиваешь все параметры.
- Регистрация
- 22.03.2019
- Сообщения
- 1 702
- Благодарностей
- 1 079
- Баллы
- 113
Я тоже по началу подумывал генерировать картинки коболдом, но поняв, сколько это займет ресурсов отказался от этой идеи. А покопавшись в инете нашел бесплатный апи, который можно дрочить в хвост и в гриву. Пользуйся, картинки фото качества. https://zenno.club/discussion/threads/flux-1-besplatno-generiruem-kartinki-po-svoemu-promptu.122632/
подскажи, если взять видюху на 16гб, можно ли будет одновременно запускать слабую и сильную модель (при условии что хватает ресурсов видеокарты). например, для одной задачи нужны простые генерации 1 общей фразы, которую можно сделать легкой моделью. а для другой задачи - нужно написать текст, либо осмысленно отвечать на сообщения (насколько это вообще реально в этом ИИ?
), то там нужна помощнее модель. вот можно так разделять, или придется делать большущую модель для всего?было бы круто собрать отдельный мощный ПК (видяха всего-то 1.5к баксов) и генерить фото+текст локально. если в небольших объемах то можно потянуть.
- Регистрация
- 22.03.2019
- Сообщения
- 1 702
- Благодарностей
- 1 079
- Баллы
- 113
В LM Studio можно загружать несколько моделей, главное, что бы они суммарно поместились в памяти карты и по апи обращаться к той, либо иной.подскажи, если взять видюху на 16гб, можно ли будет одновременно запускать слабую и сильную модель (при условии что хватает ресурсов видеокарты). например, для одной задачи нужны простые генерации 1 общей фразы, которую можно сделать легкой моделью. а для другой задачи - нужно написать текст, либо осмысленно отвечать на сообщения (насколько это вообще реально в этом ИИ?
было бы круто собрать отдельный мощный ПК (видяха всего-то 1.5к баксов) и генерить фото+текст локально. если в небольших объемах то можно потянуть.
спасибо.
FLUX - тоже интересно, но насколько там картинки соответствуют заданию? я нейронками не пользуюсь, и не знаю как оценить. лучше ли она, чем ставить локально (ее или другую) для генерации картинок?
- Регистрация
- 22.03.2019
- Сообщения
- 1 702
- Благодарностей
- 1 079
- Баллы
- 113
Для генерации картинок локально нужна карта не ниже 500к рублей, иначе не имеет смысла с этим связываться, лучше использовать метод, который я дал в соседней статье.
ну в теме про флюкс человек написал, что у него стоит локально и 1 картинка генерится минуту, он пока не отписал какая видяха. видяха за 1.5к баксов на 16 гиг думаю справится с этим, если время устраивает. метод по апи - классный, но его всегда могут прикрыть/сделать платным.
samsonnn
Client
- Регистрация
- 02.06.2015
- Сообщения
- 1 784
- Благодарностей
- 1 452
- Баллы
- 113
Хмм... аж интересно стало, что же это за видяха такая на 16гб и за такую цену? К примеру стоимость новой RTX 4070 ti Super около +- 1000$
Наверное RTX 4080 или 4090?
может в Украине цены другие. вот описание:
Видеокарта NVIDIA PCI-Ex GeForce RTX 4080 Founders Edition 16GB GDDR6X (256bit) (2510/21000) (1 x HDMI, 3 x DisplayPort) (900-1G136-2560-000)
стоит 54к грн = 1320 баксов
Видеокарта MSI PCI-Ex GeForce RTX 4070 Ti Super 16G Gaming X Slim 16GB GDDR6X (256bit) (2685/21000) (HDMI, 3 x DisplayPort) (RTX 4070 Ti SUPER 16G GAMING X SLIM)
стоит 1к баксов.
какая из них лучше для нейронок?
- Регистрация
- 22.03.2019
- Сообщения
- 1 702
- Благодарностей
- 1 079
- Баллы
- 113
У меня две карты: 3060 12gb и 4060 16gb, разница в производительности в среднем - 10%, а разница в цене - 30%.
За скорость отвечают CUDA ядра, за объем вмещаемой модели количество оперативы.
Если ответы нужны простые - достаточно и 3060 с 8 гигами, а если ответы должны быть качественные и быстро - то готовь котлету.
KolkaPetkinSyn
Client
- Регистрация
- 23.03.2015
- Сообщения
- 1 218
- Благодарностей
- 751
- Баллы
- 113
Метод безусловно классный, я не много картинок твоим шаблоном наделал, но сейчас шаблон не фурычит( Прикрыли лавочку. Разве что на веб переделать
- Регистрация
- 22.03.2019
- Сообщения
- 1 702
- Благодарностей
- 1 079
- Баллы
- 113
KolkaPetkinSyn
Client
- Регистрация
- 23.03.2015
- Сообщения
- 1 218
- Благодарностей
- 751
- Баллы
- 113
Хочешь поржать? Я раз 5, если не 10, сравнивал адрес конечной точки из документации с тем что в шаблоне и у меня они были одинаковые. Точно, метод для внимательных!
- Регистрация
- 22.03.2019
- Сообщения
- 1 702
- Благодарностей
- 1 079
- Баллы
- 113
При чем здесь поржать?
У меня почему-то создает задания, и генерит картинки.
KolkaPetkinSyn
Client
- Регистрация
- 23.03.2015
- Сообщения
- 1 218
- Благодарностей
- 751
- Баллы
- 113
Ты меня не понял. Я имел в виду, что я кучу раз смотрел API и проверял адрес конечной точки и мне казалось что всё совпадает. А на самом деле адрес слегка изменился. Вот с этого и стоит поржать! Как ты сам и написал, метод для внимательных!
Видеокарта MSI PCI-Ex GeForce RTX 4070 Ti Super 16G Gaming X Slim 16GB GDDR6X (256bit) (2685/21000) (HDMI, 3 x DisplayPort) (RTX 4070 Ti SUPER 16G GAMING X SLIM)
нужен ли для нейронок выделенный параметр и на что он вообще влияет? на 3060 он вообще 1500/15000.
на RTX 4070 Ti SUPER генеришь картинки или только текст? я думаю что лучше ее брать просто потому что туда может влезть лучшая модель и будет лучший результат, чем в 12 гиговой. даже если скорость работы будет одинаковая.