Кто какие ИИ юзает?

[promusik]

Кто какие модели юзает локально? Опрос делать не буду, давайте в комментах обсудим?
Я смотрел на deepseek-r1:14b, запускал в паре вместе с thinkverse/towerinstruct, используя последнюю для перевода промпта и ответа. В итоге deepseek-r1:14b очень много говна льет и долго рассуждает... 80-95% мусорного текста. Думал на llama3.2., но она слишком глуповатая что-ли...
Вы что юзаете?

 

[samsonnn]

В итоге deepseek-r1:14b очень много говна льет и долго рассуждает... 80-95% мусорного текста.

Температуру регулируйте, настройки модели для кого сделаны? Посмотрите в интернете как правильно составлять промты для моделей. Настройте правильно модель под себя и будет вам счастье!

 

[zarufakis]

Вы что юзаете?

По соотношению скорость/качество для меня сейчас идеальная модель.
mistral-7b-instruct-v0.2.Q6_K.gguf

 

[Astraport]

будет вам счастье

Видяха нужна под 300к, тогда будет счастье и лучше не одна. А артефакты у deepseek или qwen настройками не фиксятся. Проверять как бы не вставила иероглифы слишком трудозатратно.

 

[Astraport]

По соотношению скорость/качество для меня сейчас идеальная модель.
mistral-7b-instruct-v0.2.Q6_K.gguf

Я тоже юзаю mistral-small-24b-instruct-2501 для небольших задач типа генерация тайтлов или саммариз.

 

[Андрейка2020]

По соотношению скорость/качество для меня сейчас идеальная модель.
mistral-7b-instruct-v0.2.Q6_K.gguf

Локально? На каком железе? Думаю, что бы заюзать локально для текстовой генерации без видюхи? Но чтоб тянуло потоков 5-10. Оперативы 64 гига на серваке...

 

[Андрейка2020]

Я тоже юзаю mistral-small-24b-instruct-2501 для небольших задач типа генерация тайтлов или саммариз.

А какой-нить RAG-конфиг локальный не делал?

 

[Astraport]

А какой-нить RAG-конфиг локальный не делал?

Для моих задач это не нужно.