Кто какие ИИ юзает?

[promusik]

Кто какие модели юзает локально? Опрос делать не буду, давайте в комментах обсудим?
Я смотрел на deepseek-r1:14b, запускал в паре вместе с thinkverse/towerinstruct, используя последнюю для перевода промпта и ответа. В итоге deepseek-r1:14b очень много говна льет и долго рассуждает... 80-95% мусорного текста. Думал на llama3.2., но она слишком глуповатая что-ли...
Вы что юзаете?

 

[samsonnn]

В итоге deepseek-r1:14b очень много говна льет и долго рассуждает... 80-95% мусорного текста.

Температуру регулируйте, настройки модели для кого сделаны? Посмотрите в интернете как правильно составлять промты для моделей. Настройте правильно модель под себя и будет вам счастье!

 

[zarufakis]

Вы что юзаете?

По соотношению скорость/качество для меня сейчас идеальная модель.
mistral-7b-instruct-v0.2.Q6_K.gguf

 

[Astraport]

будет вам счастье

Видяха нужна под 300к, тогда будет счастье и лучше не одна. А артефакты у deepseek или qwen настройками не фиксятся. Проверять как бы не вставила иероглифы слишком трудозатратно.

 

[Astraport]

По соотношению скорость/качество для меня сейчас идеальная модель.
mistral-7b-instruct-v0.2.Q6_K.gguf

Я тоже юзаю mistral-small-24b-instruct-2501 для небольших задач типа генерация тайтлов или саммариз.

 

[Андрейка2020]

По соотношению скорость/качество для меня сейчас идеальная модель.
mistral-7b-instruct-v0.2.Q6_K.gguf

Локально? На каком железе? Думаю, что бы заюзать локально для текстовой генерации без видюхи? Но чтоб тянуло потоков 5-10. Оперативы 64 гига на серваке...

 

[Андрейка2020]

Я тоже юзаю mistral-small-24b-instruct-2501 для небольших задач типа генерация тайтлов или саммариз.

А какой-нить RAG-конфиг локальный не делал?

 

[Astraport]

А какой-нить RAG-конфиг локальный не делал?

Для моих задач это не нужно.

 

[megainformatic]

Интересуетесь ли вы комиксами и инди-играми?

 

[izubr]

Парни, подскажите что то конкретное для локала, в текущих реалиях, моделей огромное кол-во. Чтото многоязычное (европейские языки), что вытянет видяха 12Гб (3060) в 5 потоков (до 30 сек ответы к примеру) ?

 

[dongo2001]

Модет можно как то иниергировать ии агента без ограничекний чтоб помогал писать проект видил сайт и мог обходить что нужно. Тоесть не был связан ничем. Это было бы круто. Нужен такой платный и дорогой проект!

 

[Divisor]

Все модели которые тут обсуждаются — это модели для генерации текста. Они для этого и создавались. Но задачи у всех разные, и модели тоже:
Для генерации контента (тайтлы, описания, рерайт):
Mistral 7B / Mistral Small 24B — лучшее соотношение скорость/качество на слабом железе. Для европейских языков работает нормально.
Для кода
Локально — Qwen3 Coder 30B если есть видяха от 24GB, или Qwen 2.5 Coder 7B в Q8 для 12GB. DeepSeek Coder V2 Lite тоже вариант. Обычные чат-модели код пишут плохо — нужны именно coder-версии.
Для reasoning / сложных задач
DeepSeek R1 — да, он льёт воду в thinking-блоке, но это by design. Thinking можно обрезать, показывать только финальный ответ. 14B версия слабовата, 32B уже вменяемая, но нужно 24GB+ VRAM.
Для мультиязычности
@izubr — на 3060 12GB для европейских языков в 5 потоков: Gemma 3 12B в Q4_K_M или Mistral Small 24B в Q3_K_M (впритык, но влезает). Gemma хорошо обучена на европейских языках, Mistral тоже — у них французская школа, европа в приоритете.
Не гонитесь за размером модели. 7B модель которая помещается в VRAM целиком будет быстрее и часто качественнее, чем 30B модель которая частично *вылезает в оперативку. GPU offload убивает скорость.
@Андрейка2020 — 64GB RAM без видяхи: можно гонять через llama.cpp на CPU, но 5-10 потоков нереально. 1-2 потока на Mistral 7B Q6 — да, с ответом за 10-20 сек. Для большего нужна видяха, CPU inference слишком медленный для потоковой работы.
--
*(overflow/offload)