Нужна консультация по архитектуре проекта: ML (на локалке или в облаке), Python, UI в ZP (как вариант)

[Vasilijvg]

Добрый день,

Нужен специалист, кто хорошо знаком с генеративными моделями, датасетами и прочими ML сущностями.

Задумал реализовать проект по генерации текстов локально или в особых случаях с обращением к вычислительным мощностям colab или в облаке.

Ядро задумки

- взаимодействие с англоязычными NLP моделями, которые смогут работать локально. (Под внешние сервисы, типа OpenAI у меня уже есть решения),
- UI и обращение к модели скорее всего через ZP (реально удобно и привычно поточные задачи решать).

как результат консультации, хотелось бы получить:

- понимание какие модели на локалке дадут отличный результат (на гитхабе что то много всего, я сам не разберусь),
- какие модели можно дообучить, например нишевым текстами, и этот сетап хранить и обращаться к нему (или подобному) при настройках,
- как организовать взаимодействие с внешними ресурсами (колаб или облачные GPU) чтоб можно было арендовать при необходимости,
- как и какие настройки можно вынести на UI (как вариант в ZP) чтоб "крутить" модель продуктивно и получать текста с нужными параметрами.

Если где то описал что то не верно, прошу не судить строго, за тем и обращаюсь за консультацией, где мне польза и шаг далее а вам вознаграждение.

ps: рабочий комп вполне тянет генерацию даже картинок, поэтому облачные мощности это скорее совсем экстремум.