Вопрос про ChatGPT api... "id" в возвращаемом ответе

[backoff]

они тута пишут какой ответ возвращается - https://platform.openai.com/docs/guides/chat/response-format
обычно под ответом расписывают что есть что, а тут чето не нашел нифига
что это за id ? 'id': 'chatcmpl-6p9XYPYSTTRi0xEviKjjilqrWU2Ve',

если правильно понимаю, это id от чата где ты и общаешься, только вот в визуальном редакторе ты автоматом в одном и том же чате общаешься, а тут как это сделать?

так как он же запоминает что ты ему до этого писал и просил, на основе этого он выдает ответы.
я так понял что если этот id возвращать со следующим ответом, то он будет понимать, что его спрашивали ранее.
если правильно понял, то как это сделать?

 

[backoff]

ау, есть кто в теме?

 

[Astraport]

Нет, с помощью этого id не удастся сослаться для получения продолжения диалога, если ты этого добиваешься.
Этот параметр нужен для плагинов и всяких интеграций с другими АПИ насколько я понял.

 

[backoff]

ага, именно этого и хочу добиться, а как можно сослаться? я даже не понимаю куда копать

 

[Astraport]

Простой вариант это передать часть контекста в промпте.
Сложный - https://betterprogramming.pub/a-simple-technique-for-preventing-conversation-drift-in-llm-based-chatbots-f896756adecb

 

[backoff]

 

[Roman*]

Простой вариант это передать часть контекста в промпте.
Сложный - https://betterprogramming.pub/a-simple-technique-for-preventing-conversation-drift-in-llm-based-chatbots-f896756adecb

Получается, что добавлена переменная сессии и роли, а также сопровождается переменная контекст, ограниченнная 4096 символами, при превышении которых нужно начинать новую сессию? И хотел узнать, токены снимаются за весь контекст и постоянно в каждом сообщении, где есть контекст?
P.S. Кто уже грамотно реализовал это дело, подскажите плиз, как правильно сделать с минимальными потерями и максимальным качеством ?

 

[backoff]

На данный момент GPT-3.5 Turbo является последней версией модели GPT, доступной для API. Вместо сохранения состояния внутри модели, вы можете передавать историю диалога в качестве ввода при каждом запросе. Таким образом, модель будет иметь контекст предыдущих обменов для формирования соответствующего ответа.

Чтобы сохранить несколько диалогов, вы должны передавать все эссенциальные сообщения из этих диалогов в каждом запросе. Обратите внимание, что модель имеет ограничение на длину ввода, оно составляет 4096 токенов для GPT-3.5 Turbo. Если суммарное количество токенов из всех диалогов превышает это значение, вам придется укоротить или упростить историю диалога.

Пример ввода с несколькими диалогами:

[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "What's the weather like today?"}, {"role": "assistant", "content": "The weather today is sunny with a high of 25°C."}, {"role": "user", "content": "Thanks!"}, {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": "What are the best movies of 2022?"}, {"role": "assistant", "content": "Some of the best movies of 2022 include Film A, Film B, and Film C."}, {"role": "user", "content": "Great, I'll check them out."}, {"role": "user", "content": "What's a good recipe for pasta?"}]
В данном примере два предыдущих диалога передаются в качестве контекста. Обратите внимание, что для каждого диалога роль "system" повторяется, чтобы ясно указать, что помощник должен быть полезным. Затем задается новый вопрос, на который модель должна ответить.

Когда вы создаете запросы через API, передавайте историю диалогов в виде строки. Убедитесь, что вы используете правильный формат JSON и корректно обрабатываете ответы.

вот оно че, только передача контента ... ((

 

[Mikhail B.]

Обратите внимание, что модель имеет ограничение на длину ввода, оно составляет 4096 токенов для GPT-3.5 Turbo.

А в 4ке какое кол-во?

 

[backoff]

такое же вроде

 

[Mikhail B.]

Пишут что 4ка хуже запоминает диалог.

 

[backoff]

апи 4ки не юзал еще, пишу веб версию

 

[Astraport]

апи 4ки не юзал еще

Его простым смертным и не дают.

 

[Mikhail B.]

Его простым смертным и не дают.

Все быстро меняеться.

 

[backoff]

Его простым смертным и не дают.

там делаешь запрос и получаешь доступ через 2дня - 2 недели

You're invited to use the OpenAI GPT-4 API!
Your OpenAI organization (org-) can now access GPT-4 models with 8K context via the existing OpenAI API.

 

[Astraport]

А, вспомнил почему АПИ ЧатГПТ 4 не юзаю. Там цена конская по сравнению с 3.5
Смысла нет в масштабных проектах, а в немасштабных и веба хватит.

 

[backoff]

Смысла нет в масштабных проектах, а в немасштабных и веба хватит.

 

[Roman*]

Кто то уже работает с конкурентом, по более дешевым ставкам, но тут только к апи дают доступ. Если кто будет тестить отпишитесь плиз.

Спойлер: Anthropic/claude-chat

Claude - новый чат-бот конкурирующий с ChatGPT - Чат ГПТ

Стартап Anthropic, занимающийся генеративным искусственным интеллектом, представил чат-бота Claude, конкурента ChatGPT

chat-gpt.ru