プラットフォーム
SSEストリーミング
SSE(Server-Sent Events)ストリーミングは、チャットの返答をひとつのHTTP接続でトークンごとに送信する仕組みです。応答全体の完成を待たずに、生成されたそばからテキストを表示できます。
OpenAIの慣例では、data: で始まるチャンクを送信し、最後に data: [DONE] で終了します。
eroqでは
/v1/chat/completionsでstream: trueを指定します。クレジットは応答ごとの定額なので、ストリーミングしても料金は同じです。
よくある質問
ストリーミングは割高になりますか?
いいえ。応答ごとに同じ定額のクレジットです。
eroqでストリーミングに対応しているエンドポイントは?
/v1/chat/completionsのみで、RP+とRP miniでstreamをtrueに設定した場合です。画像と音声合成は完成したファイルを返し、動画は非同期です。ストリーミングの代わりに、ジョブをポーリングするかWebhookで受け取ります。
チャンクはどんな形式ですか?
OpenAIの慣例どおりです。JSONの差分(delta)を含む data: 行が続き、data: [DONE] で終わります。既存のOpenAIクライアントのコードでそのまま解析でき、違うのはベースURLとモデルIDだけです。