플랫폼

SSE 스트리밍

SSE(server-sent events)는 하나의 HTTP 연결로 채팅 응답을 토큰 단위로 스트리밍해서, 사용자가 응답 전체를 기다리지 않고 생성되는 대로 텍스트를 볼 수 있게 해요.

OpenAI 방식에서는 data: 청크를 보내고 data: [DONE]으로 끝내요.

eroq에서는

/v1/chat/completions에서 stream: true로 설정하세요. 크레딧은 응답당 고정이라 스트리밍해도 비용이 같아요.

스트리밍하면 비용이 더 드나요?

아니요. 응답당 고정 크레딧은 똑같아요.

eroq에서 스트리밍을 지원하는 엔드포인트는 무엇인가요?

/v1/chat/completions뿐이에요. RP+와 RP mini에서 stream을 true로 설정하면 돼요. 이미지와 음성은 완성된 파일을 반환하고, 동영상은 비동기 방식이라 스트리밍 대신 작업 상태를 폴링하거나 웹훅을 받아요.

청크는 어떤 형태인가요?

OpenAI 방식 그대로예요. JSON 델타를 담은 data: 줄이 이어지고 data: [DONE]으로 끝나요. 기존 OpenAI 클라이언트 코드로 그대로 파싱할 수 있고, 다른 건 기본 URL과 모델 ID뿐이에요.