Decisions API
분류와 요청 라우팅처럼 답의 범위가 한정된 문제를 위한 OpenAI의 API로, 확률·미리 지정한 선택지·점수 출력을 지원한다.
이번 변화
Decisions API가 공개 베타를 마치고 정식으로 공개됐다. 분류와 요청 라우팅 같은 작은 선택을 별도 기능으로 분리해, 개발자가 명확하게 정해진 답의 범위 안에서 성능을 평가할 수 있게 한다.
핵심 관점AI 보조 분석
빈번하게 발생하는 작은 선택을 개별 평가가 가능한 단계로 분리하면, 개발자는 대기와 오판이 어디에서 발생하는지 파악할 수 있다. 실제 효율 향상은 판단 결과가 대기열, 재검토, 권한 규칙과 어떻게 연결되는지에 달려 있다.
이번에 살펴볼 기사OpenAI, 반복되는 작은 판단을 전용 API로 제공
아래 해설은 이 대상을 주제로 다룬 기사를 바탕으로 하며, 대상 전체에 대한 평가는 아닙니다.
사실 살펴보기
01공개 베타에서 정식 공개로
OpenAI는 10월 22일 GPT-6 Luna를 사용하는 Decisions API의 정식 공개를 발표했다. 공개 베타 때와 비교해 프롬프트 캐싱, 기본 JSON 입력 지원, GPT-Live 연동이 추가됐으며, 요청당 질문 수 상한은 400개로 늘었다.
02질문과 답의 범위를 먼저 정한다
개발자는 질문과 맥락, 해당 질문에 맞는 선택지나 평가 척도를 제공한다. API는 조건이 성립할 확률의 추정치, 미리 지정한 선택지, 또는 순서가 있는 각 등급의 확률을 가중치로 적용해 산출한 점수를 반환하며, 이는 분류와 요청 라우팅 등의 단계에 쓰인다.
H/ACC의 관점
작은 선택을 개별적으로 검증할 수 있는 단계로 만든다
H/ACC 편집 해설: 반복되는 작은 선택을 별도의 API로 분리하면 개발자는 구체적인 과제 하나를 놓고 응답 시간과 판단 오류를 비교할 수 있다. 시스템을 평가할 때 대화 전체가 매끄러운지에만 의존하지 않아도 되는 것이다. 답의 범위를 명확히 하고 앱의 기록을 보관하면 오류를 유형별로 분류하고 그 과정을 재현하기도 쉬워진다.
고객 지원 요청의 라우팅을 예로 들면, 앱은 어느 대기열에 배정했는지, 이후 재배정이 있었는지, 언제 사람에게 이관했는지를 기록할 수 있다. 모델의 출력은 판단에 쓰이고, 앱은 모델 밖에서 그 출력을 받아들일 조건과 이후에 허용할 권한을 설정한다. 이 단계들이 서로 연결돼야 더 빠른 판단이 더 원활한 서비스로 이어질 수 있다.
앞으로 살펴볼 점AI 보조 분석
- 동일한 실제 요청 묶음에서 기존 라우팅 방식과 비교할 때, 응답 시간 중앙값과 95 백분위 응답 시간, 잘못된 배정 비율은 각각 어떻게 달라지는가?
- 질문의 표현, 입력 언어 또는 범주별 분포를 바꾼 뒤에도 잘못된 배정 비율과 사람에게 이관되는 비율이 미리 정한 범위 안에 유지되는가?
판단의 한계
- 공개 자료의 성능 수치는 서로 다른 과제와 비교 조건에서 나온 것이다. 이 글에서는 API를 호출하거나 속도·정확도·비용을 독립적으로 재현해 검증하지 않았다.
- 확률과 점수는 모델의 출력이다. 이를 근거로 자동으로 행동해도 되는지는 실제 과제에서 검증해야 하며, 앱에서 결과 수용과 이관 규칙을 정해야 한다.