AI API 비용을 예측 가능하게 만드는 호출 가드레일

AI API 비용을 통제하려면 호출 전에 예산을 예약하고, 입력·출력 한도와 재시도 상한을 적용한 뒤, 요청 단위의 사용량을 기록해야 합니다. 월말 청구서를 기다려 원인을 찾는 방식은 어떤 기능이 비용을 만들었는지 설명하지 못합니다.

가드레일의 목적은 호출을 무조건 줄이는 것이 아니라 업무에 필요한 품질을 유지하면서 예상 밖의 반복·폭주·큰 입력을 차단하는 것입니다. 비용 상한을 넘으면 대체 경로 또는 사람 검토로 보내는 종료 조건까지 설계해야 합니다.

호출 전에 예산 결정을 내립니다

request_id | budget_key | input_usage | retry_count | outcome

request_id, 기능명, tenant, 모델, 입력·출력 토큰 또는 제공되는 사용량, 재시도 횟수, 예산 키, 결과 상태를 한 레코드로 남깁니다. 공급자별 단가를 코드 곳곳에 복사하지 말고 버전이 있는 가격표로 계산하되, 청구서와 내부 추정치가 다를 수 있다는 점을 표시합니다.

OpenAI API 응답과 헤더에는 사용량과 요청 추적에 활용할 수 있는 정보가 제공되며, API 참고 문서는 rate limit 헤더와 요청 ID 기록을 설명합니다. 현재 계정과 모델의 실제 가격·한도는 변할 수 있으므로OpenAI API 참고 문서와 계정의 최신 가격표를 배포 전에 확인해야 합니다.

운영 원장으로 허용·축소·중단을 조정합니다

요청당 입력 크기, 요청당 예상 비용, 사용자·조직의 기간 예산, 재시도 횟수를 각각 제한합니다. 큰 문서는 먼저 요약·분할하고, 일시적 오류만 제한된 횟수로 재시도합니다. 품질이 중요한 경로와 비동기 대량 처리 경로의 모델·예산을 분리하면 한 기능의 폭주가 다른 기능을 막는 일을 줄일 수 있습니다.

• 허용: 예약 예산과 입력 크기가 한도 이내

• 축소: 입력을 분할하거나 저비용 경로로 전환

• 중단: 재시도·기간 예산을 초과해 사람 검토로 전환

가상 사례: 고객 문의 요약 호출

가상 사례의 입력은 최대 20개 메시지로 구성된 문의 스레드입니다. 결정은 먼저 메시지 수와 예상 입력량을 확인하고, 조직의 일일 예산에서 호출 몫을 예약하는 것입니다. 중간 산출물은 request_id와 예산 전후 잔액, 실제 사용량을 담은 비용 원장이고, 기대 결과는 정상 요약은 저장되며 한도를 넘은 요청은 축약 또는 검토 큐로 이동하는 것입니다.

실패와 복구를 비용 원장에 연결합니다

타임아웃 뒤 응답이 실제로 처리됐을 가능성이 있으면 즉시 같은 요청을 재전송하지 않습니다. idempotency 키 또는 request_id로 결과를 조회하고, 재시도 가능한 오류인지 확인합니다. 사용량을 받지 못한 경우에는 보수적인 추정치를 임시 기록하고 사후 정산에서 보정합니다. 예산 예약이 실패하면 호출하지 않고 사용자에게 지연 또는 검토 상태를 알립니다.

반례는 월별 사용량이 거의 없는 내부 실험입니다. 이 단계에서는 복잡한 조직별 예산 서비스보다 요청 ID, 입력 상한, 수동 사용량 확인만 두고 실제 폭주 패턴이 관찰될 때 세분화하는 편이 낫습니다.

완료 조건

검증 완료는 정상 호출, 입력 초과, 재시도 초과, 예산 부족, 타임아웃 후 재전송을 각각 시험하고, 호출 전후 예산과 실제 사용량이 request_id로 연결되며, 차단된 요청이 대체 경로 또는 검토 상태로 끝나는 것을 확인한 상태입니다.