업무 자동화 예외 큐 설계: 사람 검토를 운영 경계로 만드는 방법

업무 자동화에서 사람 검토는 마지막에 붙이는 승인 버튼이 아니라 예외를 안전하게 처리하는 운영 경계입니다. 자동 처리 조건, 예외 큐의 우선순위, 검토자가 남길 결정 기록, 기한 초과 시 복구 경로를 먼저 정해야 자동화가 사람의 기억에 의존하지 않습니다.

AWS Augmented AI는 예측 결과를 사람이 검토하는 human review workflow의 구성 요소와 상태를 설명합니다.

자동화와 사람 검토의 경계 정하기

자동 처리는 결과가 되돌릴 수 있고, 입력 형식과 정책 조건이 명확하며, 실패해도 고객·금액·권한에 큰 영향을 주지 않는 작업부터 시작합니다. 반대로 금액 확정, 법적 고지, 권한 변경, 개인정보 노출 가능성이 있는 작업은 사람 검토를 기본값으로 둡니다.

신뢰도 숫자 하나로 경계를 정하지 말고 필수 필드 누락, 규칙 충돌, 최신성 만료, 모델 설명 부족을 함께 확인합니다. 신뢰도가 높아도 금지 조건을 위반하면 예외 큐로 보내야 하며, 기준을 바꿀 때는 과거 큐 결과로 회귀 검증합니다.

예외 큐가 가져야 할 운영 필드

큐의 한 행은 “검토 필요”라는 문장만으로 부족합니다. 원본 입력, 자동화가 내린 판단, 판단 근거, 가능한 조치, 담당자, 기한, 고객 영향, 재처리 키를 한 화면에서 확인할 수 있어야 검토 시간이 개인 경험에 좌우되지 않습니다.

• 중복 처리를 막는 업무 키와 현재 상태

• 원본 값과 자동화 결과의 변경 전·후 비교

• 예외 사유 코드와 적용된 정책 버전

• 담당자·SLA·에스컬레이션 대상

• 승인·수정·반려의 결정자와 시각

원본과 검토 결과를 덮어쓰지 않는 것도 중요합니다. 자동화 결과와 사람의 수정값을 별도 필드로 저장해야 감사와 재학습에 쓸 수 있습니다. 민감한 값은 화면과 로그에서 최소화하되, 검토에 필요한 원문을 접근 통제된 링크로 제공하세요.

운영 흐름: 생성부터 종료까지

1. 자동화가 입력을 검증하고 정책 버전을 기록한다.

2. 예외 사유를 태그하고 우선순위·기한을 계산한다.

3. 담당 큐에 배정하고 수락·보류 상태를 추적한다.

4. 검토자는 승인·수정·반려와 근거를 남긴다.

5. 결과를 원 시스템에 반영하고 재처리 여부를 확인한다.

각 상태 전환에는 누가 언제 어떤 조건으로 바꿨는지가 남아야 합니다. 알림은 큐 생성만 알리지 말고 기한 임박, 담당자 미수락, 반복 반려를 구분해 행동으로 연결합니다. 그래야 큐가 쌓이는 현상을 단순한 알림 피로로 오해하지 않습니다.

예시: 세금계산서 입력 예외 처리

가상 사례의 입력은 OCR이 읽은 세금계산서에서 공급자 사업자번호가 누락되고 총액은 읽힌 상태입니다. 결정은 자동 전표 생성을 중단하고 재무팀 예외 큐에 30분 SLA로 보내는 것입니다. 중간 산출물은 원본 파일 ID, 누락 필드, OCR 신뢰도, 정책 버전, 담당자, 가능한 조치가 담긴 큐 카드입니다.

검토자가 사업자번호를 원본과 대조해 보완하면 수정값과 결정 이유를 저장하고 재처리 키로 한 번만 전표 생성을 재개합니다. 기대 결과는 중복 전표 없이 원본·수정·승인 시각을 감사 로그에서 확인하는 것입니다.

이 사례에서 총액이 일정 금액 이상이거나 공급자가 신규라면 신뢰도가 높아도 추가 승인을 요구할 수 있습니다. 금액·거래처 조건이 바뀌면 큐 기준을 버전업하고 기존 미처리 건에 새 정책을 소급할지 명시합니다.

반례와 복구: 검토자가 응답하지 않을 때

반례는 담당자가 휴가 중인데 큐가 자동 배정되어 하루 동안 멈추는 경우입니다. 단순히 SLA 알림을 반복하면 큐만 길어지고 고객 영향은 늦게 발견됩니다. 수락 기한과 실제 완료 기한을 나누고, 수락하지 않은 건은 대체 담당자 또는 관리자 큐로 자동 전환해야 합니다.

복구 시에는 원래 담당자의 권한을 대신 부여하지 말고 승인 권한을 가진 대체 역할로 라우팅합니다. 긴급 건은 자동 처리를 계속하지 않고 보류 상태를 유지하며, 고객 안내가 필요한지 별도 판단합니다. 원인과 처리 시간을 기록해야 다음 SLA 조정이 근거를 갖습니다.

완료 조건과 예외 큐의 건강 신호

완료 조건은 큐 화면이 열리는 것이 아닙니다. 모든 예외가 사유 코드와 오너를 갖고, 기한 초과 건이 정해진 경로로 이관되며, 승인·수정·반려 결과가 원 시스템에 정확히 반영되고, 동일 키 재처리가 중복을 만들지 않는지 확인해야 합니다.

• 미배정·기한 임박·기한 초과 건수를 매일 확인한다.

• 반려 사유가 정책·데이터·모델 원인으로 분류된다.

• 대체 담당 전환과 재처리 성공 여부를 표본 검증한다.

• 정책 버전별 오류와 수동 수정률을 재평가한다.

자동화율을 높이는 것만 목표로 삼지 마세요. 예외를 빠르게 발견하고 안전하게 보류하며, 사람이 내린 결정이 다음 정책 개선으로 연결될 때 운영 가능한 자동화가 됩니다. 정책·큐·감사 기록 중 하나라도 재현되지 않으면 해당 범위는 자동 처리를 중단하고 사람 검토로 되돌리는 것이 완료 기준입니다. 운영자는 이 조건을 주간 표본 점검과 정책 변경 승인에 함께 사용해야 합니다. 담당자가 바뀌어도 같은 결과를 낼 수 있어야 합니다.