AI Automation Level Advisor · 리포트

송장(invoice) 필드 추출 → 회계 시트

날짜: 2026-06-06
판정: FULL AUTOMATION (Human-out-of-the-loop)

들어오는 송장에서 정해진 항목을 뽑아 시트에 채우는 일은 AI에 맡기고 잊어도 됩니다 — 당신은 시스템의 주인으로서 표본 감사만 하고 언제든 멈출 수 있으면 충분합니다.

1

이 과제는 loop 스펙트럼의 어디에 있나

2

두 축 맵 — 검증가능성 × 도달가능성

우리는 두 가지 독립된 질문으로 판단합니다: 검증가능성(결과를 싸게 확인할 수 있나 → 가로축)과 도달가능성(AI가 애초에 생성할 수 있나 → 세로축). 둘 다 높은 우상단이 자동화 영역입니다. 아래에 이 과제의 네 단계를 찍었습니다 — 모두 우상단에 모입니다.

자동화 영역 AI 생성 + 사람 검토 사람이 창안 깊이 인간 주도 검증가능성 — 확인하기 쉬움 → 도달가능성 — AI가 생성 가능 ↑ 1 2 3 4 전체 프로젝트
1수집(송장 가져오기) 2추출(항목 인식) 3검증(합계 대조) 4기록(시트 입력)

네 단계가 모두 높은 검증가능성 + 높은 도달가능성(우상단)에 있어 자동화에 이상적입니다. 만약 여기에 대금 지급까지 연결하면, 그 단계만 오른쪽 아래가 아니라 이해관계가 커져 HUMAN-IN-THE-LOOP로 빠집니다(아래 단계 분해 참고).

3

쉽게 말하면

맡기고 잊어도 되는, 드문 종류의 일입니다.

송장에서 "날짜·공급처·금액·항목"을 뽑는 건 답이 송장에 이미 적혀 있고(도달가능성 높음), 합계가 맞는지 기계가 즉시 확인할 수 있습니다(검증가능성 높음). 게다가 양이 많고, 틀려도 고치면 됩니다. 그래서 사람이 매 건을 볼 필요 없이 자동으로 돌리고 표본만 감사하면 됩니다.

4

과제 이해

매일 들어오는 송장(PDF·이미지·이메일 첨부)에서 정해진 항목 — 송장번호, 날짜, 공급처, 품목, 금액, 세액 — 을 읽어 회계 시트에 자동으로 채웁니다. 결과는 사람이 매번 읽지 않고 다음 단계로 흘러가며(자동 소비), 합계·세액 같은 객관적 검산으로 옳고 그름을 즉시 확인할 수 있습니다. 양이 많고, 한 건의 실수는 쉽게 정정됩니다. 대금 지급은 이 과제 범위에 포함하지 않습니다.

이 이해가 틀렸다면 알려주세요 — 등급이 바뀔 수 있습니다.

5

왜 이 수준인가 — 요인별

각 행은 하나의 레버입니다. 거의 모든 레버가 "자동화 쪽"을 가리킵니다.

요인당신의 답방향출처
검증가능성 (최상위 레버)
싸게·객관적으로 확인 가능?
네, 즉시·객관적(V1). 합계·세액이 대조되고 항목은 기계 검산 가능. 자동화 허용 karpathy-verifiability, mindstudio-map
도달가능성
AI가 생성할 수 있는 영역?
네(R1). 답이 송장에 이미 있음 — 추출·재표현일 뿐, 새 아이디어 불필요. AI가 잘 생성 chollet-measure
소비 방식
사람이 읽어야 하나?
자동 소비 — 시트로 바로 흘러가고 표본만 감사. 매건 검토 불필요 mindstudio-map
이해관계 / 가역성
틀리면 얼마나 나쁘고 되돌리기 쉬운가?
낮음·가역. 잘못된 항목은 정정 가능(지급은 범위 밖). 자율성 허용 parasuraman-2000, openai-agents-guide
양 / 빈도
반복·대량인가?
매일·다수 — 자동화 투자 가치 충분. 자동화가 이득 zwingmann-aug
명세 가능성
순서도로 적을 수 있나?
네 — 가져오기 → 인식 → 검산 → 기록. 고정 레시피. 정해진 워크플로우로 anthropic-agents
감독 가능성
사람이 제때 개입 가능?
네 — 예외 큐와 일일 표본 감사로 충분히 잡힘. 안전한 자동화 sae-j3016
개인 영향(규제 하한선)
특정 개인 결정인가?
아니요. 법적 하한선 무관 gdpr-22

요약: 두 핵심 축(검증가능성 V1 + 도달가능성 R1)이 모두 높고, 낮은 이해관계·대량·명세 가능·감독 가능이 더해져 FULL AUTOMATION이 적정합니다. 그래도 "맡기고 잊기"는 표본 감사와 정지 스위치 위에서만 성립합니다(human-in-command). anthropic-autonomy

6

단계 분해

네 단계 모두 자동화 영역입니다(위 맵의 1~4). 위험이 커지는 곳은 범위 밖의 "지급"뿐입니다. parasuraman-2000

단계 A
수집
FULL AUTOMATION

받은 송장을 한 곳으로 모음. 기계적.

단계 B
추출
FULL AUTOMATION

정해진 항목 인식 → 구조화.

단계 C
검증
FULL AUTOMATION

합계·세액 자동 대조. 안 맞으면 예외 큐로.

단계 D
기록
FULL AUTOMATION

시트에 자동 입력.

경계 주의: 만약 이 흐름에 대금 지급을 붙이면, 그 단계는 비가역·고이해관계라 HUMAN-IN-THE-LOOP (사람이 승인 후 지급)로 떼어내세요. 추출은 자동, 지급은 게이트.

7

추천 셋업

도구 수준: 정해진 워크플로우(자율 에이전트 아님). 단계가 고정·명세 가능하므로 가장 단순하고 신뢰도 높은 방식입니다. anthropic-agents

먼저 이렇게:

  • 수신함/폴더에서 송장을 자동 수집하는 작업.
  • 정해진 항목을 뽑는 추출 프롬프트(아래) + 합계·세액 검산 규칙.
  • 검산 실패·저신뢰 항목은 예외 큐로 보내 사람이 처리.
  • 처음 몇 주는 결과를 검토 폴더에 쌓고 표본 확인 후 시트 반영.
8

가드레일 & 체크포인트

  • 검산 게이트: 합계 ≠ 항목합 또는 세액 불일치면 자동 반려 → 예외 큐.
  • 신뢰도 임계: 인식 신뢰가 낮은 필드는 자동 통과 금지, 사람 확인.
  • 표본 감사: 매일 N건 무작위 점검(초기엔 더 촘촘히).
  • 정지 스위치: 전체를 한 번에 멈출 수 있는 명확한 방법 — 당신이 시스템의 주인. eu-ai-act-14
  • 출처 보존: 각 항목이 원본 송장의 어디에서 왔는지 추적 가능하게.
9

작게 시작해 자율성 올리기

자율성은 입증으로 얻습니다. 처음엔 사람 확인, 신뢰가 쌓이면 손을 뗍니다. hitl-hotl

1

1~2주 · 매건 검토 HUMAN-IN-THE-LOOP

검토 폴더에 쌓고 사람이 확인 후 반영. 정확도·예외 패턴 파악.

2

3~6주 · 표본 감사 HUMAN-ON-THE-LOOP

자동 반영 + 예외 큐, 매일 표본만 점검.

3

2개월+ · 맡기고 잊기 FULL AUTOMATION

깨끗한 실적이 쌓이면 주간 감사로. 단, 예외 규칙과 정지 스위치는 영구 유지.

10

시작 프롬프트

1 · 송장 추출 (핵심 일꾼)
너는 송장 데이터 추출기야. 아래 송장에서 다음 항목만 JSON으로 뽑아줘:
{ 송장번호, 발행일, 공급처, 통화, 항목[{품목, 수량, 단가, 금액}], 소계, 세액, 합계 }

규칙:
- 송장에 적힌 값만 사용. 없으면 null. 절대 추정/창작 금지.
- 항목 금액의 합 = 소계, 소계 + 세액 = 합계 인지 검산하고, 안 맞으면 "needs_review": true 와 이유를 넣어줘.
- 인식이 불확실한 필드는 "low_confidence": [필드명] 에 나열.

송장:
[여기에 송장 텍스트/이미지를 붙여넣기]
2 · 자기 검산
방금 뽑은 JSON을 원본 송장과 다시 대조해. 합계 검산이 맞는지, 빠진 항목이 없는지 확인하고,
하나라도 어긋나면 "needs_review": true 로 표시해. 모두 맞으면 "ok": true.
11

주의할 위험 — 언제 손을 다시 댈까

새로운 양식

못 보던 공급처/레이아웃에서 인식이 흔들립니다. 예외 큐 비율이 오르면 점검. sae-j3016

조용한 오류

검산을 통과하지만 공급처명이 틀리는 식. 표본 감사가 방어선. karpathy-verifiability

범위 확장(지급)

추출에 지급을 붙이는 순간 비가역·고이해관계 → 그 단계는 HUMAN-IN-THE-LOOP. openai-agents-guide

통화·세율 가정

다국가 송장의 통화/세율을 임의 가정하면 위험. 규칙으로 고정하거나 예외 처리.

12

이 조언의 근거

카드를 열면 출처가 무엇을 말하는지 보고, 링크로 직접 읽을 수 있습니다.

karpathy-verifiability 검증가능성 — 자동화의 최상위 레버
직접 하는 것보다 싸게 확인할 수 있으면 맡길 수 있습니다. 송장은 합계 검산으로 즉시·객관 확인(V1)되어 자동화에 이상적. The Verifiability Thesis — Andrej Karpathy
mindstudio-map V1/V2/V3 + 소비 축
검증가능성을 등급화하고 "사람이 읽어야 하나" 축을 더합니다. 이 과제는 V1 + 자동소비 → 전면 자동화. Karpathy Verifiability Framework — MindStudio
chollet-measure 도달가능성 — AI는 보간에 강하다
AI는 학습 분포 안에서의 재조합/보간에 강합니다. 송장 추출은 답이 이미 송장에 있는 R1 과제라 도달가능성이 높습니다. On the Measure of Intelligence — François Chollet (2019)
anthropic-agents 가장 단순한 것부터 — 정해진 워크플로우
단계가 고정·명세 가능하면 자율 에이전트가 아니라 정해진 워크플로우가 가장 신뢰도 높고 저렴. Building Effective Agents — Anthropic
parasuraman-2000 단계별로 자동화
수집/추출/검증/기록 단계별로 수준을 정하고, 가장 위험한 단계로 전체를 분류. 지급을 붙이면 그 단계만 게이트. Types and Levels of Human Interaction with Automation (2000)
openai-agents-guide 위험 기반 게이팅
비가역·고비용 행위(지급 등)는 사람 승인 게이트로. 추출은 게이트 불필요, 지급은 필요. A Practical Guide to Building Agents — OpenAI
sae-j3016 감독 가능성 / 범위 한정
자율성은 잘 정의된 범위 안에서만 유효. 예외 큐·표본 감사로 실시간 감독이 현실적입니다. SAE Levels of Driving Automation (J3016) — ANSI
hitl-hotl 자율성은 입증으로 얻는다
매건 검토 → 표본 감사 → 맡기고 잊기 순으로, 신뢰가 쌓일 때만 자율성을 올립니다. From Human-in-the-Loop to Human-on-the-Loop — ByteBridge