AI 자동화 수준 어드바이저 · 리포트

논문 → 이해하기 쉬운 HTML 요약

날짜: 2026-06-06
판정: HUMAN-IN-THE-LOOP (Approve each step)

AI는 논문을 읽고 군더더기 없이 재구조화한 HTML을 만들되, 인용할 부분은 원문 그대로 + 페이지 표시를 붙여 "검토 대기" 상태로 넘깁니다. 당신은 인용·근거로 쓸 그 문장만 몇 초 안에 대조하고 도장을 찍습니다.

1

이 과제는 루프 스펙트럼의 어디에 있나

2

두 개의 축 — 검증 가능성 × 도달 가능성

우리는 두 개의 독립적인 질문으로 판단합니다: 검증 가능성(결과를 싸게 확인할 수 있나? → x축)과 도달 가능성(AI가 애초에 만들 수 있나? → y축). 오른쪽 위가 자동화 구역입니다. 아래에 이 과제의 네 단계를 찍었습니다 — 모두 높이(AI가 만들 수 있음) 자리에 있지만, 인용 목적이라 결정·실행 단계의 검증을 사람이 해야 해서 "완전 자동화"의 왼쪽 한 칸에 머뭅니다.

자동화 AI 초안, 사람 검토 사람이 originate 깊이 사람 중심 검증 가능성 — 확인이 쉬울수록 → 도달 가능성 — AI가 만들 수 있을수록 ↑ overall — 사용 전 승인 지점 1 2 3 4
1수집 2분석 / 초안 3결정 (인용 적합?) 4실행 (인용·사용)

각 단계를 두 축 위치로 찍고, 전체 과제는 가장 위험이 큰 단계로 분류합니다. 여기선 모든 단계가 도달 가능하지만, 인용 목적이라 결정·실행의 검증을 사람이 해야 해 완전 자동화에서 한 칸 물러섭니다 — HUMAN-IN-THE-LOOP. chollet-measure

3

쉬운 말로, 이게 무슨 뜻인가

요약은 AI가 다 만들어도 됩니다 — 단, 인용하기 직전엔 당신의 "예"가 필요합니다.

"in the loop"는 AI가 초안을 만들고, 사람이 승인해야 비로소 효력이 생기는 방식입니다. 여기서 효력이 생기는 행위는 "이 문장을 내 연구·발표에 인용한다"는 것. 그 한 순간만 당신이 도장을 찍으면 됩니다. 완전 자동화보다 한 칸 조심스러운 이유는 — 당신이 요약본만 믿고 인용하는데, "군더더기 제거"가 조건절·한정어를 같이 지워 주장을 과대화해도 원문을 안 보면 못 알아채기 때문입니다. 그래서 이 리포트는 그 확인을 몇 초로 줄이는 설계(버베이텀 인용 + 페이지 태그 + 삭제 원장)를 함께 제안합니다.

4

제가 이해한 과제

당신은 읽을 논문을 직접 고릅니다. AI가 그 논문을 읽고 — 산문 덩어리를 한눈에 들어오는 구조화된 형태로 재배치하고, 같은 말 반복·쓸데없는 문장 같은 군더더기를 덜어내고, PDF보다 스캔하기 좋게 HTML의 풍부한 표현(표·강조·위계)을 활용해 요약을 만듭니다. 받는 사람은 비전문가가 아니라 본인(전문가)이고, 용도는 내 연구·글·발표에 인용하거나 근거로 쓰는 것입니다. 그리고 보통 원문을 다시 펴지 않고 요약본만 믿고 가져다 씁니다. 빈도는 하루 한 편입니다.

이 정리가 어디든 틀렸으면 말씀해 주세요 — 분류를 다시 돌립니다.

5

왜 이 단계인가 — 요인별로

각 행은 하나의 레버입니다. "민 방향" 칩은 당신의 답이 더 자동화 쪽인지, 더 사람 쪽인지, 혹은 단단한 바닥을 세웠는지 보여줍니다. 모든 레버는 출처로 연결됩니다.

요인당신의 답민 방향출처
검증 가능성
전문가 없이, 싸게 맞는지 확인 가능한가?
"가능하지만 읽어야 함"(V2). 게다가 인용 목적인데 요약만 믿어, "군더더기 제거"가 조건절·한정어를 지워 주장을 과대화해도 못 잡음 — 이 함정이 이 단계를 결정. 사용 전 검토 필요 karpathy-verifiability, mindstudio-map
소비 형태
사람이 읽고 이해해야 하나?
이해하려고 본인이 직접 읽음(human-consume) — 검토 단계가 본질적으로 내장. 필수 읽기 단계 mindstudio-map
되돌리기 / 오류 비용
틀리면 얼마나 나쁘고 되돌리기 어렵나?
요약을 믿고 인용한 뒤엔 이미 내 글·발표에 들어간 상태 — 되돌리기 어렵고 학술적 대가가 큼. 사용 전 승인 게이트 parasuraman-2000, openai-agents-guide
도달 가능성 — AI가 만들 수 있나?
분포 밖의 새 아이디어가 필요한가?
아니오 — 이미 논문 안에 있는 내용을 재배치·압축(R1). 분포 밖에서 새로 만들 게 없어 AI가 잘하는 영역. 도달 가능 — 자동화 허용 chollet-measure
빈도
반복적인가, 일회성인가?
하루 한 편, 매일 반복 — 재사용 워크플로에 투자할 가치 충분. 자동화 투자 정당화 zwingmann-aug
명세 가능성
단계를 플로우차트로 쓸 수 있나?
대체로 가능: 추출 → 재구조화 → 군더더기 제거 → HTML. 단 "무엇이 군더더기인가"는 약간의 재량. 고정 워크플로로 구축 anthropic-agents
창의성 / 취향 / 목소리
독창성·당신의 목소리가 성패를 가르나?
아니오 — 충실하고 읽기 쉬운 재표현이 목표지 예술성이 아님. augmentation 강제 안 함 zwingmann-aug, augmentation-paradox
사람-영향 (규제 바닥)
특정 개인에 대한 결정인가?
아니오 — 논문을 요약할 뿐, 개인에 대해 판단·결정하지 않음. 법적 바닥 미발동 gdpr-22, eu-ai-act-14
감독 가능성
사람이 제때 보고 개입할 수 있나?
예 — 하루 한 편이라 검토·개입할 시간 여유가 넉넉(Level-3 함정 없음). 감독 현실적 sae-j3016
동기 / 소유
이 부분을 손에 쥐고 싶은가?
아니오 — 기꺼이 위임할 잡무. 사람이 남는 이유는 오직 정확성. 위임해도 안전 lubars-tan

정리: 도달 가능(R1)·반복·감독 가능·명세 가능·사람영향 없음 — 여기까진 더 자동화 쪽입니다. 그런데 결과가 사람이 읽는 것이고 인용 목적인데 요약만 믿는 탓에, 인용 직전 검토가 필수가 되어 HUMAN-IN-THE-LOOP에 안착합니다 — 생성은 AI가, 인용 도장은 당신이. mindstudio-map, anthropic-autonomy

6

단계 분해 — 어디서 갈리나

대부분의 과제는 실은 네 개의 작은 단계이고, 모두 같은 감독 수준이 필요한 건 아닙니다. 전체는 가장 위험이 큰 단계로 분류하되, 쉬운 단계는 공격적으로 자동화하세요. parasuraman-2000

단계 A
수집
FULL AUTOMATION

PDF 텍스트·구조·캡션 추출은 기계적이고 객관적으로 확인 가능.

단계 B
분석 / 초안
HUMAN-ON-THE-LOOP

재구조화·군더더기 제거·HTML 생성 — AI가 알아서 초안, 당신은 훑어봄.

단계 C
결정
HUMAN-IN-THE-LOOP

"이 문장을 내 근거로 인용해도 되나?" — 인용할 항목만 원문 대조.

단계 D
실행 (인용)
HUMAN-IN-THE-LOOP

내 글·발표에 실제로 인용·사용 — 되돌리기 어려운 행위라 사람이 승인 후.

단계 분리 팁: 수집(A)·초안(B)은 AI가 끝까지 돌려도 됩니다. 사람이 남는 건 (C)/(D), 즉 "인용한다"는 그 한 순간뿐 — 그리고 아래 "몇 초 검증" 설계가 그 도장 찍기를 몇 초로 줄입니다.

7

추천 세팅 — 무엇을 만들까

도구 수준: 미리 정의된 워크플로(predefined workflow) — 매번 스스로 경로를 정하는 자율 에이전트가 아니라 한 번 만들어 재사용하는 고정 레시피. 단계가 안정적이고 플로우차트로 쓸 수 있어 가장 믿을 만하고 신뢰하기 쉽습니다. 매일 쓰니 재사용 프롬프트 + 고정 HTML 템플릿 하나로 시작하면 충분합니다. anthropic-agents

먼저 만들 것(가장 작은 쓸모 있는 버전):

  • 논문 PDF 한 편을 떨궈 넣을 한 곳(폴더 또는 입력란).
  • 아래 "몇 초 검증" 설계가 들어간, PDF→구조화 HTML 저장 프롬프트(스타터 프롬프트 1번).
  • 고정 HTML 템플릿(핵심·방법·결과·한계 섹션 + 출처 태그 자리)으로 일관된 형태 유지.
  • 처음 며칠은 손으로 돌려 보고, 신뢰가 쌓이면 PDF 투입~HTML 생성을 자동 연결.

"확인을 몇 초로 줄이는" 핵심 설계 (요청하신 부분):

  • 버베이텀/패러프레이즈 분리 — 인용 가능 항목은 원문 문장 그대로 복사(따옴표+페이지), 풀어쓰기는 "인용 금지" 표시 → 인용은 늘 왜곡 불가능한 원문에서만.
  • 출처 위치 태그 — 모든 핵심 주장에 §섹션 / p.쪽 → 필요하면 원클릭으로 그 지점.
  • 삭제 원장(trim ledger) — "지운 것 + 이유" 목록, 한정어·숫자·예외를 지웠으면 ⚠ → 이 목록만 몇 초 훑으면 과잉일반화가 잡힘.
  • 불확실 플래그 — AI가 애매했던/원문이 모호한 곳만 표시 → 주의를 위험 지점에만.
  • 한정어 보존 규칙 — 조건절·범위·hedge·숫자·예외는 절대 삭제 금지, 진짜 중복/필러만.
8

가드레일 & 체크포인트

  • 한정어 보존 규칙: 군더더기 제거 시 조건절·범위·hedge·숫자·예외는 절대 삭제 금지. 진짜 중복/필러만.
  • 인용은 버베이텀에서만: 인용은 원문 그대로 복사된 + 페이지 태그된 항목에서만. 패러프레이즈 직접 인용 금지.
  • 삭제 원장 강제: 매 요약마다 "지운 것 + 이유"를 출력하고, 한정어/숫자/예외를 지웠으면 ⚠ 표시.
  • 불확실 honesty: 확신 못 하는 곳은 추측하지 말고 "원문 모호/불확실"로 표시.
  • 근거 없는 생성 금지: 원문에 없는 내용은 만들지 말 것 — 없으면 "원문에 명시 없음". eu-ai-act-14
  • 중단 조건: 삭제 원장에서 의미 있는 한정어를 지운 사례가 두 번 연속 나오면, 멈추고 trim 강도를 낮춰 프롬프트를 다시 조이세요.
9

시작은 작게 — 졸업 계획

자율성은 가정이 아니라 입증으로 얻습니다. 처음엔 더 조심하고, AI가 실전에서 신뢰를 증명하는 만큼 감독을 푸세요. hitl-hotl

1

보정 (시작) HUMAN-IN-THE-LOOP

이미 잘 아는 논문 몇 편으로 돌려 HTML을 내 지식과 대조. 목표: AI가 얼마나 자주 한정어를 과하게 지우는지 파악.

2

오류율 측정 HUMAN-IN-THE-LOOP

며칠간 HTML ↔ PDF 전체 대조로 한정어 누락/왜곡 빈도 기록. 패턴이 보이면 보존 규칙 강화.

3

몇 초 검증으로 전환 HUMAN-IN-THE-LOOP (가볍게)

버베이텀+페이지 태그를 신뢰하게 되면 "삭제 원장 훑기 + 버베이텀에서만 인용"의 몇 초 확인으로. 오리엔테이션 읽기는 hands-off로 둬도 됨.

영구 게이트: "원문 확인 없이 인용"은 졸업하지 않습니다 — 대신 그 확인을 몇 초로 만드는 게 이 계획의 전부. anthropic-autonomy

10

예시 스타터 프롬프트

1 · 메인: PDF → 구조화 HTML 요약 (몇 초 검증 설계 내장)
너는 내 논문 요약 도우미다. 아래(또는 첨부된) 논문 한 편을 읽고, 한눈에 들어오는 구조화된 HTML 요약을 만들어라.
나는 전문가이고, 이 요약을 내 연구에 인용·근거로 쓴다.

[형식]
- 산문 덩어리 금지. 섹션 위계, 표, 강조, 불릿을 활용해 스캔하기 좋게.
- 구성: 한 줄 핵심 / 문제·동기 / 방법 / 핵심 결과(수치 포함) / 한계·전제 / 내 분야에의 함의.

[정확성 규칙 — 반드시 지켜라]
1. 군더더기(같은 말 반복, 빈 수식어)만 제거하라. 조건절·범위 한정("일부", "특정 조건에서")·
   hedge·숫자·예외·반례는 절대 지우지 마라.
2. 각 핵심 주장 끝에 출처 위치를 [§섹션, p.쪽]로 달아라.
3. "인용 가능" 항목은 원문 문장을 그대로 복사하고 따옴표로 감싸라(패러프레이즈 금지).
   이해를 돕기 위한 풀어쓰기는 (풀어쓰기, 인용 금지)라고 명시하라.
4. 마지막에 "삭제 원장"을 붙여라: 무엇을 왜 지웠는지. 한정어·숫자·예외를 지웠다면 ⚠로 표시.
5. 확신 못 하거나 원문이 모호한 곳은 추측하지 말고 ⚠불확실로 표시하라.
6. 원문에 없는 내용은 만들지 마라. 없으면 "원문에 명시 없음".

논문:
[여기에 붙여넣기 / 첨부]
2 · 자가 점검 (인용 전에 돌리는 안전장치)
방금 만든 HTML 요약을 원문과 다시 대조하라. 다음만 목록으로 뽑아라:
- 원문의 조건절/한정어/예외 중 요약에서 빠지거나 약해진 것
- 원문보다 주장이 세지거나 범위가 넓어진 문장
- 요약에 있으나 원문에서 근거를 못 찾은 문장
문제가 없으면 "충실함"이라고만 답하라.
3 · 인용 추출 (이걸 인용하고 싶다 할 때)
요약의 이 부분을 인용하려 한다: "[붙여넣기]"
원문에서 이를 뒷받침하는 문장을 그대로(verbatim) 찾아, 따옴표 + [§섹션, p.쪽]과 함께 돌려줘라.
만약 요약이 원문을 정확히 반영하지 않으면, 어떻게 다른지 지적하라.
11

주의할 위험 — 언제 물러설까

한정어 과잉 삭제 (가장 큰 위험)

"군더더기 제거"가 조건절·범위를 같이 날려 주장을 과대화함. 삭제 원장 + 보존 규칙이 방어선. 의미 있는 한정어 삭제가 반복되면 trim 강도를 낮추세요. karpathy-verifiability

한계 섹션 통째 누락

limitations/단서가 "덜 중요해 보인다"며 빠짐. "한계·전제"를 고정 섹션으로 강제하세요. parasuraman-2000

깔끔한 서사 날조

원문에 없던 매끈한 흐름/구조를 지어냄. 근거 없는 생성 금지 + 출처 태그로 확인. openai-agents-guide

실수로 패러프레이즈 인용

버베이텀/패러프레이즈 시각 구분을 분명히 유지. 자가 점검(2번)이 두 번 연속 실제 누락을 잡으면, 잠시 "전체 대조"로 복귀. mindstudio-map

12

이 조언의 근거

카드를 열면 출처가 무엇을 말하는지 보고, 링크로 직접 읽어볼 수 있습니다.

karpathy-verifiability 검증 가능성이 자동화의 최상위 레버
결과를 다시 하는 것보다 싸고 빠르게 확인할 수 있는 일을 자동화하라고 주장. 우리 요약은 확인 가능하지만 읽어야 하고(V2), 게다가 요약만 믿고 인용해 함정이 큼 — 그래서 사용 전 검토를 둠. The Verifiability Thesis — Andrej Karpathy
mindstudio-map V1/V2/V3 + 소비 형태 지도
검증 가능성을 버킷(V1 즉시·객관, V2 읽어야 확인, V3 취향)으로 나누고 "누가 결과를 소비하나" 축을 더함 — 스코어카드에 직접 사용. Karpathy Verifiability Framework — MindStudio
anthropic-agents 단순하게 시작: 프롬프트 → 워크플로 → 에이전트
가장 단순한 것부터 쓰고 진짜 개방형 과제에만 풀 에이전트를 아끼라고 권함. 안정적 단계는 미리 정의된 워크플로에 적합. Building Effective Agents — Anthropic
anthropic-autonomy 자율성은 배포마다 얻는 것
자율성을 배포별 위험 가중 속성으로 봄 — "조심스레 졸업하되 천장을 둔다"는 우리 입장을 뒷받침. Measuring AI Agent Autonomy in Practice — Anthropic
openai-agents-guide 위험 기반 게이팅 & 사람 트리거
행위의 비용에 따라 사람 체크포인트를 어디 둘지 제시 — 인용 직전 승인 게이트의 근거. A Practical Guide to Building Agents — OpenAI
parasuraman-2000 단계별 자동화; 가장 위험한 단계로 평가
네 단계 모델(수집/분석/결정/실행)과 "가장 위험이 큰 단계로 전체를 분류"하는 규칙 — 단계 분해의 뼈대. Types and Levels of Human Interaction with Automation — Parasuraman, Sheridan & Wickens (2000)
sae-j3016 불안정한 감독 중간지대를 피하라
운전 자동화 레벨은 "Level 3"(사람이 인계받아야 하나 제때 못 하는 곳)을 경고. 하루 한 편이라 감독이 현실적. SAE Levels of Driving Automation (J3016) — ANSI
zwingmann-aug augmentation vs automation; 빈도가 중요
증강할 일과 자동화할 일을 구분하고, 높은 빈도가 자동화 투자를 정당화한다고 봄 — 매일 반복이 핵심. AI Augmentation vs AI Automation — Tobias Zwingmann
augmentation-paradox 자동화–증강의 긴장
창의·판단 중심 일을 완전 자동화로 밀면 역효과가 나는 이유 — 이 비창작 과제에선 확인 후 통과한 경계. The Automation–Augmentation Paradox — Raisch & Krakowski
chollet-measure 도달 가능성: AI는 보간엔 강하나 진짜 새로움엔 약함
지능을 새로운 과제에 대한 기술 습득 효율로 정의하고, AI가 경험 분포 안에선 뛰어나나 진짜 새로움으로의 일반화엔 약함을 보임. 이게 "도달 가능성" 축(결과를 확인할 수 있느냐와 별개). 논문 요약은 이미 있는 것을 재배치(R1)하므로 충분히 도달 가능. 분포 밖의 출력(새 목소리·패러다임 전환·전에 없던 방법, 학제간 융합은 그 한 예)만 사람이 originate해야 함. On the Measure of Intelligence — François Chollet (2019)
lubars-tan 무엇이 위임해도 안전한 일인가
위임 가능성 요인 — 동기·난이도·위험·신뢰 — 은 "기꺼이 넘길 일"을 자동화 쪽 신호로 읽는 근거. Towards a Framework of Task Delegability — Lubars & Tan (NeurIPS 2019)
eu-ai-act-14 감독과 정지 버튼을 유지하라
위험에 비례한 사람 감독과 중단·재정의 능력을 요구 — 근거 없는 생성 금지/중단 조건의 기반. EU AI Act Article 14: Human Oversight
gdpr-22 사람에 대한 결정엔 사람이 필요
개인에 대한 중대한 자동 결정에 사람 개입권을 부여. 여기선 미발동이지만, 범위가 사람 판단으로 번지면 적용되는 바닥. GDPR Article 22: Automated individual decision-making
hitl-hotl in-the-loop에서 on-the-loop로 졸업
엄격한 사람 승인으로 시작해 신뢰가 쌓이며 푸는 성숙 경로 — 우리 3단 사다리의 모양 그대로. From Human-in-the-Loop to Human-on-the-Loop — ByteBridge