AI 자동화 수준 어드바이저 · 리포트

관심 매물·특가 자동 모니터링 & 선별 알림

날짜: 2026-06-06
판정: HUMAN-ON-THE-LOOP (Supervise and intervene)

AI가 여러 사이트를 계속 뒤져 내 조건에 맞는 매물만 골라 하루 한 번 추려 보내고 — 나는 그 추린 목록을 훑어보고, 가끔 "걸러진 것"도 들춰보며 조건을 다듬는다.

1

이 과제는 루프 스펙트럼의 어디에 있나

2

두 개의 축 — 검증 가능성 × 도달 가능성

두 개의 독립적인 질문으로 판단합니다: 검증 가능성(결과를 싸게 확인할 수 있나? → x축)과 도달 가능성(AI가 애초에 만들 수 있나? → y축). 오른쪽 위가 자동화 구역입니다. 아래에 이 과제의 네 단계를 찍었습니다 — 모두 높이(기존 매물 거르기는 AI가 잘함) 자리에 있지만, 선별이 맞는지 훑어봐야 알기에(중간 검증) "완전 자동화"의 왼쪽 한 칸에 머뭅니다.

자동화 AI 실행, 사람 감사 사람이 originate 깊이 사람 중심 검증 가능성 — 확인이 쉬울수록 → 도달 가능성 — AI가 만들 수 있을수록 ↑ overall — on-the-loop 군집 1 2 3 4
1수집 2선별 3결정 4알림

각 단계를 두 축 위치로 찍고, 전체 과제는 가장 위험이 큰 단계로 분류합니다. 여기선 모든 단계가 도달 가능하지만, 훑어봐야 아는 검증 가능성이 완전 자동화에서 한 칸 물러서게 합니다 — HUMAN-ON-THE-LOOP. chollet-measure

3

쉬운 말로, 이게 무슨 뜻인가

AI가 알아서 골라주되, 매일 목록은 계속 들여다보세요.

"on the loop"는 AI가 일을 직접 하고 행동까지 한다는 뜻입니다(여러 사이트를 뒤져 내 조건에 맞는 것만 추려 알림). 당신은 자동조종을 지켜보는 파일럿처럼 그 위를 감시하죠. 매일 추린 목록을 훑고, 가끔 "걸러진 것"도 들춰보고, 조건을 언제든 손보고, 주인으로 남습니다. 완전 자동화보다 한 칸 조심스러운 건 — 좋은 매물을 잘못 거를 수 있어 가끔은 사람이 거른 더미를 봐야 하기 때문이고, 매 매물을 손으로 승인하는 것보다는 한 칸 가벼운 방식입니다.

4

제가 이해한 과제

당신은 사고 싶거나 관심 있는 것(중고 매물, 특가 딜 등)이 있는데, 여러 사이트를 매번 직접 보기엔 시간이 없습니다. 그래서 AI가 내 조건(가격대·지역·브랜드·키워드 등)에 맞춰 여러 사이트를 계속 수집·선별해, 맞는 것만 하루 한 번 추려 알려주길 원합니다. 잘못 추천된 건 무시하면 되고, 잘못 걸러진 건 조건을 다듬어 바로잡습니다. 중요한 건 — AI는 알림까지만 합니다. 실제로 연락하거나 사는 결정은 여전히 당신 몫이고, 그건 이 자동화의 범위 밖입니다.

이 정리가 어디든 틀렸으면 말씀해 주세요 — 분류를 다시 돌립니다.

5

왜 이 단계인가 — 요인별로

각 행은 하나의 레버입니다. "민 방향" 칩은 당신의 답이 더 자동화 쪽인지, 더 사람 쪽인지, 혹은 단단한 바닥을 세웠는지 보여줍니다. 모든 레버는 출처로 연결됩니다.

요인당신의 답민 방향출처
검증 가능성
전문가 없이, 싸게 맞는지 확인 가능한가?
"되지만 훑어봐야 함"(V2). 추천이 내 조건에 맞는지는 보면 알지만 기계적 정답은 아님. 감사 필요, 손 떼기는 아님 karpathy-verifiability, mindstudio-map
소비 형태
사람이 결과를 읽나?
대부분 자동 흐름 — 수집·필터는 매 건 안 봐도 흘러가지만, 나는 하루치 추린 목록을 읽음. 자동 흐름 + 사람 감사 mindstudio-map
되돌리기
실수를 되돌리기 얼마나 어렵나?
쉬움 — 잘못 추천=무시, 잘못 거름=조건 수정. AI가 먼저 하고 사후에 내가 거부. 선 실행 후 통보 허용 sheridan-verplank, parasuraman-2000
위험/리스크
놓치면 얼마나 나쁜가?
낮음~중간: 나쁜 추천은 무시, 최악은 좋은 매물을 놓치는 기회손실 — 안전·법적 손해는 아님. 더 많은 자율 허용 anthropic-autonomy, openai-agents-guide
빈도
반복적인가, 일회성인가?
계속/매일 — 즉석 처리보다 자동화에 투자할 가치 충분. 자동화 투자 정당화 zwingmann-aug
명세 가능성
단계를 플로우차트로 쓸 수 있나?
대체로: 수집 → 조건으로 필터·점수 → 추려서 알림. 반복 가능한 레시피. 고정 워크플로로 구축 anthropic-agents
도달 가능성 — AI가 만들 수 있나?
분포 밖의 새 아이디어가 필요한가?
아니오 — 이미 존재하는 매물을 분류·필터링(R1). 분포 밖에서 새로 만들 게 없음. 도달 가능 — 자동화 허용 chollet-measure
사람-영향 (규제 바닥)
특정 개인에 대한 결정인가?
아니오 — 매물(콘텐츠)을 거를 뿐, 사람에 대해 판단하지 않음. 법적 바닥 미발동 gdpr-22, eu-ai-act-14
감독 가능성
사람이 제때 보고 개입할 수 있나?
예 — 하루 한 번 검토라 시간 여유가 있어 감사·개입 가능. on-the-loop 현실적 (Level-3 함정 없음) sae-j3016
동기 / 소유
이 부분을 손에 쥐고 싶은가?
아니오 — 매번 사이트 뒤지기는 기꺼이 위임할 잡일. 위임해도 안전 lubars-tan

정리: 저위험·반복·되돌리기쉬움·감독가능·명세가능·사람영향 없음·도달가능(R1) — 여기까진 더 자동화 쪽입니다. 그런데 선별이 훑어봐야 아는 수준(V2)이고 좋은 매물을 잘못 거를 수 있어, 한 칸 물러서 HUMAN-ON-THE-LOOP에 안착합니다 — 돌리되, 목록은 계속 본다. mindstudio-map, anthropic-autonomy

6

단계 분해 — 어디서 갈리나

대부분의 과제는 실은 네 개의 작은 단계이고, 모두 같은 감독 수준이 필요한 건 아닙니다. 전체는 가장 위험이 큰 단계로 분류하되, 쉬운 단계는 공격적으로 자동화하세요. parasuraman-2000

단계 A
수집
FULL AUTOMATION

여러 사이트에서 매물 크롤링은 기계적이고 객관적으로 확인 가능.

단계 B
선별
HUMAN-ON-THE-LOOP

내 조건으로 필터·점수 — AI가 알아서; 나는 표본 감사.

단계 C
결정
HUMAN-ON-THE-LOOP

알릴 만한가? 애매한 건 "확인 필요"로 포함.

단계 D
알림
HUMAN-ON-THE-LOOP

하루치 추려 나에게 알림 — 선 실행 후 통보, 모두 되돌리기 쉬움.

단계 분리 팁: 처음엔 더 조심스럽게 필터를 약하게(거의 다 보여주기) 두고 내가 좋음/별로 라벨로 보정한 뒤, 신뢰가 쌓이면 강하게 거르세요. 그리고 "거른 것" 표본을 주기적으로 들춰 놓친 좋은 매물(false negative)이 없는지 확인 — 이게 핵심 안전장치입니다.

7

추천 세팅 — 무엇을 만들까

도구 수준: 미리 정의된 워크플로(predefined workflow) — 매번 스스로 경로를 정하는 자율 에이전트가 아니라 한 번 만들어 재사용하는 고정 레시피. 단계가 안정적이고 플로우차트로 쓸 수 있어 가장 믿을 만합니다. 자율 에이전트는 단계가 매번 바뀌는 일에 아껴 두세요. anthropic-agents

먼저 만들 것(가장 작은 쓸모 있는 버전):

  • 한두 개 사이트에서 매물을 모으는 수집기.
  • 내 조건(가격·지역·키워드)으로 필터·점수화하고 신뢰도를 매기는 프롬프트.
  • 규칙: 신뢰도 높으면 추천, 애매하면 "확인 필요"로 포함.
  • 하루 한 번 추린 목록 + "거른 것" 표본을 나에게 — 처음 1~2주는 거의 안 거르고 다 보여주며 보정.
8

가드레일 & 체크포인트

  • 신뢰도 임계: 애매한 매물은 거르지 말고 "확인 필요"로 포함(놓치는 것보다 한 번 더 보는 게 안전).
  • "거른 것" 로그: 제외된 매물 표본을 매일/매주 검토해 false negative를 측정.
  • 일일 한도: 추천이 너무 많으면 상위 N개로 제한해 검토 부담 관리.
  • 조건 변경 용이: 조건을 쉽게 바꾸고, 바꾼 뒤 결과가 어떻게 달라지는지 보이게.
  • 수집 누락 감지: 사이트 변경 등으로 0건이 며칠 지속되면 알림.
  • 중단 스위치: 워크플로 전체를 멈출 분명한 방법 — 당신이 주인으로 남음. eu-ai-act-14
9

시작은 작게 — 졸업 계획

자율성은 가정이 아니라 입증으로 얻습니다. 처음엔 더 조심하고, AI가 신뢰를 증명하는 만큼 감독을 푸세요. hitl-hotl

1

거의 안 거르기 (시작) HUMAN-IN-THE-LOOP

필터를 약하게 두고 거의 다 보여주며, 내가 좋음/별로를 라벨. 목표: 무엇이 "내 조건에 맞는지"를 보정.

2

필터 켜고 일일 검토 HUMAN-ON-THE-LOOP

선별이 믿을 만해지면 자동으로 추려 일일 목록 + "거른 것" 표본을 받기. 추천 정상 상태.

3

검토 주기 늘리기 HUMAN-ON-THE-LOOP

정확도가 유지되면 표본 검토를 덜 자주. 단 조건 드리프트 점검과 중단 스위치는 영구 유지.

좋은 매물을 잘못 거를 수 있어, 이걸 완전 자동화까지 밀진 않는 게 좋습니다. "거른 것" 표본 점검을 곁들인 on-the-loop가 적절한 천장입니다. anthropic-autonomy

10

예시 스타터 프롬프트

1 · 매물 선별 (메인)
너는 매물 선별 도우미다. 아래 매물 목록을, 다음 내 조건에 비추어 평가하라.
조건: [가격대], [지역], [브랜드/키워드], [상태 등]

각 매물마다 JSON으로:
{
  "title": 매물명,
  "score": 0.0-1.0,            // 내 조건과의 적합도
  "include": true/false,        // 추천 목록에 넣을지
  "reason": 한 줄 이유,
  "confidence": 0.0-1.0,
  "needs_check": true/false     // 애매하면 true (거르지 말고 확인 대상으로)
}
규칙: confidence가 낮으면(<0.7) include 대신 needs_check=true로 보내라.
목록에 있는 정보만 쓰고, 없는 내용은 지어내지 마라.

매물 목록:
[여기에 수집된 매물 붙여넣기]
2 · 일일 브리핑 (감독용)
지난 24시간 동안 수집·선별한 결과를 요약하라:
1. 추천 매물 목록(점수 높은 순, 한 줄 이유 포함).
2. "확인 필요"로 분류된 애매한 매물.
3. 가격이 평소보다 크게 낮은 "특가 후보"(사기 의심도 함께 표시).
한눈에 보이게 간결히.

선별 결과:
[오늘의 선별 결과 붙여넣기]
3 · "거른 것" 점검 (놓친 매물 찾기)
아래는 자동으로 제외된 매물 20개의 표본이다. 각 매물이 내 조건([조건 요약])에
비추어 정말 제외돼야 했는지 판단하라. 잘못 걸러졌다고 보이는 것만 골라, 왜
포함됐어야 하는지 한 줄로 적어라. 없으면 "문제 없음".

제외된 매물 표본:
[제외된 매물 붙여넣기]
11

주의할 위험 — 언제 물러설까

좋은 매물을 잘못 거름 (false negative)

가장 아쉬운 실수. "거른 것" 표본 점검이 방어선 — 초반엔 자주, 정확도가 오르면 덜 자주. karpathy-verifiability

조건이 너무 빡세서 0건

며칠 0건이면 임계를 완화하거나 조건을 넓히세요. parasuraman-2000

수집 누락

사이트 구조 변경으로 조용히 빠질 수 있음 — 0건 지속 알림으로 감지. openai-agents-guide

알림을 넘어 외부 행동으로 확장

직접 연락·예약·결제까지 하기 시작하면 위험이 커짐 — 그 부분은 HUMAN-IN-THE-LOOP로 올리세요. gdpr-22

12

이 조언의 근거

카드를 열면 출처가 무엇을 말하는지 보고, 링크로 직접 읽어볼 수 있습니다.

karpathy-verifiability 검증 가능성이 자동화의 최상위 레버
결과를 다시 하는 것보다 싸고 빠르게 확인할 수 있는 일을 자동화하라. 선별은 확인 가능하지만 훑어봐야 하고(V2), 그래서 감독-don't-leave에 멈춤. The Verifiability Thesis — Andrej Karpathy
mindstudio-map V1/V2/V3 + 소비 형태 지도
검증 가능성을 버킷(V1 즉시·객관, V2 읽어야 확인, V3 취향)으로 나누고 "누가 결과를 소비하나" 축을 더함 — 스코어카드에 직접 사용. Karpathy Verifiability Framework — MindStudio
sheridan-verplank 선 실행 후 통보 vs 실행 전 승인
고전적 10단계 자동화는 "사람 거부 창을 두고 먼저 행동"(on-the-loop의 모양)과 "매 행동 전 승인"을 구분 — 이 버킷과 다음 버킷을 가르는 선. Levels of Automation (Sheridan & Verplank, 1978) — PetroWiki
parasuraman-2000 단계별 자동화; 가장 위험한 단계로 평가
네 단계 모델(수집/분석/결정/실행)과 "가장 위험이 큰 단계로 전체를 분류"하는 규칙 — 단계 분해의 뼈대. Types and Levels of Human Interaction with Automation — Parasuraman, Sheridan & Wickens (2000)
sae-j3016 불안정한 감독 중간지대를 피하라
운전 자동화 레벨은 "Level 3"(사람이 인계받아야 하나 제때 못 하는 곳)을 경고. 하루 한 번 검토라 감독이 현실적. SAE Levels of Driving Automation (J3016) — ANSI
anthropic-agents 단순하게 시작: 프롬프트 → 워크플로 → 에이전트
가장 단순한 것부터 쓰고 진짜 개방형 과제에만 풀 에이전트를 아끼라고 권함. 안정적 단계는 미리 정의된 워크플로에 적합. Building Effective Agents — Anthropic
anthropic-autonomy 자율성은 배포마다 얻는 것
자율성을 배포별 위험 가중 속성으로 봄 — "조심스레 졸업하되 천장을 둔다"는 입장을 뒷받침. Measuring AI Agent Autonomy in Practice — Anthropic
openai-agents-guide 위험 기반 게이팅 & 사람 트리거
행위의 비용에 따라 사람 체크포인트를 어디 둘지 제시 — "거른 것" 점검·확장 시 승인 게이트의 근거. A Practical Guide to Building Agents — OpenAI
zwingmann-aug augmentation vs automation; 빈도가 중요
증강할 일과 자동화할 일을 구분하고, 높은 빈도가 자동화 투자를 정당화한다고 봄 — 매일 반복이 핵심. AI Augmentation vs AI Automation — Tobias Zwingmann
chollet-measure 도달 가능성: AI는 보간엔 강하나 진짜 새로움엔 약함
지능을 새로운 과제에 대한 기술 습득 효율로 정의; AI는 경험 분포 안에선 뛰어나나 진짜 새로움엔 약함. 기존 매물 필터링은 R1 — 충분히 도달 가능. 분포 밖(새 방법·패러다임 전환·독창적 학제간 도약)만 사람이 originate. On the Measure of Intelligence — François Chollet (2019)
lubars-tan 무엇이 위임해도 안전한 일인가
위임 가능성 요인 — 동기·난이도·위험·신뢰 — 은 "기꺼이 넘길 일"을 자동화 쪽 신호로 읽는 근거. Towards a Framework of Task Delegability — Lubars & Tan (NeurIPS 2019)
eu-ai-act-14 감독과 정지 버튼을 유지하라
위험에 비례한 사람 감독과 중단·재정의 능력을 요구 — 중단 스위치와 감사 로그의 기반. EU AI Act Article 14: Human Oversight
gdpr-22 사람에 대한 결정엔 사람이 필요
개인에 대한 중대한 자동 결정에 사람 개입권을 부여. 매물 선별엔 미발동이지만, 범위가 외부 행동·사람 판단으로 번지면 적용되는 바닥. GDPR Article 22: Automated individual decision-making
hitl-hotl in-the-loop에서 on-the-loop로 졸업
엄격한 사람 승인으로 시작해 신뢰가 쌓이며 푸는 성숙 경로 — 거의-안-거르기 → 필터 켜기 → 검토 주기 늘리기 사다리의 모양. From Human-in-the-Loop to Human-on-the-Loop — ByteBridge