콘텐츠로 이동

1주차: AI 시스템 패러다임 전환

Phase 11주차입문강의일: 2026-03-03

개념 관점

AI 모델과 AI 시스템의 차이를 EU AI Act 정의로 설명하고, “엔진 vs 자동차” 비유를 활용한다.

거버넌스 관점

HITL → HOTL → HIC 3단계 아키텍처의 차이를 실제 사례로 구분한다.

산업 관점

2025–2026 에이전틱 AI 도구 생태계의 지형과 핵심 벤치마크를 이해한다.

방법론 관점

하네스 엔지니어링의 핵심 원리를 이해하고, 15주 강의의 전체 아크를 조감한다.


패러다임 전환 — 무엇이 바뀌었는가

섹션 제목: “패러다임 전환 — 무엇이 바뀌었는가”

2025–2026년 AI 산업은 근본적인 전환점을 맞이했다. LLM을 단순한 텍스트 생성 도구로 활용하던 시대가 끝나고, 자율 에이전틱 시스템이 소프트웨어 개발의 주류가 되었다.

Before (2023–2024)

  • LLM = 코드 제안 도구 (Copilot)
  • 인간이 모든 코드를 검토·승인
  • AI는 수동적 “오라클”
  • SWE-bench Verified 성공률 ~5%

After (2025–2026)

  • LLM = 자율 실행 에이전트
  • 인간은 전략적 감독자
  • AI가 파일 수정·테스트·배포 직접 수행
  • SWE-bench Verified 성공률 79.2% (Claude Opus 4.6 Thinking)

숫자로 보면 전환의 규모가 선명해진다:

  • SWE-bench Verified: 2023년 ~5% → 2026년 79.2%. 3년 만에 실제 GitHub 이슈를 자율적으로 해결하는 능력이 16배 성장했다.
  • METR “무어의 법칙”: AI 에이전트가 처리할 수 있는 작업의 시간 범위가 약 7개월마다 2배로 증가하고 있다.
  • Gartner 전망: 2026년 중반까지 엔터프라이즈 애플리케이션의 40%가 AI 에이전트를 내장할 것으로 예측.
  • 타임라인: GitHub Copilot 등장(2021) → 자율 에이전트 시대 개막(2025) → 프로덕션 파이프라인 통합(2026).

AI 모델 vs AI 시스템 — 엔진과 자동차

섹션 제목: “AI 모델 vs AI 시스템 — 엔진과 자동차”

AI “모델”과 AI “시스템”은 다르다. 이 구분을 이해하는 것이 이 강의의 첫 번째 관문이다.

EU AI Act(2024) 정의: AI system은 “varying levels of autonomy로 동작하는 machine-based system이 input으로부터 output을 추론”하는 것이다(Article 3).

NIST AI RMF 1.0 정의: “주어진 목표에 대해 predictions, recommendations, decisions를 생성하는 engineered system.”

핵심 비유를 하나 기억하자. 모델은 엔진이고, 시스템은 자동차다. 엔진(LLM)은 동력을 제공하지만, 그것만으로는 목적지에 도달할 수 없다. 조향(planning), 브레이크(safety), 네비게이션(memory), 계기판(observability)이 있어야 자동차가 된다.

AI 시스템의 7대 구성요소:

#구성요소역할비유
1Foundation Model추론 엔진엔진
2Tool Use / APIs외부 행동 능력바퀴와 핸들
3Memory단기 컨텍스트 + 장기 지식블랙박스 + GPS 기록
4Planning / Reasoning작업 분해, 목표 순서 결정네비게이션
5Execution Environment샌드박스, 컨테이너도로와 차선
6Safety / Guardrails정책, 제한, 인간 감독브레이크와 에어백
7Observability로깅, 평가, 피드백 루프계기판과 대시캠

EU AI Act가 모델과 시스템을 별도 규칙으로 다루는 이유가 여기 있다. 엔진 자체의 안전성(모델 규제)과 자동차 전체의 안전성(시스템 규제)은 평가 기준이 다르다. 엔진이 아무리 좋아도 브레이크 없는 자동차는 위험하다.

이 강의의 이론적 뿌리를 짚고 가자.

Rich Sutton(2019)의 Bitter Lesson: “연산을 활용하는 일반적 방법이, 도메인 지식을 활용하는 특수한 방법보다, 궁극적으로 가장 효과적이다.”

이 원칙이 AI 발전의 두 축을 설명한다:

  • 사전학습 스케일링 (GPT-3 → GPT-4): Bitter Lesson의 “학습” 측면. 더 많은 데이터, 더 큰 모델.
  • Test-Time Compute Scaling (o1, DeepSeek R1): Bitter Lesson의 “탐색” 측면. 이미 훈련된 모델을 추론 시점에 더 오래 생각하게 한다.

4주차에서 다룰 Ralph Loop과 autoresearch는 Test-Time Compute의 외부 루프 구현이다. 모델 내부에서 더 깊이 생각하는 대신, 외부 하네스가 모델을 반복 호출하고 결과를 검증한다. 원리는 같지만 제어권이 우리에게 있다.


HITL → HOTL → HIC 거버넌스 아키텍처

섹션 제목: “HITL → HOTL → HIC 거버넌스 아키텍처”
구분HITL (Human-in-the-Loop)HOTL (Human-on-the-Loop)HIC (Human-in-Command)
인간 역할순차적 게이트키퍼실시간 모니터링, 예외 개입전략·경계 조건 설정
AI 자율성낮음 — 매 단계 승인 필요중간 — 자율 실행, 이상 시 알림높음 — 전술 실행 위임
속도낮음 (인간이 병목)높음 (병렬 처리 가능)최고 (비동기 작업 가능)
위험도최저 (모든 행동 검증)중간 (감시 누락 가능)상황 의존적
규제 요건EU AI Act 고위험 기본텔레메트리 + 감사 로그 필수경계 조건의 문서화 필수
실제 예시프로덕션 DB 마이그레이션CI/CD 파이프라인, AI 코드 생성기업 AI 전략, 이 강의의 Ralphthon
비유수동 기어크루즈 컨트롤자율주행 레벨 4

세 아키텍처는 배타적이지 않다. 하나의 시스템 안에서 작업의 위험도에 따라 다른 수준이 적용된다. 예를 들어 같은 AI 코딩 에이전트라도:

  • 파일 읽기 → HOTL (자율 실행, 로그만 남김)
  • 파일 쓰기 → HITL (인간 승인 후 실행)
  • 전체 프로젝트 아키텍처 결정 → HIC (인간이 방향 설정)

EU AI Act(2024)은 AI 거버넌스의 글로벌 기준이 되었다. 핵심 조항을 짚자.

Article 14 — 인간 감독(Human Oversight) 의무화:

  1. 자동화 편향 방지: 인간 감독자가 AI 출력을 무비판적으로 수용하는 경향을 방지하는 설계
  2. AI 출력 무시 능력: 감독자는 언제든 AI의 결정을 무시하거나 번복할 수 있어야 한다
  3. 긴급 정지 메커니즘: 고위험 시스템에는 즉시 중단할 수 있는 수단이 필수

관련 국제 표준도 빠르게 정비되고 있다:

  • ISO/IEC 42001: AI 관리 시스템(AIMS) 국제 인증 표준 — AI 거버넌스의 ISO 9001
  • NIST AI Agent Standards Initiative (2025–2026 발족): 에이전트 시스템 전용 표준 작업

한국 AI 기본법(2026년 1월 시행)은 EU AI Act보다 혁신 친화적이지만, 고위험 AI에 대한 인간 감독 원칙은 공유한다. 2주차에서 두 법의 구현 수준 차이를 상세히 비교한다.

실제 데이터로 보는 거버넌스 필요성

섹션 제목: “실제 데이터로 보는 거버넌스 필요성”

거버넌스가 왜 필요한지, 추상적 원칙이 아니라 데이터로 확인하자.

METR 연구 (2025.7, arXiv 2507.09089): 숙련 개발자 16명이 246개 실제 작업을 수행한 무작위 대조군 실험. 결과는 놀라웠다.

  • AI 도구 사용 시 작업 완료가 19% 느려졌다 (본인은 20% 빨라졌다고 인식)
  • 개발자의 자기 평가와 실제 성과 사이에 39% 포인트 괴리가 존재

이 현상의 핵심 원인이 “Babysitting Tax”다. AI가 생성한 코드를 검토하고, 수정하고, 디버깅하는 비용이 직접 작성하는 비용을 초과한 것이다. CodeRabbit의 2025년 분석에서도 AI 생성 PR의 이슈 발생률이 ~1.7배 높았다.

Anthropic의 2026년 보고서는 균형 잡힌 그림을 보여준다: 개발자가 AI를 업무의 **60%**에 활용하지만, 완전 위임(AI가 처음부터 끝까지)은 **0–20%**에 불과하다.


에이전틱 AI 도구 생태계 2025–2026

섹션 제목: “에이전틱 AI 도구 생태계 2025–2026”

AI 코딩 도구 시장은 2026년 기준 USD 34.58B 규모로 성장했다. 아키텍처별로 세 범주로 나뉜다:

터미널 네이티브 — 헤드리스 자동화에 적합:

  • Claude Code (Anthropic) — MCP 생태계와 깊은 통합, /loop 명령으로 자율 루프 실행
  • Gemini CLI (Google) — Gemini 모델 직접 접근, OAuth 인증
  • Codex CLI (OpenAI) — 샌드박스 실행 환경 내장
  • OpenCode — 오픈소스, 다중 모델 지원

AI 네이티브 IDE — 편집기 통합, 비주얼 컨텍스트:

  • Cursor — VS Code 포크, 코드베이스 인덱싱
  • Windsurf — 에이전틱 IDE, 플로우 기반 작업

클라우드 네이티브 — 원격 실행, 비동기 작업:

  • Codex (OpenAI 클라우드) — 클라우드 샌드박스에서 비동기 작업 실행
  • Devin (Cognition) — 풀 스택 자율 에이전트

시장의 상위 3개 도구(GitHub Copilot, Claude Code, Cursor)가 70%+ 점유율을 차지하며, MCP(Model Context Protocol)가 도구 통합의 공통 프로토콜로 부상했다: 월간 SDK 다운로드 9,700만+, 등록 서버 6,400+.

에이전트의 실제 능력을 측정하는 벤치마크를 알아야 과장된 마케팅과 실제 성능을 구분할 수 있다.

SWE-bench Verified — 실제 GitHub 이슈를 자율적으로 해결하는 벤치마크:

  • 2024년 초: 상위 시스템 ~15%
  • 2025년 말: 50% 돌파
  • 2026년 초: 79.2% (Claude Opus 4.6 Thinking)

실전 데이터도 축적되고 있다:

  • Devin: 초기 성공률 15%(Answer.AI 테스트) → 2025년 말 PR 머지율 67%로 개선
  • Factory.ai: EY 5,000+ 엔지니어에 배포, 프로덕션 규모 검증
  • Rakuten: 1,250만 라인 코드베이스에서 7시간 자율 작업, 99.9% 정확도 보고

2026년의 주목할 변화는 오픈소스 모델이 상용 수준에 근접했다는 것이다. 현재 추적되는 204개 AI 코딩 도구 중 95%가 오픈소스다.

핵심 오픈소스 코딩 모델:

  • Qwen3-Coder (235B MoE, 22B 활성) — SWE-bench에서 상용 모델에 근접, Apache 2.0
  • DeepSeek V3 (685B MoE, 37B 활성) — 수학·추론·코딩 최상위, 비용 효율 극대화
  • GLM-4.7 (32B Dense) — 단일 GPU 구동 가능, Interleaved Thinking

이 강의에서 오픈소스 모델을 직접 배포하는 이유: 비용, 프라이버시(교내 데이터가 외부로 나가지 않음), 커스터마이징(학습 환경에 맞춘 조정). 10–11주차에서 DGX H100 서버에 이 모델들을 배포한다.

”프롬프트 엔지니어링”에서 “시스템 엔지니어링”으로

섹션 제목: “”프롬프트 엔지니어링”에서 “시스템 엔지니어링”으로”

AI와 함께 일하는 방법이 빠르게 진화하고 있다:

시기패러다임핵심 기술
2023단일 프롬프트프롬프트 엔지니어링
2024RAG 파이프라인검색 증강 생성, 벡터 DB
2025에이전트 시스템도구 사용, 멀티 에이전트
2026하네스 엔지니어링루프, 거버넌스, 관측성

Andrej Karpathy의 “Software 3.0” 비전이 이 흐름을 요약한다: 프로그래머는 코드를 직접 작성하는 사람에서 AI 에이전트의 **지휘자(conductor)**로 변한다. 직접 악기를 연주하는 대신, 오케스트라를 이끈다.

필요한 스킬도 전환된다:

  • 프롬프트 작성시스템 아키텍처 (어떤 구성요소를 어떻게 연결할 것인가)
  • 모델 선택평가와 관측성 (시스템이 제대로 작동하는지 어떻게 아는가)
  • API 호출컨텍스트 엔지니어링 (AI에게 무엇을, 언제, 얼마나 보여줄 것인가)
  • 결과 검토안전 공학 (시스템이 실패할 때 어떻게 대응하는가)

하네스 엔지니어링 — 이 강의의 핵심 가설

섹션 제목: “하네스 엔지니어링 — 이 강의의 핵심 가설”

하네스 = 비결정적 AI의 결정론적 외피

섹션 제목: “하네스 = 비결정적 AI의 결정론적 외피”

Geoffrey Huntley의 핵심 통찰: “더 강한 모델이 아니라 더 강한 하네스를 만들어라.”

Ralph Loop의 원형은 놀라울 정도로 단순하다:

Terminal window
while :; do cat PROMPT.md | <ai-coding-cli>; done

이 한 줄이 작동하는 이유는 두 가지 메커니즘 때문이다:

  • 백프레셔(Backpressure): 상류(구조화된 명세, 결정론적 컨텍스트)와 하류(테스트, 린터, 타입 체커)가 잘못된 출력을 거부한다. 에이전트가 틀린 코드를 만들면 테스트가 실패하고, 루프가 자동으로 재시도한다.
  • 가비지 컬렉션(Garbage Collection): git checkout .으로 실패한 시도를 완전히 제거한다. 컨텍스트가 실패의 잔해로 오염되지 않는다.

OpenAI도 같은 원리를 대규모로 적용했다. Codex 에이전트로 1M+ LOC를 수동 타이핑 없이 작성한 사례에서, 핵심은 모델이 아니라 하네스였다: specs-as-code로 명세를 강제하고, 레이어 아키텍처를 자동 검증하고, 실패 시 GC로 클린 상태로 복원.

15주 강의 로드맵 — 하네스의 관점에서

섹션 제목: “15주 강의 로드맵 — 하네스의 관점에서”
Phase주차주제하네스 레이어
Phase 11–3주거버넌스, 인프라, 프로토콜안전 계층 — 브레이크와 에어백
Phase 24–6주루프, 컨텍스트 관리, 인스트럭션 튜닝제어 루프 — 엔진과 변속기
Phase 37–9주역할 분담, 플래너, QA오케스트레이션 — 네비게이션과 자율주행
Phase 410–12주모델 배포, 평가인프라와 관측성 — 계기판과 정비소
Phase 513–16주Ralphthon 캡스톤실전 검증 — 도로 위의 주행 시험

Phase 1에서 안전 장치를 먼저 만들고, Phase 2에서 엔진을 건다. 순서가 중요하다 — 브레이크 없이 가속하는 것은 사고다.

15주 후, 여러분은 다음 시스템을 완전히 구현하게 된다:

AGENTIC SDLC PIPELINE
Human (HIC)전략 설정 · 1주차
Planner Agent명세서(spec.md) 생성 · 8주차
Coder Agent (Ralph Loop)코드 작성 + 자동 테스트 · 4–6주차
QA Agent독립 검증 + 회귀 테스트 · 9주차
Deploy Agent자동 배포 · 10–11주차

  1. AI 코딩 도구를 사용해 본 경험이 있는가? 어떤 작업에서 가장 효과적이었고, 어떤 작업에서 실패했는가?
  2. METR 연구에서 숙련 개발자가 AI로 19% 느려진 이유는 무엇일까? “Babysitting Tax”를 줄이려면 어떤 시스템이 필요한가?
  3. HITL, HOTL, HIC 중 어떤 아키텍처가 우리 수업 실습 환경에 가장 적합한가? 학생의 실수를 최소화하면서 학습 효과를 극대화하려면?
  4. EU AI Act가 AI “모델”과 AI “시스템”을 별도로 규제하는 이유는 무엇인가? LLM 자체가 위험한가, 아니면 LLM을 감싼 시스템이 위험한가?
  5. “더 강한 모델 vs 더 강한 하네스” — 같은 예산이 있다면, 모델 업그레이드와 하네스 강화 중 어디에 투자하겠는가?

  1. Node.js 20 LTS 설치

    Terminal window
    # macOS (Homebrew)
    brew install node@20
    # Ubuntu/Debian
    curl -fsSL https://deb.nodesource.com/setup_20.x | sudo -E bash -
    sudo apt-get install -y nodejs
  2. AI 코딩 CLI 도구 설치 → API 키 설정 → 실행 테스트

    Terminal window
    # 1. 설치 (둘 중 하나 선택)
    brew install claude-code # Homebrew (권장)
    pnpm add -g @anthropic-ai/claude-code # pnpm
    # 2. API 키 설정 (~/.bashrc 또는 ~/.zshrc에 추가)
    export ANTHROPIC_API_KEY="sk-ant-..."
    # 3. 실행 테스트
    mkdir ~/test-project && cd ~/test-project
    claude "Hello! 이 디렉토리에 간단한 Python hello world 파일을 만들어줘."
  3. 관찰 과제: AI의 자율적 결정 기록

    AI가 생성한 코드를 열어서 다음을 관찰하라:

    • AI가 스스로 결정한 것은 무엇인가? (파일명, 함수 구조, 변수명, 주석 언어 등)
    • 그 결정이 여러분의 의도와 일치했는가?
    • 같은 프롬프트를 다시 실행하면 결과가 달라지는가? (비결정성 확인)

    이 관찰이 하네스 엔지니어링의 출발점이다 — AI의 비결정적 출력을 어떻게 결정론적으로 통제할 것인가?

DGX 서버는 Cloudflare Zero Trust로 보호되어 있다. 접속 전에 반드시 WARP 클라이언트를 설치하고 로그인해야 한다.

  1. Cloudflare WARP 설치

    Cloudflare WARP 다운로드 페이지에서 운영체제에 맞는 클라이언트를 설치한다.

  2. Zero Trust 로그인

    WARP 실행 → 설정(톱니바퀴) 클릭 → Preferences → AccountLogin to Cloudflare Zero Trust → 팀 이름 입력 → 학교 이메일로 로그인

  3. SSH 접속

    WARP 연결이 활성화된 상태에서 터미널을 열고 접속한다.

    Terminal window
    ssh {USER}@{SERVER_IP} -p {PORT}
    # 초기 비밀번호는 학번과 동일 — 첫 접속 시 반드시 변경!

제출 마감: 2026-03-10 23:59

제출 방법: assignments/week-01/[학번]/ 폴더에 PR

요구사항:

  1. AI 코딩 CLI 도구 설치 후 버전 출력 스크린샷
  2. DGX 서버 SSH 접속 성공 스크린샷
  3. hello_agent.py — AI 코딩 CLI로 생성한 간단한 Python 파일
  4. README.md — 설치 과정에서 겪은 문제와 해결 방법 기록
  5. AI 시스템 분석 보고서 (300자): 자신이 사용한 AI 코딩 도구가 “AI 모델”인지 “AI 시스템”인지 판단하고, 7대 구성요소 중 어떤 것이 있는지 분석

가산점 요소:

  1. SWE-bench Verified 리더보드에서 상위 5개 시스템을 비교하고, 모델 크기와 성능의 상관관계를 분석
  2. EU AI Act Article 14의 인간 감독 요구사항을 우리 수업 환경에 적용하는 방안 제시

평가 기준:

  • 환경 설정 완료 (40점)
  • DGX 접속 확인 (20점)
  • 트러블슈팅 기록 (20점)
  • AI 시스템 분석 보고서 (20점)
  1. AI 시스템 ≠ AI 모델: 모델은 엔진, 시스템은 자동차. 도구 사용, 메모리, 계획, 실행 환경, 안전 장치, 관측성이 시스템을 구성한다.
  2. SWE-bench 5% → 79%: 3년 만에 에이전트 능력이 폭발적으로 성장했다. 문제는 능력이 아니라 제어다.
  3. HITL → HOTL → HIC: 수동 기어에서 자율주행으로. 인간의 역할이 “매번 승인”에서 “전략 설정”으로 이동한다.
  4. 19% 느려졌다: AI 도구가 개별 작업을 빠르게 하지만, 리뷰 비용(Babysitting Tax)이 이득을 상쇄한다. 하네스가 이 병목을 해결한다.
  5. 하네스 엔지니어링: 더 강한 모델이 아니라 더 강한 하네스. 백프레셔와 가비지 컬렉션이 비결정적 AI를 결정론적으로 만든다.
  6. 15주의 아크: 거버넌스 → 인프라 → 루프 → 멀티에이전트 → MLOps → Ralphthon. 이 강의는 완전한 에이전틱 SDLC 파이프라인을 구축한다.

2주차에서는 HOTL 거버넌스의 구체적 구현 방법과 EU AI Act 컴플라이언스 요구사항을 다룬다. 특히 “Governance-as-Code” — 코드로 거버넌스 정책을 강제하는 방법을 실습한다.