개념 관점
AI 모델과 AI 시스템의 차이를 EU AI Act 정의로 설명하고, “엔진 vs 자동차” 비유를 활용한다.
개념 관점
AI 모델과 AI 시스템의 차이를 EU AI Act 정의로 설명하고, “엔진 vs 자동차” 비유를 활용한다.
거버넌스 관점
HITL → HOTL → HIC 3단계 아키텍처의 차이를 실제 사례로 구분한다.
산업 관점
2025–2026 에이전틱 AI 도구 생태계의 지형과 핵심 벤치마크를 이해한다.
방법론 관점
하네스 엔지니어링의 핵심 원리를 이해하고, 15주 강의의 전체 아크를 조감한다.
2025–2026년 AI 산업은 근본적인 전환점을 맞이했다. LLM을 단순한 텍스트 생성 도구로 활용하던 시대가 끝나고, 자율 에이전틱 시스템이 소프트웨어 개발의 주류가 되었다.
Before (2023–2024)
After (2025–2026)
숫자로 보면 전환의 규모가 선명해진다:
AI “모델”과 AI “시스템”은 다르다. 이 구분을 이해하는 것이 이 강의의 첫 번째 관문이다.
EU AI Act(2024) 정의: AI system은 “varying levels of autonomy로 동작하는 machine-based system이 input으로부터 output을 추론”하는 것이다(Article 3).
NIST AI RMF 1.0 정의: “주어진 목표에 대해 predictions, recommendations, decisions를 생성하는 engineered system.”
핵심 비유를 하나 기억하자. 모델은 엔진이고, 시스템은 자동차다. 엔진(LLM)은 동력을 제공하지만, 그것만으로는 목적지에 도달할 수 없다. 조향(planning), 브레이크(safety), 네비게이션(memory), 계기판(observability)이 있어야 자동차가 된다.
AI 시스템의 7대 구성요소:
| # | 구성요소 | 역할 | 비유 |
|---|---|---|---|
| 1 | Foundation Model | 추론 엔진 | 엔진 |
| 2 | Tool Use / APIs | 외부 행동 능력 | 바퀴와 핸들 |
| 3 | Memory | 단기 컨텍스트 + 장기 지식 | 블랙박스 + GPS 기록 |
| 4 | Planning / Reasoning | 작업 분해, 목표 순서 결정 | 네비게이션 |
| 5 | Execution Environment | 샌드박스, 컨테이너 | 도로와 차선 |
| 6 | Safety / Guardrails | 정책, 제한, 인간 감독 | 브레이크와 에어백 |
| 7 | Observability | 로깅, 평가, 피드백 루프 | 계기판과 대시캠 |
EU AI Act가 모델과 시스템을 별도 규칙으로 다루는 이유가 여기 있다. 엔진 자체의 안전성(모델 규제)과 자동차 전체의 안전성(시스템 규제)은 평가 기준이 다르다. 엔진이 아무리 좋아도 브레이크 없는 자동차는 위험하다.
이 강의의 이론적 뿌리를 짚고 가자.
Rich Sutton(2019)의 Bitter Lesson: “연산을 활용하는 일반적 방법이, 도메인 지식을 활용하는 특수한 방법보다, 궁극적으로 가장 효과적이다.”
이 원칙이 AI 발전의 두 축을 설명한다:
4주차에서 다룰 Ralph Loop과 autoresearch는 Test-Time Compute의 외부 루프 구현이다. 모델 내부에서 더 깊이 생각하는 대신, 외부 하네스가 모델을 반복 호출하고 결과를 검증한다. 원리는 같지만 제어권이 우리에게 있다.
| 구분 | HITL (Human-in-the-Loop) | HOTL (Human-on-the-Loop) | HIC (Human-in-Command) |
|---|---|---|---|
| 인간 역할 | 순차적 게이트키퍼 | 실시간 모니터링, 예외 개입 | 전략·경계 조건 설정 |
| AI 자율성 | 낮음 — 매 단계 승인 필요 | 중간 — 자율 실행, 이상 시 알림 | 높음 — 전술 실행 위임 |
| 속도 | 낮음 (인간이 병목) | 높음 (병렬 처리 가능) | 최고 (비동기 작업 가능) |
| 위험도 | 최저 (모든 행동 검증) | 중간 (감시 누락 가능) | 상황 의존적 |
| 규제 요건 | EU AI Act 고위험 기본 | 텔레메트리 + 감사 로그 필수 | 경계 조건의 문서화 필수 |
| 실제 예시 | 프로덕션 DB 마이그레이션 | CI/CD 파이프라인, AI 코드 생성 | 기업 AI 전략, 이 강의의 Ralphthon |
| 비유 | 수동 기어 | 크루즈 컨트롤 | 자율주행 레벨 4 |
세 아키텍처는 배타적이지 않다. 하나의 시스템 안에서 작업의 위험도에 따라 다른 수준이 적용된다. 예를 들어 같은 AI 코딩 에이전트라도:
EU AI Act(2024)은 AI 거버넌스의 글로벌 기준이 되었다. 핵심 조항을 짚자.
Article 14 — 인간 감독(Human Oversight) 의무화:
관련 국제 표준도 빠르게 정비되고 있다:
한국 AI 기본법(2026년 1월 시행)은 EU AI Act보다 혁신 친화적이지만, 고위험 AI에 대한 인간 감독 원칙은 공유한다. 2주차에서 두 법의 구현 수준 차이를 상세히 비교한다.
거버넌스가 왜 필요한지, 추상적 원칙이 아니라 데이터로 확인하자.
METR 연구 (2025.7, arXiv 2507.09089): 숙련 개발자 16명이 246개 실제 작업을 수행한 무작위 대조군 실험. 결과는 놀라웠다.
이 현상의 핵심 원인이 “Babysitting Tax”다. AI가 생성한 코드를 검토하고, 수정하고, 디버깅하는 비용이 직접 작성하는 비용을 초과한 것이다. CodeRabbit의 2025년 분석에서도 AI 생성 PR의 이슈 발생률이 ~1.7배 높았다.
Anthropic의 2026년 보고서는 균형 잡힌 그림을 보여준다: 개발자가 AI를 업무의 **60%**에 활용하지만, 완전 위임(AI가 처음부터 끝까지)은 **0–20%**에 불과하다.
AI 코딩 도구 시장은 2026년 기준 USD 34.58B 규모로 성장했다. 아키텍처별로 세 범주로 나뉜다:
터미널 네이티브 — 헤드리스 자동화에 적합:
/loop 명령으로 자율 루프 실행AI 네이티브 IDE — 편집기 통합, 비주얼 컨텍스트:
클라우드 네이티브 — 원격 실행, 비동기 작업:
시장의 상위 3개 도구(GitHub Copilot, Claude Code, Cursor)가 70%+ 점유율을 차지하며, MCP(Model Context Protocol)가 도구 통합의 공통 프로토콜로 부상했다: 월간 SDK 다운로드 9,700만+, 등록 서버 6,400+.
에이전트의 실제 능력을 측정하는 벤치마크를 알아야 과장된 마케팅과 실제 성능을 구분할 수 있다.
SWE-bench Verified — 실제 GitHub 이슈를 자율적으로 해결하는 벤치마크:
실전 데이터도 축적되고 있다:
2026년의 주목할 변화는 오픈소스 모델이 상용 수준에 근접했다는 것이다. 현재 추적되는 204개 AI 코딩 도구 중 95%가 오픈소스다.
핵심 오픈소스 코딩 모델:
이 강의에서 오픈소스 모델을 직접 배포하는 이유: 비용, 프라이버시(교내 데이터가 외부로 나가지 않음), 커스터마이징(학습 환경에 맞춘 조정). 10–11주차에서 DGX H100 서버에 이 모델들을 배포한다.
AI와 함께 일하는 방법이 빠르게 진화하고 있다:
| 시기 | 패러다임 | 핵심 기술 |
|---|---|---|
| 2023 | 단일 프롬프트 | 프롬프트 엔지니어링 |
| 2024 | RAG 파이프라인 | 검색 증강 생성, 벡터 DB |
| 2025 | 에이전트 시스템 | 도구 사용, 멀티 에이전트 |
| 2026 | 하네스 엔지니어링 | 루프, 거버넌스, 관측성 |
Andrej Karpathy의 “Software 3.0” 비전이 이 흐름을 요약한다: 프로그래머는 코드를 직접 작성하는 사람에서 AI 에이전트의 **지휘자(conductor)**로 변한다. 직접 악기를 연주하는 대신, 오케스트라를 이끈다.
필요한 스킬도 전환된다:
Geoffrey Huntley의 핵심 통찰: “더 강한 모델이 아니라 더 강한 하네스를 만들어라.”
Ralph Loop의 원형은 놀라울 정도로 단순하다:
while :; do cat PROMPT.md | <ai-coding-cli>; done이 한 줄이 작동하는 이유는 두 가지 메커니즘 때문이다:
git checkout .으로 실패한 시도를 완전히 제거한다. 컨텍스트가 실패의 잔해로 오염되지 않는다.OpenAI도 같은 원리를 대규모로 적용했다. Codex 에이전트로 1M+ LOC를 수동 타이핑 없이 작성한 사례에서, 핵심은 모델이 아니라 하네스였다: specs-as-code로 명세를 강제하고, 레이어 아키텍처를 자동 검증하고, 실패 시 GC로 클린 상태로 복원.
| Phase | 주차 | 주제 | 하네스 레이어 |
|---|---|---|---|
| Phase 1 | 1–3주 | 거버넌스, 인프라, 프로토콜 | 안전 계층 — 브레이크와 에어백 |
| Phase 2 | 4–6주 | 루프, 컨텍스트 관리, 인스트럭션 튜닝 | 제어 루프 — 엔진과 변속기 |
| Phase 3 | 7–9주 | 역할 분담, 플래너, QA | 오케스트레이션 — 네비게이션과 자율주행 |
| Phase 4 | 10–12주 | 모델 배포, 평가 | 인프라와 관측성 — 계기판과 정비소 |
| Phase 5 | 13–16주 | Ralphthon 캡스톤 | 실전 검증 — 도로 위의 주행 시험 |
Phase 1에서 안전 장치를 먼저 만들고, Phase 2에서 엔진을 건다. 순서가 중요하다 — 브레이크 없이 가속하는 것은 사고다.
15주 후, 여러분은 다음 시스템을 완전히 구현하게 된다:
Node.js 20 LTS 설치
# macOS (Homebrew)brew install node@20
# Ubuntu/Debiancurl -fsSL https://deb.nodesource.com/setup_20.x | sudo -E bash -sudo apt-get install -y nodejsAI 코딩 CLI 도구 설치 → API 키 설정 → 실행 테스트
# 1. 설치 (둘 중 하나 선택)brew install claude-code # Homebrew (권장)pnpm add -g @anthropic-ai/claude-code # pnpm
# 2. API 키 설정 (~/.bashrc 또는 ~/.zshrc에 추가)export ANTHROPIC_API_KEY="sk-ant-..."
# 3. 실행 테스트mkdir ~/test-project && cd ~/test-projectclaude "Hello! 이 디렉토리에 간단한 Python hello world 파일을 만들어줘."# 1. 설치pnpm add -g @google/gemini-cli
# 2. API 키 설정 (또는 첫 실행 시 브라우저 OAuth 인증)export GEMINI_API_KEY="..."
# 3. 실행 테스트mkdir ~/test-project && cd ~/test-projectgemini# 대화형 모드에서: "이 디렉토리에 간단한 Python hello world 파일을 만들어줘."# 1. 설치pnpm add -g @openai/codex
# 2. API 키 설정export OPENAI_API_KEY="sk-..."
# 3. 실행 테스트mkdir ~/test-project && cd ~/test-projectcodex "이 디렉토리에 간단한 Python hello world 파일을 만들어줘."# 1. 설치brew install opencode
# 2. API 키 설정 (사용할 모델 제공자에 따라 설정)export OPENAI_API_KEY="sk-..." # OpenAI 모델 사용 시
# 3. 실행 테스트mkdir ~/test-project && cd ~/test-projectopencode# TUI에서: "이 디렉토리에 간단한 Python hello world 파일을 만들어줘."관찰 과제: AI의 자율적 결정 기록
AI가 생성한 코드를 열어서 다음을 관찰하라:
이 관찰이 하네스 엔지니어링의 출발점이다 — AI의 비결정적 출력을 어떻게 결정론적으로 통제할 것인가?
DGX 서버는 Cloudflare Zero Trust로 보호되어 있다. 접속 전에 반드시 WARP 클라이언트를 설치하고 로그인해야 한다.
Cloudflare WARP 설치
Cloudflare WARP 다운로드 페이지에서 운영체제에 맞는 클라이언트를 설치한다.
Zero Trust 로그인
WARP 실행 → 설정(톱니바퀴) 클릭 → Preferences → Account → Login to Cloudflare Zero Trust → 팀 이름 입력 → 학교 이메일로 로그인
SSH 접속
WARP 연결이 활성화된 상태에서 터미널을 열고 접속한다.
ssh {USER}@{SERVER_IP} -p {PORT}# 초기 비밀번호는 학번과 동일 — 첫 접속 시 반드시 변경!브라우저에서 https://jupyter.chu.ac.kr 접속 후 학번으로 로그인
# VS Code Remote SSH 확장 설치 후# Ctrl+Shift+P → Remote-SSH: Connect to Host# → {SERVER_IP}:{PORT}제출 마감: 2026-03-10 23:59
제출 방법: assignments/week-01/[학번]/ 폴더에 PR
요구사항:
hello_agent.py — AI 코딩 CLI로 생성한 간단한 Python 파일README.md — 설치 과정에서 겪은 문제와 해결 방법 기록가산점 요소:
평가 기준:
2주차에서는 HOTL 거버넌스의 구체적 구현 방법과 EU AI Act 컴플라이언스 요구사항을 다룬다. 특히 “Governance-as-Code” — 코드로 거버넌스 정책을 강제하는 방법을 실습한다.