감으로는 고칠 수 없다 — AI 에이전트에 Eval이 필요한 이유

2026.10.02 게시

감으로는 고칠 수 없다 — AI 에이전트에 Eval이 필요한 이유

“요즘 에이전트가 좀 이상해진 것 같아요.”

AI 에이전트를 운영하다 보면 이런 말을 듣게 된다. 그런데 막상 답하려고 하면 근거가 없다. 정말 나빠진 건지, 그날 운이 나빴던 건지, 어제 바꾼 프롬프트 한 줄 때문인지 알 수가 없다. 체중계 없이 “살이 찐 것 같다”는 느낌만으로 다이어트를 하는 것과 비슷하다.

Anthropic이 2026년 1월 9일에 공개한 Demystifying evals for AI agents는 이 상태를 “flying blind”, 앞이 안 보이는 채로 비행하는 상태라고 표현한다. 확인할 방법이 없으니 짐작하고 고쳐보는 수밖에 없다. Eval은 이 “좀 이상해졌다”는 느낌을 숫자로 바꿔서, 어디를 고쳐야 하는지 보이게 해준다.

이 글에서는 그 내용을 Eval을 처음 접하는 사람 기준으로 다시 정리해보려 한다. 만드는 방법보다는 왜 필요한지에 무게를 두었고, 낯선 개념에는 일상적인 비유를 붙였다. 원문은 에이전트를 만드는 엔지니어를 위한 글이라 사례와 설정 예시가 많아서, 여기서는 큰 그림 위주로 표와 도식으로 추렸다. 원문에 없는 해석과 비유는 따로 표시했다.

목차
  1. 먼저 알아둘 용어
  2. 1. 처음에는 감으로도 된다. 그런데 어느 순간 무너진다
  3. 2. 왜 하필 AI 에이전트는 더 시험하기 어려운가
  4. 3. 그래서 Eval은 무엇을 해주나
  5. 4. Eval은 어떻게 생겼나: 시험지 한 장 뜯어보기
    1. 채점자는 세 종류다
    2. 실력 시험과 회귀 시험은 다르다
  6. 5. 한 번 성공과 매번 성공은 다르다
  7. 6. Eval 하나로는 부족하다: 스위스 치즈 모델
  8. 7. 시험지도 틀릴 수 있다
  9. 8. 어디서부터 시작하나
  10. 9. 읽으며 짚어둘 점
  11. 정리
  12. 관련 글
  13. 참고 자료

먼저 알아둘 용어

본문에 계속 나오는 단어를 먼저 정리했다. 이 글은 Eval을 학교 시험에 빗대어 설명하기 때문에 오른쪽 열만 봐도 따라오는 데 문제는 없다.

용어 한 줄 설명 시험에 빗대면
eval evaluation의 줄임말. AI에게 입력을 주고, 그 결과를 채점 규칙으로 평가하는 시험 시험 한 회
task 입력과 합격 기준이 정해진 문제 하나. test case라고도 한다 시험 문제 한 문항
trial task를 한 번 시도한 것. AI는 같은 문제도 매번 다르게 풀 수 있어서 여러 번 돌린다 같은 문제를 여러 번 풀어보기
grader 결과를 채점하는 논리. 코드, AI 모델, 사람이 맡는다 채점자
transcript 한 번의 시도에서 오간 대화, 도구 호출, 추론의 전체 기록. trace, trajectory라고도 한다 풀이 과정이 담긴 답안지
outcome 시도가 끝났을 때 환경에 실제로 남은 상태 답안지 말고 실제로 벌어진 일
eval suite 같은 목표를 가진 task의 묶음. 예: 고객 지원 suite = 환불·취소·상담원 연결 문제 과목별 시험지
eval harness 문제를 나눠주고, 동시에 돌리고, 기록하고, 채점하고, 집계하는 실행 장치 시험 운영 본부
agent harness 모델이 도구를 쓰며 일하도록 감싸는 실행 틀. Claude Code가 한 예다. 에이전트를 평가한다는 건 모델과 이 틀을 함께 평가한다는 뜻이다 응시자가 쓰는 필기구와 책상까지 포함한 응시 환경
회귀(regression) 예전에 되던 것이 변경 이후 안 되는 것 지난 학기에 풀던 문제를 이번 학기에 틀리는 것

1. 처음에는 감으로도 된다. 그런데 어느 순간 무너진다

에이전트를 처음 만들 때는 직접 써보고, 사내에서 먼저 써보고(dogfooding), 감으로 판단하는 것만으로도 꽤 멀리 갈 수 있다. 원문에도 그렇게 나와 있다. 이 단계에서는 정식 평가가 오히려 출시를 늦추는 짐처럼 보이기도 한다.

비유 · 집밥과 프랜차이즈. 집에서 혼자 요리할 때는 간을 보면서 만들면 된다. 레시피도, 계량컵도 필요 없다. 그런데 가게가 100곳으로 늘면 이야기가 다르다. 주방장이 모든 지점의 국을 맛볼 수 없고, 소금을 조금 바꾼 게 어느 메뉴를 망쳤는지도 알 수 없다. 그때부터 레시피와 계량, 정기 품질 점검이 필요해진다. 에이전트도 같다. 혼자 쓰는 프로토타입일 때는 감으로 충분하지만, 사용자가 늘고 변경이 잦아지면 감은 무너진다.

문제는 사용자들이 “바꾼 뒤로 에이전트가 나빠졌다”고 말하기 시작할 때다. 팀은 그 말이 맞는지 확인할 방법이 없고, 짐작으로 고쳐보는 것밖에 할 수 없다. 이때부터 디버깅은 문제가 터진 뒤에 따라가는 일이 된다.

Eval이 없으면 두더지 잡기를 반복하고, Eval이 있으면 실패가 시험 문제로 쌓인다

원문은 Eval이 없을 때의 디버깅을 “불만이 들어오길 기다리고, 손으로 재현하고, 버그를 고치고, 다른 건 망가지지 않았기를 바라는” 일이라고 쓴다. 왼쪽 그림처럼 두더지 잡기가 된다. 하나를 잡으면 옆에서 다른 하나가 튀어나오고, 어디서 튀어나왔는지는 사용자가 다시 알려줘야 안다.

비유 · 구름 속 비행. “flying blind”는 원래 조종사가 구름 속에서 바깥이 보이지 않는 채 나는 상황을 말한다. 맑은 날에는 창밖을 보고 날 수 있지만, 구름에 들어가면 고도계와 자세계 같은 계기가 없으면 기체가 기울어도 모른다. Eval은 에이전트 개발에서 이 계기판 역할을 한다. 프로토타입 단계에서는 없어도 되지만, 사용자와 변경이 늘어나면 없이는 날 수 없다.


2. 왜 하필 AI 에이전트는 더 시험하기 어려운가

소프트웨어 테스트는 원래 하던 일이다. 다만 에이전트는 일반 프로그램보다 시험이 더 필요하면서도 더 어렵다. 원문은 에이전트를 쓸모 있게 만드는 자율성, 지능, 유연성이 그대로 에이전트를 평가하기 어렵게 만든다고 설명한다.

  일반 프로그램 AI 에이전트
같은 입력을 넣으면 항상 같은 결과 실행할 때마다 결과가 달라질 수 있다
일하는 방식 정해진 순서대로 한 번 실행 여러 차례 도구를 부르고, 상태를 바꾸고, 중간 결과를 보며 방향을 바꾼다
실수의 모양 한 곳에서 터진다 초반 실수가 뒤로 번지고 쌓인다
정답의 모양 대개 하나 맞는 답이 여러 개일 수 있고, 출제자가 예상 못 한 더 나은 답도 나온다
변경의 영향 바꾼 코드 근처 프롬프트 한 줄, 도구 설명 하나가 전혀 다른 작업의 결과를 바꿀 수 있다

비유 · 같은 요리사, 다른 맛. 일반 프로그램은 자판기다. 같은 버튼을 누르면 같은 캔이 나온다. 에이전트는 요리사에 가깝다. 같은 주문이어도 그날그날 맛이 조금씩 다르고, 실력 좋은 요리사는 레시피에 없는 방법으로 더 맛있게 만들기도 한다. 그래서 한 번 맛보고 합격이라고 할 수 없고, 여러 번 맛보면서 얼마나 자주 맛있는지를 봐야 한다.

비유 · 내비게이션의 첫 갈림길. 에이전트의 실수가 쌓인다는 건, 내비게이션이 첫 갈림길에서 길을 잘못 안내하는 것과 같다. 그 뒤의 안내가 모두 정확해도 도착지는 이미 틀렸다. 에이전트를 평가할 때도 마지막 대답만 볼 게 아니라 어디서 길을 잘못 들었는지까지 볼 수 있어야 한다.

출제자가 예상하지 못한 답이 나온 사례도 원문에 있다. Opus 4.5가 τ2-bench의 항공권 예약 문제를 풀다가 정책의 빈틈을 찾아내 고객에게 더 좋은 해결책을 냈다. 시험 기준으로는 오답이었지만 실제로는 더 나은 답이었다. 정해진 답만 확인하는 시험으로는 에이전트를 제대로 잴 수 없다.


3. 그래서 Eval은 무엇을 해주나

원문에서 말하는 Eval의 쓸모를 표로 정리했다. 가운데 열은 원문 내용이고, 오른쪽 비유는 이 글에서 붙였다.

왜 필요한가 원문이 말하는 것 비유
문제를 사용자보다 먼저 본다 Eval은 문제와 동작 변화를 사용자에게 닿기 전에 드러낸다 출시 전 자동차 충돌 시험. 사고는 도로가 아니라 시험장에서 나야 한다
진짜 퇴보와 잡음을 구분한다 Eval이 없으면 실제 회귀와 우연한 흔들림을 구분할 수 없다 체중계 없이 “살찐 것 같다”고 느끼는 것과 체중계 숫자를 보는 것의 차이
바꿀 때마다 수백 개 상황을 확인한다 출시 전에 수백 개 시나리오로 변경을 자동 시험할 수 있다 레시피를 바꿀 때마다 전 메뉴를 한 번씩 맛보는 시식단
개선을 잰다 좋아졌는지 나빠졌는지 측정할 수 있다 모의고사 점수. “공부를 열심히 한 것 같다”가 아니라 “지난번보다 12점 올랐다”
새 모델로 빨리 갈아탄다 더 좋은 모델이 나오면 Eval이 없는 팀은 몇 주를 시험에 쓰지만, Eval이 있는 팀은 장단점을 빠르게 파악해 며칠 만에 옮긴다 새 지원자에게 이미 준비된 실기 시험을 보게 하는 회사와, 그때마다 시험 문제부터 만드는 회사
“성공”의 뜻을 하나로 맞춘다 같은 명세를 읽은 엔지니어 두 명도 예외 상황을 다르게 해석한다. Eval suite가 이 모호함을 없앤다 레시피의 “소금 약간”. 사람마다 다르게 넣지만, “이 맛이면 합격”이라는 샘플이 있으면 해석이 하나로 모인다
덤으로 기준선이 생긴다 같은 문제 묶음에서 응답 시간, 토큰 사용량, 작업당 비용, 오류율을 계속 추적할 수 있다 정기 건강검진. 한 번 받으면 다음부터 “작년보다”라고 말할 수 있다
팀 사이의 공용어가 된다 Eval은 제품 팀과 연구 팀 사이에서 가장 정보량이 많은 소통 수단이 될 수 있다 시험지가 있으면 선생님과 학생이 “무엇을 잘해야 하는지”로 다툴 일이 줄어든다

원문은 이 이득이 복리처럼 쌓인다고 말한다. 비용은 처음에 한꺼번에 보이고 이득은 나중에 조금씩 쌓이기 때문에, 가치를 놓치기 쉽다.

비유 · 적금. 적금은 첫 달에 돈이 빠져나가는 것만 보인다. 이자는 한참 뒤에 붙는다. Eval도 처음에는 “문제 만들 시간에 기능 하나 더 만들지”라는 생각이 든다. 하지만 원문 결론처럼 실패가 시험 문제가 되고, 시험 문제가 회귀를 막고, 숫자가 짐작을 대신하기 시작하면 개발은 오히려 빨라진다.

원문에 나오는 실제 팀 사례는 다음과 같다.

팀 Eval을 붙인 시점 무엇을 시험했나
Claude Code 처음에는 사내·외부 사용자 피드백으로 빠르게 개선하다가, 나중에 Eval 추가 처음에는 간결함, 파일 편집처럼 좁은 영역. 이후 과도한 설계(over-engineering) 같은 복잡한 행동으로 확장
Descript (영상 편집 에이전트) 성공의 기준을 세 가지로 나눠 시작 “망가뜨리지 말 것, 요청한 걸 할 것, 잘할 것”. 사람 채점에서 시작해 제품 팀이 기준을 정한 LLM 채점으로 옮겼고, 지금은 품질용과 회귀용 suite를 따로 돌린다
Bolt 이미 많이 쓰이는 에이전트가 생긴 뒤에 시작 3개월 만에 정적 분석, 브라우저 에이전트로 앱 직접 테스트, 지시 준수는 LLM 채점으로 보는 체계를 만들었다

Eval은 언제 시작해도 도움이 되지만 일찍 시작할수록 쉽다. 초기에는 제품 요구사항이 그대로 시험 문제가 된다. 너무 오래 기다리면 이미 돌아가는 시스템을 보면서 원래 성공 기준이 뭐였는지를 거꾸로 추적해야 한다.


4. Eval은 어떻게 생겼나: 시험지 한 장 뜯어보기

Eval의 구조는 학교 시험과 거의 같다.

Eval의 구조: 시험 문제, 응시자, 답안지와 실제 결과, 채점자, 성적표

여기서 답안지(transcript)와 실제 결과(outcome)를 따로 본다. 원문은 항공권 예약 에이전트를 예로 든다. 에이전트가 마지막에 “예약을 완료했습니다”라고 말해도, 채점은 예약 데이터베이스에 예약이 실제로 생겼는지를 기준으로 한다. 말은 그럴듯해도 결과가 없을 수 있다.

채점자는 세 종류다

채점자 어떻게 채점하나 장점 약점 비유
코드 문자열 비교, 테스트 통과 여부, 정적 분석, 결과 상태 확인, 어떤 도구를 불렀는지 확인 빠르고 싸고 객관적이며 재현 가능 정답과 표현만 달라도 오답 처리. 미묘한 품질은 못 본다 OMR 채점기. 빠르고 공정하지만 서술형은 못 읽는다
모델 (LLM) 채점 기준표(rubric)에 따른 점수, 두 답 비교, 여러 모델의 합의 유연하고 규모를 키우기 쉬우며 열린 답도 채점 결과가 매번 조금씩 다르고, 사람 채점과 맞춰보는 보정이 필요 논술 채점 선생님. 기준표가 모호하면 선생님마다 점수가 달라진다
사람 전문가 검토, 표본 점검, A/B 테스트 가장 믿을 만한 기준. 모델 채점자를 보정하는 잣대 비싸고 느리며, 전문가를 많이 모으기 어렵다 심사위원단. 정확하지만 매일 부를 수는 없다

원문은 가능하면 코드로, 필요하면 모델로 채점하고, 사람은 신중하게 쓰라고 권한다. Anthropic의 평가 설계 문서도 사람이 정성껏 채점한 적은 수의 문제보다, 조금 덜 정교하더라도 자동으로 채점되는 많은 문제가 낫다고 설명한다.

실력 시험과 회귀 시험은 다르다

  실력 시험 (capability eval) 회귀 시험 (regression eval)
묻는 것 “이 에이전트가 무엇을 잘할 수 있나?” “예전에 하던 걸 아직 다 하나?”
정상적인 통과율 낮게 시작한다. 올라갈 여지가 있어야 한다 거의 100%. 떨어지면 뭔가 고장 난 것
비유 모의고사. 처음부터 만점이면 시험이 너무 쉬운 것 운전면허 기능시험. 베테랑도 매번 통과해야 하는 기본기

실력 시험에서 통과율이 충분히 올라간 문제는 회귀 시험으로 옮겨간다. 원문은 이걸 “졸업”이라고 부른다. “할 수 있나?”를 묻던 문제가 “아직 확실히 하나?”를 묻는 문제로 바뀐다. 지난 학기 시험 문제가 이번 학기 복습 문제가 되는 것과 비슷하다.

반대로 실력 시험이 100%에 도달하면 더 이상 향상을 보여주지 못한다. 원문에는 코드 리뷰 스타트업 Qodo 사례가 나온다. 단발성 코딩 시험만 보던 Qodo는 처음에 Opus 4.5에서 별 차이를 못 느꼈는데, 길고 복잡한 작업을 재는 시험을 새로 만들고 나서야 향상을 확인했다. 시험이 너무 쉬우면 실력이 늘어도 점수에는 잘 드러나지 않는다.


5. 한 번 성공과 매번 성공은 다르다

에이전트는 같은 문제도 매번 다르게 풀기 때문에 “통과했다”를 두 가지로 볼 수 있다.

  • pass@k: k번 시도해서 한 번이라도 성공할 확률
  • pass^k: k번 시도해서 매번 성공할 확률

회당 성공률 75%일 때 pass@k와 pass^k가 정반대로 움직이는 모습

원문 예시로 보면, 한 번 시도할 때 성공률이 75%인 에이전트를 세 번 돌렸을 때 세 번 모두 성공할 확률은 0.75 × 0.75 × 0.75 ≈ 42%다. 시도를 늘릴수록 pass@k는 100%에, pass^k는 0%에 가까워진다.

비유 · 농구 자유투와 엘리베이터. 자유투를 열 번 던져서 한 번은 넣을 수 있느냐고 물으면 대부분 넣는다. 이게 pass@k다. 반면 네 번 중 세 번만 제대로 서는 엘리베이터는 아무도 타지 않는다. 엘리베이터는 매번 서야 한다. 이게 pass^k다. 코드 초안처럼 여러 번 시도해서 하나만 쓰면 되는 일은 pass@k로, 고객이 매번 같은 품질을 기대하는 상담 에이전트는 pass^k로 봐야 한다.

어느 숫자를 볼지는 제품 성격에 따라 다르다. 통과율 75%라는 숫자 하나만 보고 안심하면 안 된다.


6. Eval 하나로는 부족하다: 스위스 치즈 모델

그렇다고 Eval만 잘 만들면 되는 것은 아니다. 원문은 자동 Eval을 첫 번째 방어선으로만 본다.

스위스 치즈 여러 장을 겹치면 한 장을 빠져나간 문제를 다음 장이 잡는다

원문은 안전 공학의 스위스 치즈 모델을 빌려온다. 치즈 한 장에는 구멍이 있지만, 구멍 위치가 다른 치즈를 여러 장 겹치면 한 장을 빠져나간 문제를 다음 장이 막는다. 평가 방법도 하나로는 모든 문제를 잡을 수 없으니 여러 겹으로 쌓는다.

방법 언제 잘하는 것 구멍
자동 Eval 출시 전, 변경할 때마다 빠르고 반복 가능하며 사용자에게 영향이 없다 처음 만드는 비용이 크고, 실제 사용과 어긋나면 괜찮다는 착각을 만든다
운영 모니터링 출시 후 실제 사용자 규모에서 진짜 동작을 본다 문제가 사용자에게 닿은 뒤에 안다
A/B 테스트 큰 변경을 검증할 때 실제 사용자 결과(재방문, 작업 완료)를 잰다 결과가 나오기까지 며칠~몇 주. 배포한 변경만 시험할 수 있다
사용자 피드백 상시 예상 못 한 문제를 실제 예시와 함께 알려준다 드물고, 심각한 문제에 쏠리며, 왜 실패했는지는 잘 말해주지 않는다
대화 기록 직접 읽기 매주 표본 실패 유형에 대한 감각이 생기고, 자동 채점이 놓친 미묘한 품질 문제를 잡는다 시간이 많이 들고 규모를 키울 수 없다
체계적인 사람 평가 채점자 보정이 필요할 때 여러 전문가의 판단으로 가장 믿을 만한 기준을 만든다 비싸고 느려서 자주 못 한다

원문에 따르면 잘하는 팀은 빠른 반복에는 자동 Eval을, 실제 상황 확인에는 운영 모니터링을, 보정에는 주기적인 사람 검토를 함께 쓴다.


7. 시험지도 틀릴 수 있다

Eval을 만들면 숫자는 바로 나온다. 하지만 그 숫자를 그대로 믿으면 안 된다. 원문에도 “누군가 Eval의 세부를 파고들어 대화 기록을 읽어보기 전까지는 점수를 액면 그대로 받아들이지 않는다”는 문장이 있다.

시험지가 잘못되는 경우를 학교 시험에 빗대 정리했다. 가운데 열은 원문 사례다.

시험지가 틀리는 모양 원문의 사례 비유
채점이 지나치게 깐깐하다 Opus 4.5가 CORE-Bench에서 처음엔 42%를 받았다. 정답 “96.124991…”에 “96.12”라고 답하면 오답 처리하는 등의 채점 문제를 고치고 제약이 덜한 실행 틀을 쓰자 95%가 됐다 소수점 자리수 하나 때문에 맞는 답을 틀리게 채점한 시험
문제 자체가 모호하다 Terminal-Bench를 점검해보니, 스크립트를 작성하라면서 저장 경로는 알려주지 않고, 채점은 특정 경로를 가정한 문제가 있었다. 여러 번 돌려도 통과율이 0%면 에이전트보다 문제를 먼저 의심하라고 한다 출제 오류. 전원이 틀린 문제는 학생보다 문제를 먼저 본다
시험장이 깨끗하지 않다 이전 시도가 남긴 git 기록을 보고 Claude가 일부 문제에서 부당한 이득을 본 적이 있다. 시도마다 깨끗한 환경에서 시작해야 한다 앞 시간 응시자가 남기고 간 답안지가 책상 서랍에 있는 시험장
풀이 순서를 강요한다 도구를 정해진 순서로 불렀는지 검사하면, 출제자가 생각 못 한 올바른 방법까지 오답이 된다. 원문은 과정보다 결과를 채점하라고 권한다 교과서 풀이와 다르다고 맞는 답에 점수를 주지 않는 시험
한쪽만 시험한다 Claude.ai의 웹 검색 Eval에는 검색해야 할 질문과 검색하지 말아야 할 질문을 둘 다 넣었다. 한쪽만 시험하면 무엇이든 검색하는 에이전트가 된다 불이 났을 때 울리는지만 시험한 화재경보기. 토스트만 구워도 울린다
커닝이 가능하다 문제를 실제로 풀지 않고 빈틈만 이용해 통과할 수 없도록 채점을 설계해야 한다 답이 문제지 뒷면에 비치는 시험
부분 점수가 없다 고객 확인까지 하고 환불 처리만 실패한 상담 에이전트는, 처음부터 실패한 에이전트보다 분명히 낫다. 그 차이가 점수에 드러나야 한다 서술형 문제의 부분 점수

이런 문제는 대부분 대화 기록을 읽어야 보인다. 원문도 결론에서 “Read the transcripts!”라고 다시 적어두었다. 실패한 문제의 대화 기록을 보면 에이전트가 정말 실수한 건지, 채점이 맞는 답을 틀리게 본 건지 알 수 있다. 점수가 성적표라면 대화 기록은 답안지다. 성적표만 보는 선생님은 출제 오류도 커닝도 찾지 못한다.

비유 · 기출문제만 외운 학생. 같은 시험지로 계속 개선하다 보면 에이전트가 그 시험지에만 맞춰질 수도 있다. Anthropic의 Writing effective tools for AI agents에서는 도구를 개선할 때 따로 떼어둔 시험 문제(held-out test set)로 다시 확인해, 개선용 Eval에만 맞춰지지 않았는지 점검했다. 기출문제 점수가 아니라 처음 보는 문제의 점수가 진짜 실력이다.


8. 어디서부터 시작하나

원문에 따르면 많은 팀이 문제가 수백 개는 있어야 한다고 생각해서 Eval을 미룬다. 실제로는 실제 실패에서 가져온 20~50개의 간단한 문제로 시작해도 충분하다. 초기 에이전트는 변경 하나하나의 효과가 커서 적은 문제로도 차이가 보이기 때문이다.

원문의 로드맵을 처음 시작하는 사람 기준으로 줄였다.

단계 할 일 한 줄 요령
0 일찍 시작한다 완벽한 시험지를 기다리지 않는다. 20~50문제면 출발할 수 있다
1 이미 손으로 하던 확인부터 옮긴다 출시 전에 매번 직접 눌러보던 것, 버그 트래커와 고객 문의에 쌓인 실패가 첫 문제가 된다
2 모호하지 않은 문제와 모범 답안을 쓴다 전문가 두 명이 따로 채점해도 같은 결론이 나와야 좋은 문제다. 모범 답안이 있으면 풀 수 있는 문제라는 게 증명된다
3 양쪽을 다 시험한다 해야 할 때와 하지 말아야 할 때를 둘 다 넣는다
4 시험장을 안정적으로 만든다 시도마다 깨끗한 환경에서 시작한다. 시험 속 에이전트가 실제 서비스와 최대한 같게 동작해야 한다
5 채점자를 신중하게 고른다 가능하면 코드, 필요하면 모델, 사람은 보정용. 과정보다 결과를 채점하고 부분 점수를 둔다
6 대화 기록을 읽는다 실패가 공정해 보여야 한다. 무엇을 왜 틀렸는지 분명해야 한다
7 시험이 너무 쉬워지지 않았는지 본다 100%면 회귀는 잡지만 향상은 못 본다. 새 문제를 더한다
8 시험지를 계속 가꾼다 단위 테스트처럼 담당자를 정하고 꾸준히 관리한다. 제품을 가장 잘 아는 사람이 문제를 낸다

8단계에는 제품 요구사항과 사용자를 가장 잘 아는 사람이 성공 기준을 정하기에 가장 좋다는 이야기도 있다. 그래서 PM이나 고객 담당자, 영업 담당자도 Claude Code로 Eval 문제를 PR로 올릴 수 있게 하라고 한다. 시험 문제를 개발자만 내야 하는 건 아니다.

원문은 Eval 주도 개발(eval-driven development)도 권한다. 에이전트가 아직 못 하는 기능도 먼저 시험 문제로 만들어두고 통과할 때까지 개선하는 방식이다. 새 모델이 나오면 그 시험을 돌려서 어떤 기대가 맞았는지 바로 확인할 수 있다. Eval 문제를 정의해보면 요구사항이 충분히 구체적인지도 같이 드러난다.


9. 읽으며 짚어둘 점

여기부터는 원문 내용이 아니라 내 해석이다.

테스트 코드와 크게 다르지 않다. 원문도 Eval 관리를 단위 테스트 관리처럼 일상적인 일로 만들라고 한다. 개발자에게 익숙한 말로 바꾸면 결과가 매번 달라지는 프로그램을 위한 테스트다. 그래서 한 번 통과로 끝내지 않고 여러 번 돌려 통과율을 보고, 정답이 여러 개일 수 있어서 채점자를 따로 둔다.

Skill Eval을 직접 돌려봤을 때도 비슷한 문제를 겪었다. Skill 검증을 위한 Eval, 직접 돌려보았다에서 Trigger와 Non-trigger 케이스를 나눈 것이 7절의 “양쪽을 다 시험한다”에 해당한다. 실행형 Eval이 워킹트리의 코드를 실제로 수정해버린 일은 시험장을 깨끗하게 유지해야 하는 이유였다. 그때 반복 실행 없이 한 번 통과한 결과만 기록했는데, 5절의 pass@k와 pass^k를 보면 그것만으로는 부족했다.

Eval은 출시 전 검사로 끝나지 않는다. 원문의 스위스 치즈 모델은 AI Engineer World’s Fair 2026 정리에서 다룬 Uber의 Closed-Loop Eval과 같은 방향이다. 운영에서 발견한 실패가 다시 시험 문제로 돌아와야 한다. AI-Native SDLC 플레이북이 “운영 사고가 나면 그 사고도 eval로 추가하라”고 한 것도 같은 이야기다.

모델이 좋아져도 시험은 남는다. 에이전트 도구사 3년에서 모델에 흡수되지 않고 끝까지 남는 층으로 검증을 꼽았다. Eval은 그 검증층의 가장 기본적인 형태다. 모델이 좋아진다고 시험이 필요 없어지지는 않는다. Qodo 사례처럼 오히려 더 어려운 시험이 필요해진다.

벤더가 쓴 글이라는 점은 감안해야 한다. 원문은 Anthropic이 자사와 고객의 경험을 정리한 실무 가이드이고, 사례도 대부분 Claude를 쓰는 팀이다. 그래도 실패를 시험 문제로 남기고, 점수보다 기록을 읽고, 여러 방법을 겹쳐 쓰라는 원칙은 특정 모델이나 도구와 상관없이 적용할 수 있다.


정리

  • Eval은 AI에게 보는 시험이다. 문제를 주고, 여러 번 풀게 하고, 채점해서 성적표를 낸다.
  • 처음에는 감으로도 되지만, 사용자가 늘고 변경이 잦아지면 “좀 이상해졌다”는 말에 답할 수 없게 된다. Eval이 없으면 디버깅은 두더지 잡기가 된다.
  • Eval은 문제를 사용자보다 먼저 보여주고, 진짜 퇴보와 잡음을 구분하고, 새 모델 도입을 몇 주에서 며칠로 줄이고, “성공”의 뜻을 하나로 맞춘다. 비용은 먼저, 이득은 복리로 온다.
  • 에이전트는 매번 다르게 풀고 실수가 쌓이기 때문에 일반 프로그램보다 시험이 더 필요하다. 한 번 성공(pass@k)과 매번 성공(pass^k)은 다른 숫자다.
  • 시험지도 틀릴 수 있다. 점수만 보지 말고 대화 기록을 읽어야 출제 오류와 커닝을 찾는다.
  • 자동 Eval은 첫 방어선이다. 운영 모니터링, 사용자 피드백, 사람의 검토와 함께 써야 구멍이 메워진다.
  • 실제 실패에서 가져온 문제 20~50개면 시작할 수 있다.

관련 글

Skill 하나를 대상으로 Trigger·Non-trigger·Procedure Eval을 직접 돌려보며 겪은 시행착오를 정리한 글이다.

Link - Skill 검증을 위한 Eval, 직접 돌려보았다

Eval을 CI에 넣고 운영 사고를 Eval로 되돌리는 흐름이 개발 과정 전체에서 어디에 놓이는지 볼 수 있다.

Link - 코드는 더 이상 병목이 아니다 — AI-Native SDLC 쉽게 읽기

Uber의 Closed-Loop Eval을 포함해 Harness, Skill, Eval, Sandbox 흐름을 짚은 글이다.

Link - AI Engineer World’s Fair 2026, Agentic Engineering 세션에서 나온 이야기들

모델에 흡수된 구조물과 끝까지 남는 검증층을 3년치 흐름으로 정리한 글이다.

Link - 흡수된 것들과 흡수되지 않은 하나 — 에이전트 도구사 3년


참고 자료

확인 기준. Eval의 필요성, 용어 정의, 채점자 비교, 실력·회귀 시험, pass@k·pass^k 예시 수치, 스위스 치즈 모델과 평가 방법 비교, 고객 사례(Claude Code, Descript, Bolt, Qodo), CORE-Bench·Terminal-Bench·웹 검색 사례, 0~8단계 로드맵은 2026년 10월 2일 기준 위 원문에서 확인한 내용이다. 용어 표의 “시험에 빗대면” 열과 본문의 비유(체중계, 집밥과 프랜차이즈, 구름 속 비행, 택배, 자유투와 엘리베이터, 화재경보기, 기출문제 등), 3절과 7절 표의 비유 열, 9절은 이 글의 해석이다. 도식은 원문을 바탕으로 새로 그렸으며, pass@k 그래프는 원문 예시와 같은 회당 75% 가정으로 계산한 값이고, 스위스 치즈 그림의 구멍 위치는 예시다.