규칙을 기계에 넘기려고 세어 봤다
2026.10.13 게시
이 시리즈는 작성 시점의 기록이다. 현재 기준은 Adaptive Agentic SDD 저장소에 정리해두었다.
이후 변경 · “실제로 넘긴 것, 안 넘긴 것” 표의 “승인 위조: 넘겼다” 줄은 지금은 사실과 다르다. 앱의 키 서명 승인은 이 글을 올리고 이틀 뒤인 10월 15일에 뺐다. 이유는 19편과 20편에 적었다. 본문은 그때 기록으로 그대로 둔다.
![]()
지난 글 끝에서, 검사를 통과한 것과 요구를 지킨 것이 다를 수 있다는 건 실험에서만 본 게 아니었다고 적었다.
이번 글은 그 얘기다. 그리고 12편부터 붙들고 있던 질문을 조금 다른 쪽에서 다시 본 얘기이기도 하다.
산문이 너무 많아진 것 같았다
12편에서 모델은 좋아졌는데 하네스는 그대로라는 얘기를 했다. 하네스가 걸림돌이 된 건 아닌지 재보자고 했고, 13~16편은 그걸 재려고 실험장을 만들고 고친 기록이다.
그런데 실험을 준비하면서 계속 걸리는 게 있었다.
방법론 문서가 점점 길어지고 있었다. 사고가 하나 나면 규칙이 하나 늘었고, 규칙이 늘면 예외가 붙었다. Agent가 이걸 다 읽고 이해한 다음에 작업한다는 게 점점 무리처럼 느껴졌다. 지시를 놓치거나 문서마다 다르게 받아들이는 일도 보였다.
생각해보면 실험도 같은 전제 위에 있었다. A에게는 목록을 쓰라고 하고 B에게는 안 쓰라고 하는 것도, 결국 Agent가 글로 된 지시를 읽고 그대로 한다는 걸 깔고 있다. 그런데 읽어야 할 글 자체가 너무 많아서 제대로 안 읽힌다면, 하네스의 보조 절차 하나를 넣고 빼서 차이를 보는 것도 의미가 흐려진다.
그래서 방향을 다시 잡았다.
- 기계가 판단할 수 있는 건 최대한 기계적인 판정으로 넘긴다.
- 넘기는 과정에서도, Agent가 작업하다가 고치거나 바꿀 수 있는 건 Agent가 스스로 고치게 한다.
이 글은 첫 번째 얘기다. 16편의 비교를 준비하던 10월 6일쯤부터 나란히 시작한 일이다.
넘기기 전에 두 가지를 먼저 봤다. 지금 방법론이 실제로 어떻게 생겼는지, 그리고 실제로 어떤 사고가 났는지.
얼마나 쌓여 있었나
먼저 실무 프로젝트에서 쓰던 방법론을 처음부터 다시 읽었다. 양이 많아서 Agent 세 개에게 나눠 읽게 하고 결과를 모았다.
산문은 약 253KB, 규칙은 크게 묶어서 180개쯤이었다. 주요 문서만 보면 이렇다.
| 문서 | 분량 |
|---|---|
| 진입점 문서 | 약 8KB |
| 워크플로 문서 | 약 57KB |
| 조건부 정책 문서 | 약 56KB |
| Skill 4개 | 약 71KB |
| 공유 문서 3개 | 약 48KB |
작업 한 건을 할 때 고정으로 읽는 분량만 해도 구현·병렬·마무리 Skill 약 67KB에 워크플로 문서 전체가 붙는다. 예전에 이걸 줄이겠다고 잡은 기준선이 약 48KB였는데, 파일 크기로만 계산해도 두 배를 넘는다. 작은 작업도 큰 작업용 절차가 들어 있는 같은 문서를 다 읽는다.
양만 문제가 아니었다. 문서끼리 서로 어긋나는 곳이 일곱 군데 나왔다.
- Medium 등급의 독립 리뷰가 한 문서에서는 필수인데, 다른 문서에서는 조건부다. 어느 쪽이 우선인지는 없다.
- 진입점 문서는 정책 문서를 먼저 읽지 말라고 네 군데서 말하는데, 다른 문서 하나는 먼저 읽으라고 한다.
- 작업 공간 정리 절차가 Skill 두 곳에 서로 다르게 적혀 있다.
같은 말도 여러 번 나왔다. “새 commit에는 이전 통과와 승인을 넘겨받지 않는다”는 문장이 워크플로 문서 한 곳에서만 다섯 번이 넘는다. Skill 일곱 개 파일에 “하지 않는다”가 172번 나온다.
실제로 어떻게 생겼는지 워크플로 문서의 한 문단을 그대로 옮기면 이렇다. 이 문단 하나가 한 줄이다.
AS-IS/PLAN finding 반영으로 approval-affecting candidate가 바뀌면 새 commit을 같은
Issue branch에 push하고 새 SHA를 review target으로 사용한다. 이전 SHA의 PASS를 새
revision의 PASS로 자동 승계하지 않는다. 검토 근거 재사용은 아래 의미·영향 판정과
current-target 재확인 chain을 따르며 approval-affecting revision에는 새 Human approval이
필요하다. review PASS는 Human approval이 아니며, 같은 exact SHA를 target으로 한 approval
marker 전에는 다음 phase로 진행하지 않는다. push 실패, remote branch에서 exact SHA가
확인되지 않음, remote 원문 조회 실패 중 하나라도 발생하면 (…) 중단한다. (…)
이 단계에서 PR이나 draft PR을 만들지 않는다. (…)
재검토, 승인, push 실패 처리, PR 생성 금지가 한 문단에 다 들어 있다. 같은 문서의 다른 두 곳에도 “이전 PASS를 복사하지 않는다”, “이전 Route나 approval을 새 revision에 재사용하지 않는다”가 다른 말로 또 나온다.
왜 지켜야 하는지 적힌 규칙도 적었다. Skill 쪽 규칙 묶음 약 100개 중 76개는 이유 없이 의무만 적혀 있었다.
이유가 없는 규칙들을 이슈 기록에서 거꾸로 찾아보니, 상당수가 특정 사고 뒤에 덧붙은 거였다.
| 규칙 | 계기가 된 일 |
|---|---|
| 승인 표시에 범위와 시점 조건 | Agent가 사람 이름으로 승인 표시를 만들어 자기 구현의 근거로 씀 |
| 기기 명령 분류와 사람 전용 절차 | 실기기 검증 중 사용자 데이터가 지워짐 |
| shell 선택 규칙, 첫 읽기 인코딩 | 다른 shell로 바꿨다가 이슈 본문이 깨짐 |
| 등급별 모델 지정과 실행 묶음 | 추천한 모델이 실제 실행에 반영되지 않음 |
이 숫자들이 Agent가 이해하기 힘들어한다는 걸 증명하지는 않는다. 다만 사람이 읽어도 어느 쪽이 맞는지 헷갈리는 문서였던 건 맞다.
문서가 있어도 안 지켜졌고, 고칠 때는 또 문서를 늘렸다
다음은 실제로 무슨 일이 있었는지다. 기록 두 곳에서 사건을 뽑았다.
- 차세대 방법론을 만드는 저장소의 6일치 작업 기록: 98건
- 실무 프로젝트의 한 달치 이슈 217개와 댓글 1,001개: 160건
성격이 다른 기록이라 합치지 않고 따로 셌다.
| 유형 | 차세대 저장소 (98) | 실무 프로젝트 (160) |
|---|---|---|
| 검사는 통과했지만 요구를 증명하지 못함 | 21 | 31 |
| 환경·도구를 잘못 가정함 | 34 | 21 |
| 제품 동작 요구를 놓침 | 4 | 23 |
| 범위·경계를 넘음 | 3 | 19 |
| 기록·문서가 서로 안 맞음 | 5 | 17 |
| 토큰·시간·반복 비용 | 5 | 15 |
| 승인·리뷰·순서를 안 지킴 | - | 15 |
| 확인 안 한 걸 완료로 적음 | 12 | 10 |
실무 프로젝트 쪽 기록을 보면, 문서가 있다고 지켜지지는 않았다.
저비용 모델은 작업 절차 문서가 있는데도 표본 5개 모두에서 작업 점유와 격리 없이 바로 작업했다. 리뷰를 통과한 걸 다음 단계의 승인으로 넓혀서 받아들인 일도 있었다. 이슈 본문에 “문구만으로는 막지 못한다”고 직접 적어둔 경우도 있었다.
그런데 그 뒤의 대응은 또 문서였다. 이슈 전문을 읽은 쪽에서 나온 101건 중 38건의 대응이 산문 규칙을 더하거나 고친 거였다.
덧붙인 절차가 금방 부담이 된 경우도 있다. 실기기 검증 단계는 이틀 사이에 도입되고, 보강되고, 다시 빠졌다. 101건 중 11건은 절차를 줄이는 쪽으로 대응했다.
산문이 잘 작동한 경우도 있었다. 허용된 범위와 요구가 충돌하면 범위를 넘지 않고 멈췄다. 확인하지 못한 건 확인하지 못했다고 적는 습관도 대체로 지켜졌다.
정리하면 이런 흐름이 반복되고 있었다.
사고가 난다 → 규칙을 덧붙인다 → 문서가 길어지고 서로 어긋난다 → 또 놓친다.
기계로 넘길 수 있는 걸 세어 봤다
그다음에 규칙을 한 줄씩 뽑아서 “기계가 참/거짓으로 판정할 수 있는가”로 나눴다. 한 번에 판정할 수 있는 단위로 쪼개니 370줄이 나왔다.
온전히 판정 가능하다고 본 기준은 이렇다.
- 규칙의 모든 내용을 검사가 덮는다.
- 판정에 쓰는 기록을 검사받는 Agent가 꾸밀 수 없다.
- 규칙의 예외가 누군가의 판단이나 Agent가 붙이는 표시에 기대지 않는다.
- 다른 걸로 대충 대신해서 보는 게 아니다.
| 구분 | 줄 수 |
|---|---|
| 온전히 판정 가능 | 16 (4.3%) |
| 일부만 판정 가능 | 220 (59.5%) |
| 판정 불가 | 134 (36.2%) |
16줄도 겹치는 걸 합치면 9개 규칙이다. 대부분 기록 형식이었다. 등급 값이 정해진 값 중 하나인지, 이슈 본문과 라벨이 맞는지, 끝난 작업의 설계 문서를 지웠는지, PR에 이슈를 닫는 참조가 있는지 같은 것들이다.
분류 목록에서 묶음마다 한 줄씩 뽑아 보면 차이가 보인다. 규칙 문장은 분류한 Agent가 원문을 줄여 적은 것이다.
| ID | 묶음 | 입력 | 규칙 | 못 잡는 것 |
|---|---|---|---|---|
| W035 | 1 | 플랫폼 | 이슈 본문의 Priority·등급 값과 대응 라벨은 항상 일치해야 한다 | 없음 |
| W061 | 2 | 자기 신고 | 미해결 차단 finding이 하나라도 있으면 승인 요청과 다음 단계를 중단한다 | 미해결 수를 Agent가 적는다. finding을 낮은 등급으로 바꿔 0을 만들 수 있다 |
| W020 | 3 | - | 경로·심볼·제목으로 범위를 좁혀 필요한 부분만 읽고, 저장소 전체 탐색을 하지 않는다 | - |
W035는 GitHub가 주는 값만 보면 된다. W061은 판정식은 쓸 수 있는데, 판정에 쓰는 “미해결 수”를 검사받는 Agent가 적는다. W020은 “필요한 부분”이 무엇인지부터 판단이다.
정작 사고가 났던 쪽은 하나도 없었다. 승인이 구현보다 먼저였는지, 리뷰어가 작성자와 다른지, 검증 결과가 지금 commit의 것인지, 위험한 명령을 막았는지.
판정하는 방법을 못 적어서가 아니었다. 문제는 판정에 쓰는 기록을 누가 만드느냐였다.
일부만 판정 가능한 220줄 중 160줄은 Agent가 직접 적은 값이거나 Agent 기록이 섞여 있었다. 승인 표시도 이슈 댓글이라 Agent가 쓸 수 있었다. Agent가 쓴 값으로 Agent를 검사하면, 자기 보고에 형식만 갖춘 셈이 된다.
집행 쪽도 비어 있었다. 판정 코드를 써 놓고 실제 데이터에는 연결하지 않은 줄이 79개였다. 검사를 실행하는 것도 검사받는 Agent였다. CI가 실패해도 병합은 막히지 않았다.
이 분류도 Agent가 했다. 처음에 온전히 판정 가능으로 분류된 27줄을 다시 따져보니 11줄은 기준을 못 넘었다. 경계에서는 관대하게 기우는 편이었다. 그리고 여기서 판정 가능하다는 건 판정식을 쓸 수 있다는 뜻이지, 실제로 돌려 봤다는 뜻은 아니다.
제일 많이 터진 건 기계로 넘길 수 없는 거였다
사고 기록으로 돌아가면, 두 기록 모두에서 제일 많은 유형은 검사는 실행했고 통과했지만 요구를 증명하지 못한 경우였다. 사건마다 하나의 유형만 세면 21건과 31건이지만, 그런 성격이 섞인 사건까지 세면 98건 중 40건, 160건 중 58건이다.
실무 프로젝트에서는 이런 모양으로 반복됐다.
- 리뷰가 통과시킨 설계 문서에서, 나중에 따로 돌린 감사가 막아야 할 이유를 찾았다.
- 테스트·CI·리뷰를 다 통과해서 병합한 변경이 실기기나 기존 데이터에서 실패했다.
- 오프라인 검사를 통과한 구현이 실제 측정에서 기준에 못 미쳤다.
이걸 찾아낸 건 규칙이 아니었다. 따로 돌린 감사, 실기기와 실제 데이터, 실제 측정이었다.
16편에서 본 것과 같은 모양이다. 거기서도 숨긴 검사는 정확히 돌았지만, 몇 개는 요구사항이 아니라 정답 코드의 모양을 보고 있었다.
이 유형은 검사를 꼭 돌리게 강제한다고 줄지 않는다. 이미 돌렸고 통과했으니까. 빠진 경로를 찾는 일은 여전히 판단의 몫으로 남는다.
그래서 정한 것
이걸 보고 정한 방향은 이렇다.
산문은 판단이 필요한 곳에만 남긴다. 위험을 어떻게 볼지, 불확실할 때 어디까지 더 찾아볼지, 무엇을 감수할지처럼 기계가 계산할 수 없는 것들이다. 모델이 이미 잘하는 걸 반복해서 시키거나 세부 절차를 일괄 강제하는 데는 쓰지 않는다.
참/거짓으로 판정되는 건 기존에 있는 것부터 쓴다. 새 장치를 먼저 만들지 않는다. 테스트와 CI, 저장소 기능, 도구가 주는 Hook이나 권한 설정 순서로 보고, 그걸로 안 될 때만 따로 스크립트를 만든다. 효과를 확인하기 전에 장치부터 키우는 건 실험장에서 이미 겪었다.
Agent가 쓴 값은 Agent 자신을 검사하는 근거로 쓰지 않는다. 허용 경로나 위험 등급 같은 값을 정리해서 쓰더라도, 그 값을 누가 만들고 누가 바꿀 수 있는지를 같이 본다. Agent가 더 조심하는 쪽으로 바꾸는 건 괜찮지만, 범위를 넓히거나 필수 검증을 빼는 건 사람이 확정한다. Agent는 개선안을 낼 수 있어도 자기 권한을 스스로 넓힐 수는 없게 한다.
검사는 세 가지로 나눠서 본다. 실행됐는지, 통과했는지, 그리고 그게 정말 요구를 증명하는지. 세 번째는 모든 작업에서 기계로 만들 수 있다고 보지 않는다.
실제로 넘긴 것, 안 넘긴 것
사고 기록이 뒷받침한 첫 후보는 두 개였다. main 병합과 승인 경로를 막는 것, 그리고 되돌릴 수 없는 명령을 막는 것. 지금은 이렇게 됐다.
| 대상 | 지금 |
|---|---|
| 승인 위조 | 넘겼다. 사람이 키로 서명한 것만 승인으로 본다 |
| 병합 강제 | 일부러 넘기지 않았다 |
| 되돌릴 수 없는 명령 차단 | 아직 정하지 않았다 |
| 통과했지만 요구를 증명 못 한 검사 | 기계로 넘길 대상이 아니다 |
승인은 판정에 쓰는 기록을 만드는 주체를 바꿔서 넘겼다.
전에는 승인 표시가 이슈 댓글이라 Agent도 쓸 수 있었다. 지금은 사람이 자기 키로 서명한 태그만 승인으로 본다. 키 암호구는 Agent에게 넘기지 않고, 어디에도 캐시하지 않는다. Agent가 서명을 만들 수 없으니, 승인이 있는지와 내 키로 서명됐는지는 기계가 확인할 수 있게 됐다.
요금제를 올리거나 GitHub 계정을 나누지 않고 한 방법이다. 지금 Large 이상 작업의 승인 지점(Large 2번, Epic 3번)은 이걸로 하고 있다. 확인 도구는 증거를 보여줄 뿐이고, 서명 메시지가 무엇을 승인하는지와 키 지문이 맞는지는 내가 직접 본다.
확인 도구가 하는 일은 GitHub API로 태그를 읽어서, 서명이 유효한지와 태그가 기대한 commit을 가리키는지까지만 보는 것이다. 마지막에 돌려주는 값을 보면 도구가 어디서 멈추는지가 드러난다.
return {
"status": "evidence_only_human_checks_required",
"target_commit": expected_commit,
"github_verification": {"verified": True, "reason": "valid", ...},
"signing_key_fingerprint": signing_fingerprint,
"message": message,
# …
"human_checks": ["match message to requested document, revision, stage, and scope",
"compare actual signing key with independently held expected fingerprint"],
"limits": ["exit 0 means evidence collected, not approval",
"SSH metadata parsing is not local cryptographic verification",
"GitHub verification time is not human approval time",
"remote ref may change after this observation"],
}
종료 코드 0은 “승인됐다”가 아니라 “증거를 모았다”는 뜻이다. 사람이 볼 두 가지와 도구의 한계를 결과에 같이 담아서, 이 출력을 읽는 Agent가 이걸 승인으로 넓혀 읽지 못하게 했다.
병합 강제는 일부러 하지 않았다. 비공개 저장소에서 main 보호 규칙을 쓰려면 유료 요금제가 필요하다. 서명 승인은 서명 없는 병합까지 막지는 않는다. 그 부분은 아직 사람이 지킨다.
되돌릴 수 없는 명령은 막는 게 맞다는 데까지는 왔다. 차단 목록을 방법론 쪽에 둘지 프로젝트 쪽에 둘지를 아직 못 정했다.
솔직히 넘긴 건 많지 않다. 370줄 중 후보가 16줄이었고, 실제로 바꾼 건 승인 하나에 가깝다. 실무 프로젝트는 아직 기존 문서를 그대로 쓰고 있어서, 산문을 얼마나 줄였는지 말할 단계도 아니다.
그래도 세어 보고 시작한 건 다행이라고 생각한다. 장치부터 만들었으면 판정하기 쉬운 형식 검사만 잔뜩 늘고, 정작 사고가 난 곳에는 손도 못 댔을 것 같다.
넘기면서 같이 정한 것
처음에 잡은 방향이 하나 더 있었다. 넘기는 과정에서 Agent가 고칠 수 있는 건 Agent가 스스로 고치게 하는 것이다.
규칙이 늘어난 건 사고가 날 때마다 문서에 하나씩 덧붙였기 때문이다. 사람이 모든 실패를 찾아서 규칙을 보완하는 방식으로는 모델과 도구가 바뀔 때마다 따라가기 어렵다. 그래서 Agent가 작업하면서 본 누락이나 재작업, 반복해서 사람이 끼어든 지점을 근거로 방법론을 고치자고 제안하게 하고, 어디까지 Agent가 고쳐도 되는지의 경계는 사람이 정하기로 했다.
설명 문구나 예시, 읽기 안내는 Agent가 제안할 수 있다. 단계를 더하거나 빼는 것, 승인 방식, 실행 권한, 금지 문장은 사람이 확정한다. 사고가 하나 났다고 바로 영구 규칙을 붙이지 않고 먼저 사례로 남긴다. 새 규칙을 더할 때는 “이 규칙이 필요 없어졌다고 볼 수 있는 상황”도 같이 적는다.
이게 실제로 어떻게 돌아갔는지는 다음 글에서 적는다.
관련 글: