모델은 좋아졌는데 하네스는 그대로였다

2026.10.02 게시

이 시리즈는 작성 시점의 기록이다. 현재 기준은 Adaptive Agentic SDD 저장소에 정리해두었다.

모델은 좋아졌는데 하네스는 그대로였다 — 4월의 모델과 10월의 모델, 그대로인 하네스

개인 프로젝트를 하다가 뭔가 달라졌다는 걸 느꼈다.

Claude와 GPT 양쪽에서 프론티어급 모델이 새로 나온 뒤였다. 방법론은 그대로 두고 모델만 바꿨는데, 비슷한 작업에 들어가는 토큰이 눈에 띄게 줄었다. 단계별 리뷰도 달라졌다. 이전 모델이 그냥 넘어가던 문제를 꼼꼼하게 짚었고, 짚은 걸 고치는 것까지 해냈다.

따로 재본 숫자는 없다. 쓰면서 느낀 정도다. 그래도 느낌이라고만 하기엔 차이가 눈에 띄었다.

그러다 보니 이상한 데가 보였다. 모델은 바뀌었는데, 모델을 붙잡아주려고 만든 절차는 하나도 안 바뀌어 있었다.


하네스는 그때 모델에 맞춘 것이었다

이 글에서 하네스(harness)는 모델 바깥에서 Agent의 작업을 이끄는 절차·검사·규칙 전체를 뜻한다. 개별 절차는 하네스의 구성 요소이며, 작업의 위험을 줄이는 통제와 모델의 약점을 메우는 보조 절차를 구분해서 본다.

1편에서 작업을 규모와 위험에 따라 다섯 등급으로 나눴고, 등급마다 거쳐야 하는 절차를 다르게 뒀다. 그 뒤에 붙인 명세, 영향 분석, 단계별 리뷰, 검증 Gate도 같은 흐름이다.

돌아보면 그 절차 대부분은 Agent가 자주 틀리던 자리에 하나씩 세운 것이다.

Agent가 자주 하던 실수 그래서 붙인 것
요구사항을 빠뜨린다 구현 전에 명세와 완료 조건부터 고정
코드를 덜 보고 시작한다 현행 분석 단계
계획과 구현이 어긋난다 변경 계획, 변경 순서 목록
세션이 끊기면 맥락을 잃는다 백로그, 인계 문서
자기 결과를 후하게 본다 다른 Agent의 독립 리뷰

그때는 필요했다. 없으면 실제로 놓쳤으니까.

걸리는 건 하네스 안의 보조 절차가 “그때 모델”의 약점에 맞춰져 있다는 점이다. 모델이 그 실수를 덜 한다면, 같은 절차는 하는 일 없이 토큰과 시간만 쓴다. 더 나쁘게는 혼자서 잘할 수 있는 모델을 정해진 순서에 묶어서 오히려 방해하고 있을 수도 있다.

예전 모델에서는 하네스가 부족한 부분을 메웠지만, 지금 모델에서는 같은 하네스가 필요한 수준 위에 그대로 얹혀 있다

기존 모델을 받쳐주려고 만든 하네스가 지금 모델한테는 너무 빡빡한 게 아닌가. 그 생각이 계속 들었다.


Agent한테 직접 물어봤다

혼자 생각만 하기 그래서 프론티어 Agent들에게 지금 방법론을 보여주고 어떤지 물어봤다.

돌아온 답을 내 식으로 줄이면 이렇다. 이제 Small 작업까지 같은 보조 절차를 요구하는 건 과하다.

모델이 그렇게 말했다고 그대로 믿을 일은 아니다. 자기가 잘한다는 말은 모델이 제일 쉽게 하는 말이기도 하다. ㅋㅋ

그래도 내가 느끼던 것과 방향이 같아서 그냥 넘기기는 어려웠다.


처음엔 다 걷어내면 되겠다 싶었다

처음 떠올린 답은 단순했다. 성능이 올라간 만큼 모델의 판단을 믿는다. 중간 절차는 걷어내고, 마지막에 리뷰만 한 번 제대로 한다.

그런데 조금 더 생각해보니 걸리는 게 있었다.

모두가 프론티어 모델을 쓰는 건 아니다

내가 지금 쓰는 모델이 좋아졌다고 해서 이 방법론을 쓰는 모든 환경이 같은 모델을 쓰는 건 아니다. 프론티어 모델에 맞춰 절차를 걷어낸 방법론을 다른 모델에 그대로 쓰면, 예전에 겪던 누락을 다시 겪게 된다.

그렇다고 “상위 모델은 절차 없음, 하위 모델은 절차 있음” 같은 표를 만드는 것도 내키지 않았다. 모델이 몇 달마다 바뀌는데 그때마다 표를 다시 써야 한다.

그래서 기준을 모델 이름에 두지 않기로 했다. 지금 쓰는 모델이 실제로 누락을 하는지 안 하는지를 재고, 그걸 보고 하네스에 어떤 보조 절차를 둘지 정한다. 어떤 모델이 오든 같은 방식으로 재면 된다.

잘한다고 다 풀어줄 수는 없다

하나 더 있다. 모델이 잘한다고 해서 작업이 잘못됐을 때의 피해까지 줄어드는 건 아니다.

비유 · 보조바퀴와 헬멧. 자전거를 처음 탈 때는 보조바퀴를 단다. 없으면 넘어지니까. 그런데 잘 타게 된 뒤에도 달고 있으면 코너에서 오히려 걸린다. 그건 떼는 게 맞다. 헬멧은 다르다. 아무리 잘 타도 벗지 않는다. 넘어질 일이 줄어든 거지, 넘어졌을 때 덜 다치게 된 건 아니니까.

방법론 안에도 이 두 가지가 섞여 있었다.

헬멧과 브레이크는 통제, 보조바퀴는 보조 절차. 통제는 그대로 두고 보조 절차만 지금도 필요한지 다시 본다

권한, 수정 범위, 승인, 꼭 돌려야 하는 검증은 헬멧 쪽이다. 작업이 위험한 만큼 걸어두는 것이라 모델이 좋아져도 그대로 둔다. 모델의 약점을 메우려고 넣은 절차는 보조바퀴 쪽이다. 다시 볼 수 있는 건 이쪽이다.

그리고 보조바퀴를 떼도 되는지는 떼고 타봐야 안다. “이제 잘 타는 것 같은데” 하고 그냥 떼면, 넘어지고 나서야 알게 된다.


반년 만에 낡았다

걸리는 게 하나 더 있었다. 이쪽은 하네스 안의 절차 몇 개의 문제가 아니었다.

2026년 4월에 SDD를 처음 접하고 10월에 차세대를 시작하기까지 반년

SDD 방법론을 처음 접한 게 4월쯤이다. 그때부터 실제로 적용하면서 다듬어 왔고 지금이 10월이다. 반년밖에 안 됐는데 모델도 방법론도 너무 빨리 바뀌었다.

이 속도라면 지금 고친 방법론도 몇 달 뒤에 또 손봐야 한다. 그런데 방법론이 프로젝트 안에 들어가 있으면 그게 쉽지 않다. 방법론을 고치려고 열어보면 프로젝트의 모듈 경계, 빌드 환경, 모델 선택 규칙 같은 게 같이 엮여 있다. 하나를 바꾸면 나머지도 다시 봐야 한다.

10편에서 방법론과 프로젝트를 분리하는 구상을 적었다. 그때 이유는 같이 일하는 사람에게 내 방법론을 강요하지 않으려는 것이었다.

이번에 이유가 하나 더 생겼다. 모델이 바뀔 때 방법론만 빨리 갈아 끼울 수 있어야 한다.

방법론이 프로젝트 안에 있을 때와, 프로젝트에 연결 정보만 남기고 방법론을 밖에 둘 때

현업에서는 이미 이렇게 분리해서 운용하고 있다. 다만 그쪽 구현은 공개할 수 없어서, 공개 방법론에는 같은 개념을 처음부터 다시 만들어 넣기로 했다.


그래서 차세대에서 하려는 것

차세대에서는 두 가지를 하려고 한다.

  하려는 것 이유
1 보조 절차가 지금도 필요한지 재본다 예전 모델에 맞춘 하네스가 지금 모델에는 과할 수 있어서
2 방법론을 프로젝트 밖으로 뺀다 모델이 바뀔 때마다 프로젝트를 같이 뜯지 않으려고

방향은 혼자 정하지 않았다. GPT와 Claude 양쪽에 따로 검토를 시키고, 서로의 의견에 반론하게 했다. 둘이 같은 말을 한다고 그게 맞다는 보장은 없다. 그래도 처음 떠올린 “다 걷어내자”를 그대로 밀면 안 되는 이유는 그 과정에서 정리됐다.

참고한 글도 있다. Anthropic의 Harness design for long-running application development에 비슷한 대목이 나온다. 하네스에 붙인 장치 하나하나는 “모델이 혼자서는 이걸 못 한다”는 가정이고, 모델이 좋아지면 그 가정이 금방 낡는다는 내용이다.

그 글을 쓴 사람도 처음에는 장치를 한꺼번에 걷어냈다고 한다. 그랬더니 원래 성능이 안 나왔고, 뭐가 실제로 받쳐주고 있었는지도 알 수 없었다. 그래서 하나씩 빼보는 쪽으로 바꿨다고 적혀 있다.

내가 처음 하려던 것도 딱 그 “한꺼번에 걷어내기”였다.


고치기 전에 먼저 재본다

여기까지 온 근거는 전부 느낌이다. 토큰이 덜 드는 것 같고, 리뷰가 꼼꼼해진 것 같고, 하네스의 보조 절차가 과한 것 같다.

이 상태로 절차를 걷어내면 나중에 문제가 생겨도 뭘 빼서 그런 건지 알 수 없다.

그래서 순서를 정했다. 보조 절차 하나를 고르고, 그것만 빼고 같은 작업을 시켜본다. 지금 쓰는 모델이 그 절차 없이도 누락을 안 하는지 본 다음에 줄일지 말지를 정한다.

다음 글이 그 첫 실험이다. 미리 말해두면 “빼도 된다”는 결과는 안 나왔다. 실험이 생각대로 굴러가지도 않았다.


관련 글과 참고 자료: