열세 번 돌리고, 판정을 다시 봤다

2026.10.13 게시

이 시리즈는 작성 시점의 기록이다. 현재 기준은 Adaptive Agentic SDD 저장소에 정리해두었다.

열세 번 돌리고, 판정을 다시 봤다 — 마지막 한 쌍의 결과와 15편 숨긴 검사의 판정을 다시 본 기록

이번 글은 짧은 실험 노트다. 지난 글 이후에 한 쌍을 더 돌린 결과와, 그 과정에서 지난 글의 판정을 다시 본 내용만 정리한다.


한 쌍을 더 돌렸다

지난 글 마지막에 다음에 잰다면 아직 안 쓴 작업과 새 한도부터 정해야 한다고 적었다. 그래서 실제 평가에 한 번도 안 쓴 과제를 골라 한 쌍을 더 돌렸다.

비교한 건 똑같다. A는 코드를 고치기 전에 순서 있는 변경 목록을 쓰게 했고, B는 쓰라고 하지 않았다. 모델은 GPT-5.6 Sol, medium이고 모델이 작업하는 시간은 각 600초로 잡았다.

항목 A: 목록 씀 B: 목록 안 씀
숨긴 핵심 요구 4개 모두 통과 4개 모두 통과
깨진 기존 테스트 12개 12개
전체 기준 통과 못 함 통과 못 함

둘 다 핵심은 통과했는데 같은 기존 테스트 12개를 깨뜨렸다. 미리 적어둔 판정대로면 둘 다 미충족이라, 목록이 도움이 됐는지는 이번에도 말할 수 없다.

원인은 실험 조건 쪽이 컸다. 준비할 때 채점을 한 번 돌려보니 그것만 958초쯤 걸렸는데, 모델에게 준 시간은 600초였다. 두 후보 모두 기존 테스트가 깨지는 걸 한 번도 못 봤다. 영향받는 테스트를 찾아본 흔적도 없었으니 시간 탓만은 아니지만, 이 조건으로는 비교에 쓰지 않기로 했다.

B도 목록만 안 썼을 뿐, 고치기 전에 순서와 확인 방법을 먼저 설명하고 시작했다는 것도 기록에 남았다.


지난 글의 판정을 다시 봤다

실패 원인을 다시 보는 김에 지난 글의 진단 과제도 같이 열어봤다. 지난 글에는 A가 예외·재시도·취소, B가 재시도·취소를 놓쳤다고 적었다.

숨긴 검사를 다시 돌려보니 결과는 실패한 값까지 그대로 나왔다. 그런데 요구사항에 적힌 결과를 직접 확인하는 검사를 따로 넣어보니, 세 검사의 사정이 다 달랐다.

숨긴 검사 지난 글 판정 다시 보니
취소 A·B 실패 네 코드 모두 취소한 뒤 바로 다시 쓸 수 있었다. 다른 건 정답 코드만 남기는 내부 표시 하나였다. 요구사항을 어겼다고 보기 어려워졌다
재시도 A·B 실패 정답 코드도 어떤 경우에는 후보들처럼 계속 다시 시도했다. 요구사항을 어떻게 읽느냐에 따라 달라진다
예외 A 실패 A는 화면이 계속 진행 중으로 남았다. 이건 그대로 실패다

지난 글 진단 과제의 숨긴 검사 세 개를 다시 본 결과. 취소는 내부 표시 하나만 달라 요구사항을 어겼다고 보기 어려워졌고, 재시도는 정답 코드도 어떤 경우에는 계속 다시 시도해서 요구사항을 어떻게 읽느냐에 달렸고, 예외는 A가 그대로 실패다

그래서 지난 글의 판정을 이렇게 고쳐 읽는다. B의 두 칸은 실패라고 보기 어렵거나 해석에 따라 달라지고, 확실하게 남은 건 A의 예외 하나다. 과제마다 한 쌍이고 순서도 정해져 있었으니, 이걸로 목록이 방해했다고 말할 수는 없다. 지난 글 본문은 그때 조건의 기록으로 두고, 고쳐 읽는 내용은 여기에 남긴다.

눈에 띈 게 두 가지 있었다.

하나는 A가 쓴 목록에 실패한 부분이 처음부터 없었다는 것이다. 목록은 막으려던 누락을 막은 게 아니라, 애초에 그 누락을 담고 있지 않았다.

다른 하나는 채점하던 검사도 완벽하지 않았다는 것이다. 숨긴 검사 중에는 요구사항보다 정답 코드의 내부 모양을 보던 것이 섞여 있었고, 정답 코드도 일부 경우에는 요구를 지키지 못했다. 후보 코드만 의심했지, 채점하는 쪽은 의심하지 않았던 셈이다.


여기까지

실제 모델을 불러서 평가한 건 지난 글의 11번과 이번 2번을 합쳐 13번이다. 그중 어느 것도 보조 절차가 효과가 있다, 없다, 똑같다의 근거로 쓰지 않는다. 열어둔 예산은 다 썼고, 이 비교를 이어갈지는 아직 정하지 않았다.

검사를 통과했다는 것과 요구를 지켰다는 것이 다를 수 있다는 건, 사실 실험에서만 본 게 아니었다. 이 비교를 준비하는 동안 실제 작업 기록에서 사건을 모으고 있었는데, 거기서 가장 많이 나온 유형이 바로 그거였다.

다음 글에서는 그 이야기를 한다.


관련 글: