실험을 멈춘 건 모델이 아니었다

2026.10.02 게시

이 시리즈는 작성 시점의 기록이다. 현재 기준은 Adaptive Agentic SDD 저장소에 정리해두었다.

실험을 멈춘 건 모델이 아니었다 — 첫 번째 실험은 52초 만에 편집 0건, 두 번째 실험은 앞 후보의 파일이 읽혀서 중단

지난 글의 실험에서 첫 번째 실행은 52초 만에 아무것도 고치지 못하고 끝났다. 그 뒤에 한 두 번째 실험은 한 번 돌리고 멈췄다.

둘 다 모델이 못해서 그런 게 아니었다. 실험을 돌리는 환경 쪽에서 막혔다.

모델을 재려고 시작한 일인데, 정작 붙잡고 있던 건 폴더 권한이었다. 이번 글은 그 기록이다.


왜 격리까지 해야 했나

같은 과제를 조건만 바꿔서 여러 번 시킨다. 여기서 한 번의 실행을 “후보”라고 부르겠다.

그런데 뒤에 실행하는 후보가 앞 후보의 결과물을 볼 수 있으면 비교가 안 된다. 채점용 정답 코드도 같은 컴퓨터에 있다. 그걸 읽을 수 있어도 마찬가지다.

비유 · 같은 교실에서 차례로 보는 시험. 학생 넷이 같은 교실에서 한 명씩 같은 시험을 본다. 앞 학생 답안지가 책상에 남아 있거나 정답지가 교탁에 펼쳐져 있으면, 뒤 학생의 점수가 실력인지 알 수 없다. 그래서 답안지를 걷고, 정답지를 치우고, 휴대폰을 걷는다.

그래서 후보마다 세 가지를 막아야 했다.

막을 것 이유
정답 코드와 채점기 답을 보고 풀면 안 된다
앞 후보의 작업 폴더 앞 결과를 베끼면 조건 비교가 안 된다
외부 통신 밖에서 답을 가져오거나 다른 모델을 부르면 안 된다

실험은 Windows에서 Codex CLI의 샌드박스로 돌렸다.


시작하기 전부터 막혔다

모델을 부르기 전에 차단이 실제로 되는지부터 검사했다. 여기서 바로 걸렸다.

검사 결과 한 일
정답 파일 읽기 차단 차단 규칙을 걸었는데도 읽혔다 CLI 버전을 올리고, 막을 경로를 하나씩 명시
외부 통신 차단 파일은 막혔는데 밖으로는 연결됐다 샌드박스 계정에 빠져 있던 차단 규칙 2개를 복구

이때까지 모델 호출은 0회였다. 설정에 차단이라고 적어둔 것과 실제로 차단되는 것이 달랐고, 직접 읽어보고 직접 연결해보기 전에는 알 수 없었다.

복구한 뒤에는 내 계정에서는 연결이 되고 샌드박스 안에서는 거부되는 것을 같이 확인했다. 한쪽만 보면 그냥 인터넷이 끊긴 건지 차단이 된 건지 구분이 안 되기 때문이다.


첫 번째 실험: 52초 만에 끝난 첫 호출

검사를 다 통과하고 첫 호출을 했다. 52초 뒤에 모델은 파일을 하나도 고치지 못한 채 끝났다.

원인은 두 가지였다.

모델이 명령을 실행할 때 쓰는 PowerShell이 캐시 폴더 안에 들어 있었다. 나는 그 캐시 폴더를 통째로 차단해뒀다. 사전 검사에서는 Python을 직접 실행해봤고 그건 잘 됐다. 모델이 실제로 쓰는 도구로는 해보지 않았다.

그리고 앞선 격리 검사에서 걸어둔 차단이 다음 작업 폴더에 남아 있었다. 폴더 하나 안에서는 검사가 통과했는데, 한 폴더에서 다음 폴더로 넘어가는 건 검사하지 않았다.

이 호출은 환경 실패로 기록했다. 모델이 못한 걸로 세지 않았다. 고친 뒤에는 “후보 폴더 → 검사 → 다음 후보 폴더”로 실제로 넘어가는 검사를 추가해서 세 번 통과시키고 나머지를 돌렸다.


횟수를 새로 세지 않았다

환경을 고쳤으니 처음부터 다시 네 번 돌리고 싶어진다. 그렇게 하지 않았다.

첫 번째 실험은 환경 실패 1회를 포함해 4회를 다 썼고, 두 번째 실험은 1회만 쓰고 끝냈다

실패한 첫 호출도 4회 한도에 넣었다. 남은 세 번만, 처음 시작한 30분 안에서 돌렸다. 환경을 고치고 다시 검사한 시간까지 합쳐서 18분 22초가 걸렸다.

이유는 지난 글과 같다. 실패할 때마다 처음부터 다시 세면, 결국 잘된 것만 모아서 “네 번 다 돌렸다”고 쓰게 된다. 첫 쌍이 비교 불가로 남은 것도 그대로 뒀다.


두 번째 실험: 한 번 돌리고 멈췄다

두 번째 실험은 보려는 게 달랐다. 12편에서 방법론을 프로젝트 밖으로 빼겠다고 했는데, 그렇게 밖에서 읽어온 지침과 직접 넣어준 지침으로 결과가 달라지는지 보려고 했다. 과제도 새로 만들었고 검사는 16개였다.

한도는 첫 번째와 같이 4회, 30분으로 잡았다.

순서 결과
1번째 호출 약 89초에 끝남. 16개 검사 모두 통과
2번째 호출 직전 검사 앞 후보가 쓴 파일이 읽혔다
그다음 호출하지 않고 중단. 남은 횟수는 쓰지 않음

이번에는 호출 전에 걸렸다. 첫 번째 실험을 겪고 나서, 매번 호출하기 전에 격리를 다시 검사하게 해둔 덕이다.

원인은 이렇게 보고 있다.

폴더에는 위에서 물려받은 읽기 차단이 걸려 있지만, 파일에는 앞 후보에게 줬던 수정 허용이 직접 붙어 남아 있어서 다음 후보가 읽을 수 있었다

후보가 작업하려면 자기 폴더에 쓸 수 있어야 한다. 그래서 쓰기 허용을 준다. 작업이 끝나면 그 폴더를 통째로 읽기 차단한다. 여기까지는 맞다.

그런데 후보가 실제로 파일을 쓰고 나면, 그 파일에는 “수정 허용”이 직접 붙은 채로 남는다. Windows는 파일에 직접 붙은 권한을 위 폴더에서 물려받은 권한보다 먼저 본다(Microsoft 문서). 폴더에 건 차단보다 파일에 남은 허용이 먼저 적용된 것이다.

사전 검사는 아무도 파일을 쓰지 않은 초기 상태에서 했다. 그때는 남은 허용이 없으니 통과했다. 파일의 권한 목록과 실제로 읽히는 것까지는 직접 확인했다. 다른 원인이 더 없는지까지 본 건 아니다.

파일마다 차단을 하나씩 추가하는 방법도 해봤는데 통하지 않았고, 대상이 늘어나니 명령 길이 제한에도 걸렸다. 결국 차단을 더 쌓지 않고, 앞 후보에게 줬던 쓰기 허용을 회수하는 쪽으로 고쳤다. 초기 상태 한 번과 폴더 전환 세 번을 검사해서 통과했다. 이걸로 격리가 다 됐다고 보지는 않는다. 확인한 건 직접 읽으려고 할 때 막힌다는 것까지다.

고치는 중에 실패한 검사도 있었다. 3초 뒤에 실행을 취소하는 검사가 조건을 못 채워서 떨어졌다. 그것도 지우지 않고 결과에 남겨뒀다.

멈춘 실험은 이어서 돌리지 않았다. 남은 세 번은 그대로 버렸다.


두 번 다 같은 데서 넘어졌다

두 번의 실험 모두 사전 검사는 통과했지만, 실제로 돌려보니 검사한 상태와 실제로 쓰는 상태가 달랐다

나란히 놓고 보니 두 번이 같은 모양이었다. 사전 검사는 통과했다. 그런데 검사한 건 “아직 아무도 안 쓴 상태”였고, 문제가 생긴 건 “한 번 쓰고 난 뒤, 다음으로 넘어갈 때”였다.

이건 격리만의 이야기가 아닌 것 같다. Agent 작업 환경을 점검할 때도 처음 한 번 돌아가는 것만 보고 넘어가기 쉽다. 두 번째 작업이 첫 번째 작업이 남긴 것 위에서 돌아간다는 건 놓치기 쉽다.


돌아보면

기록에 남은 모델 작업 시간은 두 실험을 합쳐서 7분이 안 된다. 실험 환경을 만들고 고치는 데 쓴 시간은 따로 재지 않았는데, 그보다 훨씬 길었다.

하네스의 보조 절차가 과한지 보려고 시작한 일이다. 그런데 정작 실험에 걸어둔 안전장치가 실험을 두 번 세웠다. 좀 웃긴 상황이긴 하다. ㅋㅋ

그래도 그 안전장치를 풀고 돌렸으면 결과를 믿을 수 없었을 것이다. 두 번째 실험에서 그냥 진행했다면 “앞 후보 파일을 읽을 수 있는 상태”로 얻은 결과를 비교라고 내놓게 된다.

다만 이 비중이 맞는지는 다시 봐야 한다. 격리를 더 단단하게 만들지, 정답 코드가 옆에 없어도 되는 과제로 바꿔서 격리 자체를 가볍게 할지는 아직 못 정했다.

이번에 지킨 것만 적어둔다.

지킨 것 이유
환경 실패는 모델 실패로 세지 않는다 모델이 못한 게 아닌데 못한 걸로 남으면 다음 판단이 틀어진다
실패한 호출도 한도에서 뺀다 잘된 것만 모아서 완성된 실험처럼 보이게 하지 않으려고
멈춘 실험은 이어서 돌리지 않는다 고친 뒤의 환경은 처음 약속한 조건과 다르다
실패한 검사도 지우지 않는다 나중에 같은 데서 또 넘어진다
검사는 “한 번 쓰고 넘어가는 순간”까지 한다 두 번 다 거기서 걸렸다

모델이 하네스의 보조 절차 하나 없이도 누락을 안 하는지는 아직 모른다. 지금까지 알게 된 건 그걸 재는 일이 생각보다 품이 든다는 것 정도다.

다음에는 방법론을 프로젝트 밖에 두고 연결하는 부분을 실제로 만든 이야기를 하려고 한다.


관련 글과 참고 자료: