이해하지 못하는 결정을 승인한다는 것

2026.07.21 게시

이해하지 못하는 결정을 승인한다는 것

인간은 언제까지 AI의 최종 판단자일 수 있을까.

목차
  1. AI의 틀린 답은 왜 그럴듯한가
  2. AI를 많이 쓸수록 검증은 줄어든다
  3. 그렇다고 인간이 항상 옳은 것도 아니다
  4. 인간이 이해할 수 없는 해법
  5. 설명과 검증은 같은 것이 아니다
  6. 기준은 누가 정하는가
  7. 자동화가 발전할수록 인간은 준비되지 않는다
  8. 최종 판단자는 누구인가
  9. 참고한 글

AI의 틀린 답은 왜 그럴듯한가

AI를 사용하다 보면 가끔 이상한 답을 만난다. 코드를 엉뚱하게 수정하거나, 요구사항과 다른 방향으로 설계하거나, 얼핏 그럴듯하지만 운영 환경에서는 문제가 될 제안을 하기도 한다.

내가 잘 아는 영역에서는 이런 오류를 비교적 쉽게 알아차릴 수 있다. 트랜잭션 경계가 이상하다거나, 불필요하게 복잡한 패턴을 도입했다거나, 시스템 구조를 제대로 이해하지 못했다는 것을 판단할 수 있다.

내 안에 이미 기준이 있기 때문이다.

하지만 모르는 영역이라면 이야기가 달라진다.

AI가 전문 용어를 사용하고 논리적인 구조로 내용을 정리한 뒤 구체적인 사례까지 덧붙이면, 그것이 맞는지 판단하기 어려워진다. 별도로 자료를 찾아보거나 전문가에게 확인하지 않는 이상 일단 맞는 말로 받아들일 가능성이 높다.

AI의 오류가 위험한 이유는 단순히 틀린 답을 만들기 때문만이 아니다. 틀린 답을 맞는 답처럼 보이게 만들기 때문이다.

문장은 매끄럽고 논리는 연결되어 있으며 결론은 자신감 있게 제시된다. 사용자는 내용 자체를 검증하는 대신 글의 완성도와 설명의 자연스러움을 신뢰의 근거로 삼게 된다.

AI를 많이 쓸수록 검증은 줄어든다

AI에 대한 의존도가 높아질수록 이 문제는 더 커진다.

처음에는 AI가 작성한 코드와 글을 꼼꼼히 확인한다. 하지만 결과물이 대체로 괜찮다고 느끼기 시작하면 검증 범위는 점차 줄어든다.

전체 코드를 읽던 사람이 변경된 부분만 본다.
변경된 부분을 보던 사람이 테스트 통과 여부만 확인한다.
나중에는 다른 AI가 검토했다는 이유로 넘어갈 수도 있다.

AI를 쓰는 이유 자체가 시간과 비용을 줄이기 위해서다. 모든 결과물을 사람이 처음부터 다시 검증해야 한다면 AI가 제공하는 효율도 상당 부분 사라진다.

결국 AI를 많이 사용할수록 사람이 직접 검증하는 범위가 줄어드는 흐름은 자연스럽게 발생한다.

켄트 벡도 AI가 코드를 생성하는 속도를 인간 리뷰어가 따라갈 수 없게 되면서 기존 코드 리뷰의 경제성이 무너지고 있다고 지적한다. 생성 속도가 빨라질수록 리뷰는 더 중요해지지만, 모든 결과물을 제대로 이해하며 검토하는 일은 더 어려워진다.1

그는 이때 리뷰의 역할을 두 가지로 다시 정의한다.

  • 요구한 것과 실제 만들어진 것이 일치하는가
  • 코드 구조가 계속 다룰 수 있는 상태인가

겉으로 맞아 보이는 것과 실제로 맞는 것은 다르기 때문이다.

그렇다고 인간이 항상 옳은 것도 아니다

인간의 판단을 무조건 최종 기준으로 삼는 것도 이상하다.

사람은 자신의 경험에 지나치게 의존하고, 익숙한 방식을 정답이라고 여기며, 이미 내린 결정을 정당화하려 한다. 오래된 조직의 관행을 합리적인 구조라고 착각하기도 하고, 경력과 직급을 근거로 잘못된 판단을 고집하기도 한다.

게다가 AI는 사용자의 대화 패턴과 관점에 맞춰 답변할수록 판단을 교정하기보다 강화하는 방향으로 움직일 수 있다.

“내 판단이 맞지?”라는 질문을 받았을 때 전제부터 검토하기보다, 사용자의 관점 안에서 더 정교한 논리를 만들어주는 것이다.

이때 AI는 사고를 확장하는 도구가 아니라 확증편향을 강화하는 도구가 된다.

그렇다면 인간의 판단과 AI의 판단 중 무엇을 더 신뢰해야 할까.

컴퓨터 시스템에도 절대적인 정답이 존재하는 것은 아니다. 성능, 안정성, 비용, 복잡성, 운영 편의성, 조직의 기술 수준 사이에서 어떤 선택을 할 것인지가 대부분의 설계를 결정한다.

다만 목표와 제약 조건이 명확하게 주어진다면, 장기적으로는 AI가 인간보다 더 나은 해법을 찾을 가능성이 높다고 생각한다.

컴퓨터 시스템에는 코드, 설정, 로그, 메트릭, 트레이스처럼 관찰할 수 있는 정보가 있다. 테스트와 시뮬레이션을 반복할 수 있고, 어떤 변경이 성능을 개선했는지, 장애 전파 범위를 줄였는지, 비용을 낮췄는지도 일정 부분 측정할 수 있다.

인간 개발자는 아무리 뛰어나도 한 번에 이해할 수 있는 범위에 한계가 있다. 수천 개의 클래스와 호출 관계, 분산 트랜잭션, 재시도 정책, 메시지 순서, 캐시 무효화 조건을 모두 머릿속에 올려놓고 판단할 수 있는 사람은 극히 드물다. 설령 가능하더라도 그 이해를 시스템 변화에 맞춰 지속적으로 유지하기는 더 어렵다.

반면 AI는 앞으로 전체 저장소와 운영 로그, 장애 이력, 인프라 설정을 함께 분석하고 여러 대안을 시뮬레이션한 뒤, 주어진 목표에 가장 적합한 해법을 제시할 수 있을 것이다.

인간이 이해할 수 없는 해법

그 수준에 도달하면 “그래도 인간이 최종 판단해야 한다”는 말은 생각보다 단순하지 않다.

그 말에는 인간이 AI의 제안을 이해하고 평가할 수 있다는 전제가 깔려 있기 때문이다.

AI가 주문 처리 과정의 일부를 비동기 이벤트로 전환하고, 재시도 정책과 멱등성 처리, 캐시 무효화 조건까지 함께 수정했다고 가정해보자.

부하 테스트에서는 처리량이 증가했고 장애 전파 범위도 줄었다. AI는 수백 개의 코드 경로와 운영 데이터, 장애 발생 가능성을 분석한 결과라고 설명한다.

그 설명을 읽는 인간이 실제 판단 과정을 모두 이해할 수 있을까.

시니어 개발자라고 해서 반드시 가능하지는 않을 것이다. 시니어 역시 특정 기술과 시스템에 대한 경험을 가진 인간이다. AI가 인간이 경험하지 못한 수많은 실패 경로와 보상 처리의 조합을 분석해 결론을 내렸다면, 인간은 그 결론을 반박할 근거를 충분히 갖지 못할 수 있다.

결국 인간은 이렇게 판단하게 될 가능성이 높다.

AI가 충분한 근거를 제시했고 테스트 결과도 좋으니 승인한다.

문제를 정의하고, 대안을 만들고, 평가 기준에 따라 최적안을 고르는 과정을 모두 AI가 수행했다면 인간의 역할은 달라진다.

인간은 해법을 직접 비교하는 판단자에서, AI가 제시한 근거와 검증 절차를 받아들일 것인지 결정하는 승인자 또는 위험 인수자에 가까워진다.

판단 권한은 AI에게 넘어가고 책임은 인간에게 남는 구조다.

안드레이 카파시는 ‘바이브 코딩’을 처음 설명하며 코드를 직접 읽고 이해하는 일에서 벗어나 결과를 중심으로 개발하는 방식을 보여줬다. 당시 그가 사용한 표현은 말 그대로 “코드가 존재한다는 사실을 잊는 것”이었다.2

사이먼 윌리슨은 이 지점을 구분한다. 코드를 거의 보지 않는 바이브 코딩과, 숙련된 개발자가 AI로 작업을 가속하면서도 결과에 대한 책임을 유지하는 AI 보조 엔지니어링은 같지 않다는 것이다. 그는 후자를 ‘바이브 엔지니어링’이라고 부른다.3

하지만 여기에는 다시 질문이 남는다.

결과에 책임진다는 것은 무엇을 의미할까.

코드를 직접 작성하지 않았더라도 충분히 이해하고 검증했다면 책임질 수 있다. 그러나 AI가 제시한 구조와 판단 근거를 인간이 제대로 이해하지 못한다면, “책임진다”는 말은 기술적 판단이라기보다 조직적·법적 책임의 선언에 가까워질 수 있다.

설명과 검증은 같은 것이 아니다

설명 가능한 AI가 이 문제를 해결할 수 있다는 주장도 있다.

하지만 실제 판단이 수많은 변수와 상호작용 위에서 이루어졌다면, 인간이 이해할 수 있는 설명으로 줄이는 과정에서 많은 정보가 사라질 수밖에 없다.

장애 격리와 확장성을 고려하면 이 구조가 더 적합합니다.

이 문장은 이해할 수 있다.

그러나 그것은 분석 과정을 이해한 것이 아니라, AI가 자신의 판단을 인간이 납득할 만한 이야기로 요약해준 것에 가깝다.

AI는 주어진 기준에 더 부합하는 결과를 찾는 능력뿐 아니라, 그 결과를 인간이 납득할 만한 이야기로 설명하는 능력도 뛰어나다. 인간은 결론이 타당해서 설득된 것인지, 설명이 그럴듯해서 설득된 것인지 구분하기 어려워진다.

그렇다면 설명보다 검증을 신뢰하면 되지 않을까.

AI의 사고 과정을 모두 이해하지 못하더라도 다음과 같은 장치를 통해 결과를 검증할 수는 있다.

  • 단위·통합 테스트
  • 정적 분석과 아키텍처 규칙
  • 부하 테스트와 장애 주입
  • 운영 메트릭과 트레이스
  • 카나리 배포와 롤백

인간이 컴파일러의 최적화 과정을 모두 따라가지 않더라도 테스트와 실행 결과를 보고 사용할 수 있는 것과 비슷하다.

하지만 검증도 완전한 답은 아니다.

  • 테스트 자체가 잘못됐을 수 있다.
  • 측정하지 않은 조건에서 문제가 발생할 수 있다.
  • 단기 처리량은 좋아졌지만 장기 운영 복잡성이 증가할 수 있다.
  • AI가 구현 코드와 테스트를 함께 만들면 같은 잘못된 전제를 공유할 수 있다.

Thoughtworks의 버지타 뵈켈러는 코딩 에이전트를 통제하기 위한 ‘하네스’를 설명하면서, 정적 분석과 아키텍처 규칙 같은 결정적 검증 장치는 구조적 문제를 잘 잡아내지만 요구사항을 잘못 이해했거나 불필요한 기능을 만든 문제까지 안정적으로 판단하지는 못한다고 지적한다.4

특히 기능 검증을 AI가 생성한 테스트에 크게 의존하는 방식은 아직 충분하지 않다고 본다.

검증은 결국 기준을 필요로 한다.

  • 어떤 상황을 정상으로 볼 것인가.
  • 어느 정도의 지연을 허용할 것인가.
  • 데이터 유실 확률을 어디까지 받아들일 것인가.
  • 비용과 안정성 중 무엇을 우선할 것인가.
  • 어떤 테스트를 통과하면 충분히 안전하다고 볼 것인가.

이 기준을 AI가 만들고, 구현도 AI가 하고, 테스트도 AI가 작성하고, 또 다른 AI가 검토한다면 그것을 독립적인 검증이라고 부를 수 있을까.

기준은 누가 정하는가

여기서 딜레마가 생긴다.

AI의 모든 판단을 인간이 완전히 이해해야만 사용할 수 있다고 요구하면, AI는 인간이 이해 가능한 수준의 해법만 제시해야 한다.

인간보다 훨씬 뛰어난 해결책을 찾았더라도 인간이 이해하지 못하면 채택할 수 없다는 뜻이다.

인간이 이해할 수 있지만 성능이 떨어지는 시스템과
이해하기 어렵지만 검증 결과가 더 좋은 시스템 중
어느 쪽을 선택해야 할까.

사실 우리는 이미 컴파일러의 최적화 결과, 복잡한 데이터베이스 실행 계획, 머신러닝 모델의 내부 판단, 클라우드 인프라의 자동 스케줄링을 완전히 이해하지 못한 채 사용하고 있다.

앞으로는 소프트웨어 시스템 전체가 비슷한 방향으로 갈 수 있다. AI가 코드를 생성하고 테스트하고 배포하며, 운영 중인 시스템을 관찰해 지속적으로 수정한다.

인간은 세부 구현 대신 목표와 제약 조건을 설정하게 된다.

그러나 “인간은 목표를 설정하면 된다”는 말도 충분하지 않다.

“장애를 최소화하라”는 목표는 비용을 과도하게 높일 수 있고, “비용을 최소화하라”는 목표는 안정성을 떨어뜨릴 수 있다. “적절한 수준에서 균형을 맞춰라”라고 하면 그 적절함을 다시 누군가 정의해야 한다.

흔히 인간에게는 무엇을 최적화할지 정하는 역할이 남는다고 말한다.

하지만 기술적 결과를 충분히 이해하지 못하는 인간이 그 기준을 올바르게 설정할 수 있을지도 확신하기 어렵다.

자동화가 발전할수록 인간은 준비되지 않는다

이 문제는 AI와 함께 처음 등장한 것은 아니다.

1983년 인간공학 연구자 리산 베인브리지는 「자동화의 역설」에서 자동화가 인간의 문제를 없애는 것이 아니라 오히려 새로운 문제를 만들 수 있다고 지적했다.5

정상적인 상황은 자동화가 처리하고 인간은 예외적인 상황에서만 개입한다. 그러나 평소 직접 시스템을 다루지 않은 인간은 정작 가장 어려운 순간에 문제를 해결해야 한다.

자동화가 안정적으로 작동할수록 인간은 개입에 필요한 능력과 맥락을 잃는다.

베인브리지는 여기서 한 단계 더 나아간다. 컴퓨터가 인간보다 더 많은 변수를 고려해 빠르고 정확하게 판단하기 때문에 의사결정을 맡긴 것이라면, 인간은 그 판단 과정을 실시간으로 확인할 수 없다.

인간의 판단 능력이 충분하지 않아 컴퓨터에 결정을 맡겨놓고, 다시 인간에게 그 결정이 옳은지 감시하라고 요구하는 것은 ‘불가능한 과업’이 된다는 것이다.

AI가 판단하고 인간이 승인하는 구조는 새로운 것처럼 보이지만, 이미 40여 년 전에 예견된 자동화의 역설에 가깝다.

AI가 개발을 대신하는 상황도 이 역설과 닮아 있다.

AI가 코드를 더 많이 작성할수록 인간은 코드를 직접 이해하고 수정할 기회를 잃는다. 그러다 AI가 해결하지 못한 예외가 발생하면, 시스템을 가장 적게 이해하는 인간이 가장 어려운 문제를 떠안게 될 수 있다.

지금은 인간이 AI의 오류를 발견한다. 하지만 AI가 더 발전하면 반대로 AI가 인간의 오류를 더 많이 발견하게 될 것이다.

인간이 경험을 근거로 AI의 제안을 거부했을 때, 그것이 AI가 놓친 맥락을 바로잡은 것인지, 인간이 더 나은 답을 이해하지 못한 것인지조차 구분하기 어려워질 수 있다.

최종 판단자는 누구인가

AI 시대의 가장 큰 문제가 AI가 틀린 답을 낼 수 있다는 사실은 아닐지도 모른다.

더 큰 문제는 AI에 판단을 위임하는 동안 인간이 그 판단을 검증할 능력을 점차 잃어간다는 점이다.

결국 필요한 것은 인간과 AI 중 누가 더 우위에 있는지를 정하는 일이 아니다.

어떤 판단을 AI에게 위임할 것인지, 무엇으로 결과를 검증할 것인지, 어떤 실패는 허용하지 않을 것인지, 되돌릴 수 없는 결정에는 어떤 제한을 둘 것인지 정해야 한다.

그리고 그 검증 기준 자체는 누가 검증할 것인지도 함께 물어야 한다.

인간의 역할은 사라지지 않을 수 있다. 다만 직접 해법을 찾는 사람에서 목표를 설정하고 위험을 승인하는 사람으로 달라질 가능성이 높다.

그러나 목표와 기준, 근거와 검증 절차까지 AI에 의존하게 된다면 승인이라는 행위에는 실질적으로 무엇이 남을까.


이해하지 못하는 결정을 승인하는 인간을, 과연 최종 판단자라고 부를 수 있을까.


참고한 글

  1. Kent Beck, Party of One for Code Review! — AI의 생성 속도가 인간의 리뷰 능력을 앞지르면서 리뷰의 목적과 방식이 달라진다는 글. ↩

  2. Andrej Karpathy의 바이브 코딩 원문 — 코드를 직접 읽고 이해하지 않은 채 자연어로 결과를 만드는 개발 방식을 묘사한 글. ↩

  3. Simon Willison, Vibe engineering — 바이브 코딩과 결과에 대한 책임을 유지하는 전문적인 AI 보조 개발을 구분한다. ↩

  4. Birgitta Böckeler, Harness engineering for coding agent users — 코딩 에이전트의 결과를 자동으로 통제하고 검증하기 위한 하네스와 그 한계를 다룬다. ↩

  5. Lisanne Bainbridge, 『Ironies of Automation』, Automatica, Vol. 19, No. 6, 1983, pp. 775–779. (공개 PDF) — 자동화가 인간을 예외 상황의 최종 책임자로 남겨두면서도 대처 능력은 약화시키며, 인간에게 자동화된 판단을 감시하도록 요구하는 것을 ‘불가능한 과업’으로 지적한다. ↩