AI가 결정하고, 사람이 서명한다? 그 버튼이 진짜 책임을 지는 게 아닌 이유

"승인했으니까 괜찮은 거 아닌가요?" 이 한 마디가 위험합니다

요즘 AI 도입 프로젝트를 진행하다 보면 비슷한 장면이 반복됩니다. AI가 분석하고, 추천하고, 판단합니다. 맨 마지막에 사람이 버튼 하나를 누릅니다. 법무팀은 안심하고요. 제품은 출시됩니다. 그런데 그 버튼을 누른 사람이 무엇을 기준으로 눌렀는지는 아무도 설계하지 않았습니다.

이게 오늘 제가 정면으로 꺼내고 싶은 이야기입니다. AI가 결정하고 사람이 서명하는 구조, 이게 진짜 인간 감독인지 아니면 책임만 이전된 것인지를요.

B2B SaaS를 만드는 입장에서, 그리고 보험 플랫폼과 헬스케어 CRM을 직접 운영하는 입장에서, 이 문제는 단순한 UX 이슈가 아닙니다. 제품 설계의 철학적 기반을 건드리는 문제입니다.

먼저 용어를 짚고 갑니다, AI 의사결정 지원이란 뭘까요

AI 의사결정 지원이란 AI가 사람의 판단을 돕는 구조를 말합니다. 예를 들면, AI가 대출 심사 점수를 산출하면 담당자가 그 점수를 참고해 승인 여부를 결정하는 방식입니다. 반대로 완전 자동화 의사결정은 사람이 개입하지 않고 AI가 끝까지 결정을 내리는 것이고요.

2023년 개정된 개인정보보호법 제37조의2는 완전 자동화 의사결정에 대한 거부권과 설명 요구권을 명시하고 있습니다. 공공기관 채용, 금융기관 대출 심사, 복지 수급자 선정 같은 분야가 이미 여기에 해당됩니다. 법이 먼저 선을 그은 겁니다. 사람이 반드시 개입해야 한다고요.

그런데 문제는 이 경계를 설계하는 방식에 있습니다. "사람이 버튼을 누른다"는 사실 자체가 그 경계를 지킨다고 보기 어렵다는 점이 핵심입니다.

가장 흔한 오해, 버튼이 있으니 사람이 결정한 거 아닌가요

많은 팀들이 AI 워크플로우를 설계할 때 이런 방식으로 접근합니다. AI가 추천을 만들어 냅니다. 그 결과를 보여주는 깔끔한 화면을 만듭니다. 어딘가에 검토 단계를 넣습니다. 버튼 하나, 가끔은 확인 팝업창 하나가 들어갑니다. 법무팀이 확인하고, 제품이 출시됩니다.

무엇이 설계되지 않았냐고요? 사람이 그 화면 앞에서 실제로 무엇을 평가해야 하는지입니다.

이 문제를 정확하게 짚은 시각이 있습니다. 겉으로는 의사결정 지원 도구처럼 보이지만, 실제로는 책임만 이전하는 구조라는 것입니다. AI는 공을 챙기고, 사람은 리스크를 떠안는 셈입니다.

승인 버튼이 있다는 사실 자체가 인간 감독을 보장하지는 않습니다.

권위 있어 보이는 화면 앞에서 사람은 어떻게 반응할까요

연구 결과는 분명합니다. 화면에 권위 있어 보이는 추천이 올라왔을 때, 특히 시간 압박 상황에서 사람들은 그 판단을 그대로 따르는 경향이 강합니다. 이 현상을 자동화 편향이라고 합니다.

자동화 편향이란 자동 보조 도구나 의사결정 지원 시스템에 지나치게 의존하는 것을 말합니다. 사람은 인지적인 노력이 가장 적게 필요한 길을 택하는 경향이 있기 때문에 AI가 믿음직스럽게 보이면 자신의 판단을 내려놓게 됩니다.

보험 심사관이 하루에 수백 건의 케이스를 처리해야 한다고 상상해 보세요. AI가 각 케이스마다 위험 점수와 추천 결정을 보여줍니다. 이 상황에서 담당자가 AI 추천을 하나하나 비판적으로 검토할 여력이 있을까요? 현실적으로 대부분 그냥 누릅니다. 그리고 문제가 생기면 책임은 그 버튼을 누른 사람에게 돌아옵니다.

사람이 제대로 판단할 수 없는 인터페이스 앞에서의 승인은 감독이 아니라 면피에 가깝습니다.

진짜 인간 감독이 있는 설계는 어떤 모습일까요

AI의 역할과 사람의 역할은 다릅니다. AI는 정보를 수집하고, 패턴을 찾고, 리스크를 드러내는 일을 합니다. 사람은 그 정보를 바탕으로 실제 결정을 내립니다. 이 둘은 다른 일입니다.

진짜 인간 감독이 작동하는 인터페이스라면 세 가지 요소가 갖춰져 있어야 합니다.

첫째, AI가 왜 이런 추천을 했는지 설명이 제공되어야 합니다. 단순히 결과만 보여주는 게 아니라, 어떤 근거로 이 판단이 나왔는지를 보여줘야 합니다. 화면 안에 '왜 이게 나왔지?'라고 물을 수 있는 요소가 있어야 합니다.

둘째, 사람이 거부하거나 조정할 수 있어야 합니다. AI 추천을 수정하거나 반려하는 경로가 자연스럽게 열려 있어야 하고, 그 선택이 불편하게 느껴지지 않아야 합니다.

셋째, AI가 할 수 있는 것과 없는 것의 경계가 명확히 안내되어야 합니다. 이 AI가 어디까지 판단하고, 어디서부터는 사람의 영역인지를 사용자가 알고 있어야 합니다.

진짜 인간 감독은 버튼이 아니라, 사람이 실제로 판단할 수 있도록 돕는 인터페이스 설계에서 나옵니다.

국내외 사례에서 반복되는 패턴이 있습니다

의료, 법률, 금융 분야에서 이미 비슷한 구조가 반복되고 있습니다. 병원에서 AI가 진단을 보조하지만 의사가 최종 서명하는 구조, 금융기관에서 AI가 대출 적합성을 산출하지만 심사역이 클릭 한 번으로 승인하는 구조, 채용 플랫폼에서 AI가 서류 심사를 하지만 HR 담당자가 버튼을 누르는 구조.

이 모든 사례의 공통점은 하나입니다. 사람이 실제로 무엇을 보고, 무엇을 기준으로 판단해야 하는지가 명확하게 설계되어 있지 않다는 것입니다.

2026년 현재 UX 업계는 AI 추천에 '왜 이 결과인가'라는 설명을 달고, 사용자가 AI 행동을 조정하거나 거절할 수 있는 인터랙션을 표준 설계 원칙으로 채택하고 있습니다. 단순히 깔끔한 출력 화면이 아니라, 사람이 실제로 판단에 참여할 수 있는 인터페이스가 기준이 되는 방향으로 가고 있습니다.

국내외를 막론하고 고위험 AI 제품의 설계 실패는 대부분 '사람의 역할을 설계하지 않은 것'에서 비롯됩니다.

B2B SaaS를 만드는 입장에서 이 문제는 훨씬 복잡합니다

헬스케어 CRM이든, 보험 GA 플랫폼이든, AI를 도입하는 B2B 제품에서 이 문제는 더 복잡하게 작동합니다. 사용자와 구매자가 다르기 때문입니다.

구매자 입장에서는 "AI가 분석하고 사람이 승인하는 구조"가 잘 팔립니다. 안전해 보이니까요. 하지만 실제 현장 사용자는 하루에 수십, 수백 번 그 승인 버튼을 눌러야 합니다. 그 버튼이 진짜 감독을 의미하지 않을 때, 결국 문제가 생기면 그 사람이 책임을 집니다.

맥킨지의 에이전틱 AI 도입 동향 분석에 따르면 기업의 인적 자원은 반복적인 프로세스 통제에서 벗어나 AI 에이전트들의 성과를 감독하고 더 높은 차원의 전략 수립에 집중하는 오케스트레이터 역할로 격상된다고 합니다. 그런데 현실에서 그 격상이 제대로 이루어지려면 인터페이스가 먼저 그 역할을 지원해야 합니다.

좋은 AI 제품이란, 현장 실무자가 자신이 무엇을 결정하고 있는지 명확히 인식하고, 그 결정에 필요한 정보를 충분히 갖출 수 있도록 설계된 제품입니다. 빠르게 보여주는 것이 목표가 아니라, 제대로 판단하도록 돕는 것이 목표여야 합니다.

B2B AI 제품에서 진짜 경쟁력은 "사람이 실제로 판단할 수 있도록 돕는 인터페이스"를 얼마나 잘 만드는가에서 나옵니다.

앞으로 기준은 어디로 이동할까요

규제는 분명히 강화될 것입니다. 개인정보보호법이 이미 자동화 의사결정에 거부권을 부여했고, 유럽의 EU AI Act는 고위험 AI 시스템에 대해 투명성과 인간 감독을 명시적으로 요구하고 있습니다. 국내에서도 비슷한 흐름이 이어질 것입니다.

도구 수준에서도 변화가 이미 시작됐습니다. 자동화 편향 완화를 위한 설명 가능한 AI 인터페이스, 인간 참여 검증, 감사 추적, 정기적인 성능 평가가 AI 거버넌스의 핵심 요건으로 자리잡고 있습니다.

결국 이 흐름의 핵심은 하나입니다. AI가 아무리 잘 판단해도, 그 판단의 책임을 사람이 실질적으로 질 수 없는 구조라면 그 제품은 결국 신뢰를 잃는다는 것입니다.

앞으로 AI 제품의 기준은 '얼마나 정확한가'에서 '사람이 얼마나 제대로 감독할 수 있는가'로 이동하고 있습니다.

마무리: 저장하고 싶어지는 문장 세 가지

AI와 인간의 관계에서 제품을 만드는 사람이 기억해야 할 문장들을 남깁니다.

"AI는 증거를 제공하고, 사람이 결정을 소유한다. 이것이 계약이다."

"책임만 이전하는 구조는 의사결정 지원이 아니다."

"좋은 AI 인터페이스는 빠른 출력을 보여주는 것이 아니라, 사람이 제대로 판단할 수 있도록 돕는 것이다."

AI를 도입하거나 AI가 포함된 제품을 만드는 모든 팀에게 한 가지 질문을 드리고 싶습니다. 우리 제품에서 사람의 승인은 진짜 감독인가요, 아니면 면피를 위한 버튼인가요?