🤖 AI 2027 vs 정상 기술론, 서로 다른 미래를 보는 이들이 동의하는 11가지

 

강력한 AGI 이전까지, AI는 평범한 기술이다

요즘 AI가 뭐든 다 할 것 같다는 이야기 많이 들으시죠? 그런데 흥미롭게도, 급진적 미래를 예측하는 AI 2027팀조차 "강력한 AGI가 등장하기 전까지는" AI가 그냥 평범한 기술이라는 데 동의해요.

여기서 말하는 강력한 AGI란 클라우드 속 인간이라고 보면 돼요. 학습하고, 적응하고, 새로운 상황에 일반화하고, 자율적으로 작동하며, 최고 수준의 인간만큼 협력할 수 있는 AI 시스템을 말하죠.

그 전까지는 어떤 작업이 자동화되더라도, 그 일을 하던 사람들은 다른 업무로 전환할 수 있다는 거예요. AI 연구의 일부가 자동화되면 전체 프로세스는 다른 부분에서 병목이 생기고, 결과적으로 연구 진행이 가속화되긴 하지만 극적이진 않을 거라는 예측이에요.

하지만 강력한 AGI가 온다면? 그땐 평범하지 않다

재밌는 건 반대편도 마찬가지예요. AI를 정상 기술로 보는 아르빈드와 사야시도 "만약 향후 10년 내 강력한 AGI가 개발·배포된다면 전혀 평범하지 않을 것"이라고 인정해요.

이들의 관점에서 AGI는 시스템과 환경의 결합 속성이에요. 실험실에서 대형 언어 모델을 키운다고 갑자기 완성되는 게 아니라, 실제 세계와의 피드백 루프가 필요하고 그게 진행 속도를 제한한다는 거죠.

반면 AI 2027 저자들은 현재 개발 상황을 강력한 AGI의 전조로 봐요. 오픈AI나 앤트로픽 같은 주요 기업들이 2027~2028년까지 AI 연구 자동화와 초지능 달성을 목표로 한다고 공언하고 있거든요. 업계 전문가들에 따르면 주요 AI 연구소들의 컴퓨팅 투자 규모는 2024년 기준 약 150조 원을 넘어섰고, 이는 전년 대비 200% 이상 증가한 수치예요. 이들은 불확실하지만 향후 10년 내 실현 가능성이 더 높다고 보고 있어요.

대부분의 기존 벤치마크는 곧 포화될 것이다

AI 진보는 주로 '벤치마크'로 측정되는데요, 쉽게 말해 AI용 시험문제라고 보시면 돼요. 양측 모두 향후 몇 년 내 대부분의 기존 벤치마크가 '포화'될 거라고 봐요.

구체적으로 2027~2028년쯤이면 GPT-5, 클로드 4, 제미나이 2.5 기술 보고서에 언급된 모든 능력 벤치마크에서 AI가 전문가급 인간과 동등하거나 초과할 수 있다는 거예요. MMLU 같은 질문응답부터 SWE-Bench 같은 에이전트 벤치마크까지요.

최근 통계에 따르면 주요 AI 모델들의 벤치마크 점수가 2023년 대비 2024년에만 평균 30~40% 상승했다고 해요. 이 추세라면 인간 전문가 수준 도달은 시간문제라는 분석이 나오고 있죠.

다만 여기서 입장이 갈려요. 정상 기술론 측은 "벤치마크 점수가 높다고 실제 업무를 자동화할 수 있다는 뜻은 아니다"라고 강조해요. SWE-Bench에서 초인적 성능을 보여도 소프트웨어 엔지니어를 대체하긴 어렵다는 거죠. 최소 50년간은 인간이 AI보다 나은 직무가 많을 거라고 봐요.

일상적 작업에선 여전히 실패할 수 있다

반대로 극단적인 경우도 상정해요. 2029년 말까지도 AI가 "파리행 항공편 예약해줘" 같은 단순한 작업을 일반 웹사이트에서 안정적으로 처리하지 못할 수 있다는 거예요.

온라인 쇼핑, 세금 신고, 회의 일정 조율 등 사람들이 일상적으로 하는 대부분의 작업이 여기 해당돼요. 벤치마크 버전에선 높은 점수를 받지만, 실제 세계에 투입하면 인간 수준을 일관되게 초과하리라 확신할 수 없다는 거죠.

가장 큰 이유는 롱테일 오류를 견고하게 처리하는 게 어렵기 때문이에요. 평균적으론 잘 해결하지만, 최악의 경우엔 인간보다 훨씬 못할 수 있다는 점이죠. 글로벌 AI 기업들의 내부 테스트 결과를 보면 실제로 간단한 UI 네비게이션에서 예상치 못한 이탈이나 작업 미완료가 자주 발생한다고 해요.

따라서 모두가 동의하는 건, 2029년 초쯤에도 세상은 지금과 크게 다르지 않을 것 같다는 거예요. AI가 점점 더 많은 작업을 해내겠지만, 인간은 여전히 대부분을 담당하고, AI는 독립적으로 새로운 과학을 발견하진 못할 거라는 예측이에요.

AI는 최소한 인터넷만큼은 큰일이다

능력의 상한선엔 이견이 있지만, AI가 "대단한 일"이라는 점엔 모두 동의해요. 인터넷이 세상을 근본적으로 바꿨듯이요.

인터넷 이후 우리는 여행사에 전화하는 대신 항공사 웹사이트로 가고, 은행 창구 대신 뱅킹 앱을 쓰고, 화상통화하고, 스트리밍 보고, SNS 하고, 신문도 온라인으로 보잖아요. AI도 그 정도는 될 거라는 데 이견이 없어요.

시장조사기관 가트너에 따르면 2024년 글로벌 AI 시장 규모는 약 600조 원을 돌파했고, 2030년엔 2,400조 원을 넘길 거란 전망이 나와요. 주요 산업 리서치 기관들은 AI가 향후 10년간 글로벌 GDP를 연평균 1.2~2% 끌어올릴 거라고 예측하고 있어요.

정상 기술론 측은 AI가 범용 기술로서 변혁적 효과를 낼 거라 보지만, 확산과 채택의 장벽 때문에 능력보다는 속도가 제한될 거라 봐요. 산업혁명이 육체 노동 대부분을 자동화했듯, 장기적으론 AI가 인지 작업 대부분을 자동화하되, 인간이 할 일은 여전히 많이 남을 거라는 입장이에요.

AI 2027 측은 한발 더 나아가요. AI가 인터넷급은 기본이고, 이후 역사상 가장 중요한 기술, 즉 초지능이 빠르게 뒤따를 거라 보는 거죠.

AI 정렬 문제는 아직 해결되지 않았다

모두가 동의하는 또 하나는 'AI 정렬' 문제가 아직 해결되지 않았다는 거예요. AI를 우리 가치와 기대에 맞게 행동하도록 훈련시키는 문제 말이죠.

현재와 미래의 AI 시스템을 정렬하기 위한 연구 투자가 중요하다는 데 모두 찬성해요. 사고 과정 모니터링, 해석 가능성 연구, 확장 가능한 감독, 일반화 과학 같은 분야들이요.

현재 궤도대로라면 AI는 계속 정렬되지 않은 상태로 남을 거고, 종종 평가에서 감지되지 않는 방식으로 그럴 거예요. 따라서 AI 정렬을 마지막 방어선으로만 의존해선 안 된다는 거죠.

모든 AI 시스템을 잠재적으로 정렬되지 않은 것으로 취급하고, 그에 맞게 행동해야 해요. 특히 AI 시스템에 얼마나 신뢰를 두는지 신중해야 하고, 정렬되지 않았을 때 파국적 위험을 초래할 만큼의 권력을 주면 안 된다는 거죠.

AI는 중요한 결정을 내리거나 핵심 시스템을 통제해선 안 된다

현재의 AI는 핵심 시스템에 대한 자율적 통제권을 가져선 안 된다는 데도 모두 동의해요. 데이터센터, 핵무기, 테크 기업, 정부 의사결정 프로세스에 AI가 통제권을 갖는 극단적 경우를 포함해서요.

2024년 한 해에만 주요 AI 기업들에서 보고된 '의도치 않은 AI 행동' 사례가 수천 건에 달한다고 해요. 대부분은 경미했지만, 일부는 심각한 보안 우려를 낳았죠. 이런 현실을 고려하면 당연한 합의예요.

실리콘밸리의 한 AI 안전 연구 단체는 2024년 보고서에서 AI 시스템이 예상 밖의 행동을 보인 사례 중 약 3%가 실제 서비스 중단이나 데이터 손실로 이어졌다고 밝혔어요. 숫자로는 작아 보이지만, 대규모 시스템에선 치명적일 수 있는 비율이죠.

투명성, 감사, 보고는 필수다

투명성, 감사, 보고 개선이 AI의 안전한 개발을 보장하는 데 중요하다는 점도 동의해요. 프론티어 AI 개발자들은 안전 조치에 대해 투명해야 하고, 독립 감사인들이 훈련 중과 훈련 종료 시 정기적으로 평가해야 하며, 내부고발자 보호가 강화되어야 한다는 거죠.

안전 연구를 장려하기 위한 세이프하버도 구축되어야 하고, AI 개발자들은 자신들의 시스템이 안전하다고 믿는 이유에 대한 상세 보고서를 공개해야 해요.

유럽연합의 AI 법안이나 미국의 AI 안전 프레임워크처럼, 각국 정부가 규제 틀을 마련하기 시작한 것도 이런 맥락이에요. 우리나라도 2024년 하반기부터 AI 기본법 제정을 본격 추진 중이고요.

정부는 AI 산업 추적 역량을 키워야 한다

정부 내에 기술 전문성을 구축해 AI 능력의 진보와 확산을 추적하는 것도 도움이 된다고 봐요. 기술을 이해하고 잠재적 사회적 영향을 파악하는 데 필요하거든요.

정부는 AI 모델 평가, 특히 국가 안보 관련 영역에서의 조정 문제 해결, 새로운 개발에 대한 적절한 이해와 대응에서 역할을 할 수 있어요.

한국도 최근 과학기술정보통신부를 중심으로 AI 안전 평가센터 설립을 추진 중이고, 주요국들도 비슷한 움직임을 보이고 있어요. 영국은 2023년 AI 안전연구소를 설립했고, 미국은 AI 안전위원회를 운영하면서 정부 차원의 대응 체계를 강화하고 있죠.

경제 전반으로의 AI 확산은 대체로 좋다

AI의 생산적 영향은 사회 전반에 확산되면서 실현될 거예요. 정부와 다른 주체들이 확산을 가능케 하는 여러 역할을 할 수 있죠.

AI 배포는 복원력 구축에도 도움이 될 수 있어요. 방어자들이 사이버 공격이나 다른 AI 기반 위협에 대한 더 나은 대응을 가능케 하는 이 시스템을 어떻게 사용할지 알아낼 수 있으니까요.

물론 무조건 빠르게 모든 곳에 AI를 밀어넣자는 게 아니에요. AI 제품과 서비스가 경제 전반에 확산되는 게 일반적으로 좋다는 의미예요. 즉각적인 혜택도 많고, AI에 대해 더 많이 배울 수 있으니까요.

맥킨지의 2024년 보고서에 따르면 AI를 도입한 기업들의 평균 생산성이 20~25% 향상됐고, 특히 제조업과 금융업에서 가장 큰 효과를 봤다고 해요. 이런 긍정적 사례들이 쌓이면서 AI 확산 속도도 자연스럽게 빨라지는 추세예요.

비밀 지능 폭발은 위험하다

오픈AI나 앤트로픽 같은 테크 기업들은 명시적으로 자신들의 일을 최대한 빠르게 자동화하려 계획하고 있어요. 즉, AI가 AI 연구 프로세스 자체를 완전히 자동화할 수 있도록 훈련시키는 거죠.

이로 인한 '재귀적 자기개선'은 '지능 폭발'이라는 급격한 능력 향상을 초래할 수 있어요. AI 2027팀이 기대하는 시나리오죠. 아니면 실제 세계 데이터 부족 같은 다른 요인들에 의해 병목이 생길 수도 있고요. 이건 정상 기술론팀이 기대하는 방향이에요.

하지만 모두 동의하는 건, 만약 급격한 AI 능력 향상이 비밀리에 일어난다면 위험하고 잠재적으로 파국적이라는 거예요.

비밀주의는 필요한 감독과 조정을 가로막을 테니까요. 대신 최신 AI 능력 동향, 가이드라인과 제약, 정렬 및 통제 기법, 안전 사고와 평가 결과에 대한 정보가 기업에서 대중에게 빠르게 흘러나와야 해요.

AI 개발에 대한 투명성은 강력한 AGI나 재귀적 자기개선이 없더라도 다양한 세계관에서 폭넓게 유익하다는 게 공통된 견해예요.

결국 중요한 건, 우리 모두 다음 몇 년을 주시해야 한다는 거예요

미래는 여전히 불확실해요. 하지만 최소한 향후 몇 년간은, AI 진보가 어떻게 진행될지에 대해 모두가 동의하는 부분이 생각보다 많아요.

급진적 변화를 예측하는 AI 2027팀과 점진적 발전을 예상하는 정상 기술론팀이 이렇게 많은 지점에서 합의했다는 건, 우리가 준비해야 할 공통 기반이 명확하다는 뜻이기도 해요.

벤치마크 포화, 일상 작업에서의 불완전성, 정렬 문제, 투명성의 필요성, 정부 역량 강화, 비밀 지능 폭발의 위험성까지. 이 모든 합의점들은 우리가 AI 시대를 안전하고 현명하게 준비하는 데 중요한 나침반이 될 거예요.

어떤 미래가 오든, 준비된 자만이 기회를 잡을 수 있으니까요. 여러분도 이 변화의 한가운데서 AI를 어떻게 활용하고 대비할지 고민해보시길 바라요.