미국 AI 기업 앤트로픽에서 AI 모델 학습 분야를 맡아온 제이컵 콕슨 전 앤트로픽 연구원(27)이 9월 8일(이하 현지 시간) 퇴사하면서 소셜미디어 X(옛 트위터) 계정에 올린 경고의 글 중 일부다. 영국 출신으로 오픈AI에서 3년간 일하다가 7월 앤트로픽으로 이직한 콕슨 전 연구원은 이 글에서 "AI 업계가 인류 안전을 뒷전에 둔 채 AI 개발에 매달리고 있다"고 비판했다.

그가 주장한 이른바 'AI 종말론'은 상당한 파장을 일으켰다. 앤트로픽과 오픈AI 연구원들도 동조하는 목소리를 냈다. 에번 휴빙어 앤트로픽 AI 안전 분야 연구책임자는 "향후 10년 내 AI가 인류를 전멸시킬 확률이 10% 이상"이라고 강조했다. 새뮤얼 마크스 앤트로픽 연구원도 "AI 개발자들은 자신들의 기술이 인류 멸종을 초래할 수 있다고 믿는다"고 지적했다. 줄리 스틸 오픈AI 안전담당 연구원도 "AI가 스스로 기능을 개선하는 과정에서 발생할 수 있는 위험을 견제할 만한 과학적 계획이 아직 마련되지 않았다"고 밝혔다.

RSI는 AI가 인간 개발자의 직접적인 개입 없이 코드·알고리즘·학습 방식 등을 분석하고 수정하면서 성능을 반복적으로 끌어올리는 과정을 뜻한다. RSI 단계에 도달한 AI는 자신보다 뛰어난 다음 버전의 AI를 설계하는 데까지 관여할 수 있다. 이러한 과정이 일정 수준을 넘어 가속되면 AI 성능이 인간의 예측 범위를 벗어나 급격하게 높아지는 이른바 '지능 폭발(Intelligence Explosion)'로 이어질 수 있다는 가능성도 제기된다. AI가 인간보다 뛰어난 초지능으로 발전할 수 있다는 전망이 여기에서 나온다.

이런 우려를 키우는 사례도 잇따라 거론되고 있다. 7월에는 오픈소스 AI 플랫폼 허깅페이스(Hugging Face) 전산망의 취약점이 AI 에이전트에 의해 발견됐다. 시스템의 취약점을 발견하거나 문제가 될 수 있는 행동을 수행한 에이전트들이 이를 인간 관리자에게 자발적으로 보고하지 않았다는 점이 논란이 됐다. 미국 뉴욕타임스(NYT)는 "실험에 투입된 오픈AI 소속 에이전트 1200개 가운데 어느 것도 해당 이상 행위를 회사에 알리지 않았다"고 지적했다.

아모데이 CEO와 앙숙인 샘 올트먼 오픈AI CEO를 비롯해 일론 머스크 스페이스X CEO, 데미스 허사비스 구글 딥마인드 의장, 무스타파 술레이만 MS(마이크로소프트) CEO 등 AI 업계 수장들도 이런 입장을 지지했다. 이해관계 때문에 반목해오던 이들이 이처럼 같은 의견을 낸 것은 상당히 이례적인 일이다.

반면 도널드 트럼프 미국 대통령은 '속도 조절론'과 'AI 종말론'을 음모론이자 사기극으로 규정하며 강한 반감을 드러냈다. 트럼프 대통령은 "AI가 세계를 장악하고 인류를 파괴한다는 주장은 사기"라면서 "이를 주장하는 세력은 급진 좌파 바보 민주당원"이라고 비난했다. 트럼프 대통령은 "AI를 겨냥한 역겨운 음모가 있으며, 이를 기뻐할 유일한 나라는 중국"이라면서 "시진핑 중국 국가주석은 중국이 AI와 AI의 미래를 방해하는 어떤 일도 하지 않겠다고 발표했다"고 강조했다.

트럼프 대통령의 이런 입장에 세계 최대 AI 반도체 기업 엔비디아의 젠슨 황 CEO가 적극 지지한다는 입장을 밝혔다. 황 CEO는 9월 14일 미국 로스앤젤레스에서 열린 '올인 서밋 2026'에서 트럼프 대통령과의 전화 통화를 스피커폰으로 연결했다. 두 사람은 AI가 인류를 지배할 것이라는 우려를 일축하면서 경제성장과 국가안보 측면에서 AI가 지닌 잠재력을 강조했다. 황 CEO는 "우리는 AI 경쟁에서 모든 사람이 승리할 수 있도록 할 것"이라고 밝혔다. 엔비디아는 AI 구동에 필수적인 칩을 공급하는 곳으로, 글로벌 AI 산업의 최대 수혜 기업 중 하나다．

심지어 황 CEO와 아모데이 CEO는 정면으로 충돌했다. 아모데이 CEO는 9월 15일 샌프란시스코에서 열린 '드림포스 2026'에서 "AI 안전을 위해서는 자체 점검, 업계 표준 정립, 국제 협력이라는 3단계 접근법이 필요하다"고 주장했다. 그는 "AI 기술을 현 상태에서 동결한다고 하더라도 현재 우리가 활용하는 가치는 AI가 가진 전체 가치의 5∼10% 수준에 불과하다"며 "여전히 시장에 확산 적용해 사회적 혜택을 제공할 영역이 무궁무진하게 남아 있다"고 지적했다. 이에 대해 황 CEO는 "안전은 최우선 과제이지만 또한 공학적 문제"라며 "속도와 안전은 서로 상충되는 선택지가 아니며, 두 가지를 동시에 달성할 수 있다"고 반박했다. 그는 AI 안전 규제에 대해 "AI는 매우 복잡하지만 연산 체계일 뿐"이라면서 "시장의 통제력이 이미 작동하고 있는 만큼 새로운 법과 규제도 필요 없으며, 개발 기업이 시장에서 인정받을 만한 제품을 출시할 수 있다는 확신이 들 때까지 속도를 조절하면 된다"고 주장했다.

미국과 중국 정부는 AI 개발에서 한 발 물러서는 순간 상대에 패권을 빼앗길 수 있다고 우려한다. 이 때문에 AI 패권 경쟁을 치열하게 벌이는 양국이 기술 개발을 제어하기는 어려울 것이 분명하다. 마이크 존슨 미국 하원의장은 "우리는 이 문제에 모라토리엄(일시적 중단)을 걸 수 없다"며 "그렇게 하면 중국이 우리를 추월할 것이라는 게 문제"라고 밝혔다. 양국의 이런 입장에도 AI 종말론에 따른 개발 속도 조절 주장은 앞으로도 꾸준히 제기될 것으로 보인다.