앤트로픽이 숨겨둔 AI를 풀었다가 5일 만에 미국 정부가 막은 이유

솔직히 저도 처음엔 몰랐는데요, 이번 Claude Fable 5 논란이 터졌을 때 그냥 "또 AI 업데이트 됐구나" 하고 넘길 뻔했어요. 그런데 파고들수록 이건 단순한 신모델 출시 소식이 아니더라고요.

Claude Fable 5가 뭔데 이렇게 난리가 난 거야?

앤트로픽이 공개한 Claude Fable 5는 컨텍스트 100만 토큰에, 출력만 12만 8천 토큰이 되는 모델이에요. 쉽게 말해서 엄청나게 긴 글도 한 번에 처리할 수 있고, 며칠짜리 작업도 혼자서 끝낼 수 있을 만큼 강력한 AI예요. 가격도 입력 토큰당 10달러, 출력 토큰당 50달러로 어마어마한 수준이에요.

그런데 이 모델이랑 같이 나온 게 또 있어요. Claude Mythos 5인데, 이건 일반 사람은 못 써요. 프로젝트 글라스윙이라는 특별 프로그램에 승인된 소수 기관만 쓸 수 있고, 거기선 일부 안전 장치가 해제된 채로 작동해요. 같은 두뇌인데 누구에게 주냐에 따라 운영 방식이 달라지는 거예요.

항목	Claude Fable 5	Claude Mythos 5
공개 범위	API, 채팅 인터페이스 누구나	승인된 소수 기관만
안전 장치	세이프티 분류기 탑재	일부 해제 상태
데이터 보존	30일 의무 보존 (ZDR 불가)	동일
폴백 구조	위험 요청 시 Opus 4.8로 넘어감	별도 운영

왜 이렇게 나눈 거야? 보안, 생물학, 그리고 경쟁사 견제

앤트로픽이 모델을 나눈 이유는 세 가지예요. 첫째는 사이버 보안이에요. 강력한 AI는 코드 취약점을 엄청 빠르게 찾아낼 수 있어서, 방어하는 팀한테는 좋은 도구지만 공격자한테 넘어가면 무기가 돼요. 둘째는 생물학, 화학 분야예요. 신약 개발엔 도움이 되지만 잘못 쓰이면 위험한 지식이 될 수 있죠. 셋째가 좀 재밌는데, 디스틸레이션이에요. 강력한 AI의 출력을 뽑아다가 경쟁사 모델을 학습시키는 행위를 막겠다는 건데, 이건 공공 안전이기도 하고 자기네 기술 보호이기도 해요.

그리고 출시 직후에 정말 문제가 터졌어요. 앤트로픽이 AI 개발 관련 질문에 사용자도 모르게 답변 방향을 바꿔버리는 숨겨진 장치를 심어뒀던 거예요. 프롬프트 모디피케이션이라고 해서 질문 앞뒤에 보이지 않는 지시를 붙이거나, 스티어링 벡터라는 기술로 모델이 생각하는 방향 자체를 슬쩍 틀어버리는 방식이었어요. 사용자 입장에서는 답을 받긴 받는데, 그게 진짜 이 모델의 최선인지 안전 장치가 흐려놓은 답인지 알 수가 없는 거예요.

이 부분에서 저도 한 번 잘못 이해했어요

처음에 안전 장치 얘기를 들었을 때 "그냥 위험한 질문은 거절하는 거잖아"라고 생각했거든요. 근데 그게 아니었어요. 거절이 아니라 겉으로는 답을 해주는데 내용이 달라진다는 거였어요. 친구한테 이 얘기 설명해줬다가 "그게 더 무서운 거 아니야?"라는 말 들었어요. 맞는 말이에요. 모델을 믿고 쓰는 개발자나 연구자 입장에서는 벤치마크 결과가 이상하게 나와도 그게 모델 한계인지 안전 장치 때문인지 구분이 안 되니까요.

저도 i5-1235U 노트북으로 Claude API 간단하게 테스트해봤는데, 이런 숨겨진 개입이 있다는 걸 모르고 결과만 보면 "이 모델이 이 질문은 약하네"라고 잘못 판단할 수 있겠더라고요. 당근마켓에서 AI 관련 강의 자료 찾다가 이 논란 얘기를 처음 봤을 때 생각보다 반응이 뜨겁던 것도 이해가 됐어요.

제 솔직한 생각
칼이 훌륭한 도구가 되려면 누가 쥐느냐가 중요하듯, AI도 마찬가지예요. 안전 장치 자체가 나쁜 게 아니라, 그걸 사용자 몰래 숨긴다는 게 문제였던 거예요. 앤트로픽이 빠르게 사과하고 방향을 바꾼 건 잘한 거지만, 앞으로도 투명하게 운영한다는 신뢰를 꾸준히 쌓아가는 게 더 중요해 보여요.

기업 입장에서 진짜 걸리는 건 성능이 아니에요

Fable 5는 모든 트래픽에 대해 30일 데이터 보존이 의무예요. 보통 기업 고객이 쓰는 ZDR, 즉 데이터를 아예 안 남기는 옵션이 이 모델엔 없어요. 삼성이나 SK, LG 같은 회사들이 내부 코드나 설계 자료를 넣으려 할 때, 성능보다 이 30일 보존 조건이 자기네 보안 규정이랑 충돌하는지를 먼저 따질 수밖에 없는 거예요. GitHub Copilot에서도 다른 Claude 모델은 ZDR이 되는데 Fable 5만 안 돼요. 조직 관리자가 동의 안 하면 메뉴 자체가 안 보여요.

정리하자면

AI 경쟁의 다음 라운드는 더 강한 모델을 만드는 싸움이 아닌 것 같아요. 그 강력한 AI를 누구한테, 어떻게, 얼마나 솔직하게 열어줄 것인지가 진짜 싸움이에요. 앤트로픽은 첫 수를 뒀고, 사과했고, 방향을 바꿨어요. 오픈AI, 구글, 메타도 똑같은 문제를 곧 마주칠 거예요. 이 회사들이 어떤 선택을 하는지 지켜보는 게 앞으로 한동안의 관전 포인트가 될 것 같네요.

출처

• 채널명: 안될공학 - IT 테크 신기술
• 영상 주소: https://www.youtube.com/watch?v=abQDZmJGfxs