라이언 그린블랫을 모시고 재귀적 자기개선(recursive self-improvement)에 대해 이야기하고, 또 토론했다.
이건 아마 지금 이 세상에서 가장 중요한 질문일 것이다. 인간 수준의 지능에 도달하고 나서 1년 남짓한 사이에, 각각이 모든 분야의 최고 인간 전문가보다 압도적으로 유능한 초지능 수백억 개를 갖게 되는 상황으로 튕겨 나가느냐 하는 문제 말이다.
나는 역사적으로 이 가능성에 회의적이었다. 내 직관은 우리가 컴퓨트 확장뿐 아니라 인간 전문가 데이터에서도 상당한 병목에 걸릴 거라는 쪽이었다. 나는 오늘날 AI 진보의 상당 부분이 바로 그 데이터에 기대고 있다고 본다.
만약 RSI 때문에 AGI에 도달한 뒤 단 1년 만에 GPT-3에서 미토스(Mythos)까지 가는 정도의(즉 6년치 AI 진보에 해당하는) 도약이 일어난다면, 그 1년 끝에 나오는 물건은 결정적으로, 그리고 터무니없이 초인간적인 존재다.
우리는 이 문제를 붙잡고 씨름했고, 나는 라이언이 이런 종류의 가속이 그럴듯하다는 꽤 괜찮은 논거를 제시했다고 생각한다. 참고로 라이언이 보는 AI 연구개발 자동화 시점의 중앙값은 2031년이다.
그다음 우리는 이 시나리오의 정렬(alignment) 함의를 논의했다. 이 초지능들은 누구에게 정렬되어야 하는가? 앞으로 우리가 우리의 표와 자본을 관리하는 능력, 그리고 세상에서 무슨 일이 벌어지고 있는지 이해하는 능력은 전부 초지능을 통해 걸러지게 될 것이다. 그리고 나는 클로드 헌법(Claude Constitution) 같은 명세들이 이 ASI들을 진정한 의미에서 나의 개인적 대변자이자 수호천사로 빚어내고 있지는 않다는 점이 걱정스럽다.
그리고 애초에 우리가 그것들을 무엇에든 정렬시킬 수는 있는가? 라이언과 나는 OpenAI/허깅페이스 해킹 사건에서 목격한 것과 같은 종류의 보상 해킹이, 문자 그대로 세계를 장악하기 위해 팀을 짜는 초지능으로까지 외삽되는지를 두고 긴 토론을 벌였다.
운전을 배울 때 처음 듣는 조언은, 바로 앞 타이어를 보지 말고 지평선을 보면 훨씬 부드럽게 간다는 것이다. AI의 궤적도 마찬가지다. 즐겁게 들어주시길!
AI 연구개발은 재귀적 자기개선을 촉발할 만큼 검증 가능한가?
오늘은 라이언 그린블랫과 이야기를 나눕니다. 레드우드 리서치(Redwood Research)의 수석 과학자이고, 기술적 AI 안전 및 보안 작업에 집중하고 계시죠.
재귀적 자기개선에 대해 얘기해보고 싶습니다. 인간 수준의 지능을 만들어내고 나면, 그것이 빠르게 수백억 개의 초지능으로 튕겨 나가고, 그 하나하나가 모든 분야의 최고 인간 전문가보다 유능해진다는 아이디어죠. 이게 실제로 벌어질지 아닐지는 아마 지금 세상에서 가장 중요한 질문일 겁니다. 그리고 역사적으로 저는 이런 일이 벌어진다는 데 꽤 회의적이었는데, 라이언은 그게 그럴듯하다고 생각하시는 것 같아서 그 논거를 듣고 싶었습니다.
왜 하필 AI 연구개발부터인가
회사들이 가장 공들이는 영역인 데다, 채점이 쉽다.
얘기해봅시다. 우선, AI 연구개발은 AI가 특히 잘하는 종류의 과제라는 점을 짚어둘 필요가 있습니다. 회사들이 자기 AI를 AI 연구개발에 능하도록 정말 열심히 만들고 있으니까요. 게다가 지금 AI 개발이 굴러가는 방식의 관점에서 봤을 때 좋은 성질을 많이 가진 영역이기도 합니다. 꽤 검증 가능하죠. 반복적으로 이것저것 해볼 수 있고, 여러 지표를 따라 언덕 오르기(hill climbing)를 하게 됩니다.
AI 연구개발에서 최고 인간 전문가와 대략 맞먹는 AI를 갖게 되면, AI가 AI 연구를 하는 되먹임 고리가 시작될 수 있다고 봅니다. 그게 더 똑똑한 AI를 만들어내고, 그게 다시 되먹여지고요. 그 되먹임 고리가 충분히 강하다면 짧은 기간에 엄청난 진보가 나올 수 있습니다. 제 중앙값 예상은 한 해에 4~5년치 AI 진보 정도입니다. 여기엔 연구에서의 막대한 수확 체감을 극복하고, 사실상 아주 큰 규모의 컴퓨트 확장을 했을 때 얻었을 진보에 맞먹는 걸 해내는 게 필요합니다. 그러니까 이건 꽤 인상적이고 큰 일이죠.
5년치 AI 진보, 4년치 AI 진보, 심지어 3년치 AI 진보도 정말 어마어마하게 많은 AI 진보라는 걸 염두에 둬야 합니다. 3년 조금 전에 GPT-4가 나왔죠. 지금은 물론 미토스 5나 뭐 그런 게 있고, 아마 앤트로픽 내부에는 그보다 조금 더 나은 모델이 있을 겁니다. 3년 남짓 만에 그건 그야말로 엄청난 진보예요. 5년을 얘기하는 거라면, 아마 GPT-3에서 미토스 5로 가는 정도의 도약을 말하는 셈입니다.
세 갈래로 쪼갠 논증
검증 가능성, 1년에 5년치, 그리고 그 끝에 나오는 물건.
이 논증에는 세 부분이 있다고 봅니다. 각각을 하나씩 평가해보고 싶어요. 첫째는 AI 연구개발이 매우 검증 가능하다는 주장. 둘째는 AI 연구개발을 자동화하면 한 해에 4~5년치 진보를 얻을 수 있다는 주장. 셋째는, AI 연구개발이 자동화되는 시점에서 출발해 현재 속도로 4~5년치 AI 진보를 겪고 나온 결과물이, 상상할 수 있는 거의 모든 일에 그냥 투입해도 되는 AI라는 주장입니다.
1940년대 텍사스 정치판에 떨궈 놓으면 린든 존슨을 압도하고, TSMC에 떨궈 놓으면 TSMC의 공정 엔지니어링을 더 잘하는 법을 배우죠. 영상 편집도 당연히 더 잘하고요… 제 영상 편집자들은 아주 훌륭합니다만, 어쨌든 그 AI는 자기가 맡게 된 어떤 일에서든 인간보다 낫다는 겁니다.
그래서 저는 이 하위 논증들 전부를 평가해보고 싶습니다. 결국 당신이 2030년쯤으로 예상하는 그 이정표 직후에 ASI가 나온다는 결론으로 이어지는 논증들이니까요.
AI 연구개발의 완전 자동화는 아마 2030~2031년 어딘가로 봅니다. "모든 인간을 업무에서 이긴다"는 이정표는 중앙값으로 2033년쯤이고요. 다만 AI가 AI 연구개발을 완전히 자동화하는 걸 실제로 목격한다면, 그로부터 1년 안에 그다음이 온다고 예상합니다. 예측이라는 게 그런 식으로 굴러가요. 중앙값들 사이의 차이가 이정표 간 차이의 중앙값보다 크거든요. 뭐, 아무튼요.
참고로 인터넷에 이런 밈이 있어요. 제가 누군가에게, 예컨대 다리오한테 타임라인을 물을 때마다 항상 "좋아요, 제 영상 편집자들을 자동화하기까지 얼마나 걸릴까요?"라고 묻거든요. 이 팟캐스트를 들을 때마다 제 영상 편집자가 이 팟캐스트를 편집하고 있다는 밈이 있죠.
그런데 제가 그렇게 묻는 이유는, 잘 모르는 직업을 얘기할 땐 추상에 빠지기 쉽기 때문입니다. 제가 실제로 이해하는 직업, 그러니까 왜 지금 LLM이 그 일을 넘겨받기 어려운지 제가 아는 직업을 통해 아주 구체적으로 이해하려는 거죠.
영상 편집자 자동화 이정표가 텍사스 정치를 포함해 즉석에서 적응해야 하는 모든 인간 직업의 자동화보다 먼저 온다고 봅니다. 영상 편집자 자동화는 아마 AI 연구개발 완전 자동화 근처에서 일어날 것 같은데, 사람들이 영상 이해에 얼마나 집중하느냐에 아주 민감할 겁니다.
좋습니다, 그럼 AI 연구개발이 매우 검증 가능하다는 주장부터 시작하죠.
소규모 환경을 무한정 찍어내기
H100 여덟 장짜리 훈련 과제를 수천 개 만들어 RL을 돌린다.
여기엔 여러 갈래가 있습니다. 하나는, 모델에게 어떤 AI 연구개발 과제나 그와 아주 가까운 과제를 직접 훈련시키는 환경을 잔뜩 만들어 훈련시킬 수 있다는 겁니다. 예를 들어 모델이 H100 여덟 장 정도의 소규모 컴퓨트로 어떤 AI를 훈련시키는 환경을 만들 수 있죠. 그 모델은 GPT-2 미디엄 정도 되는 것일 수 있고, nanoGPT 미디엄 실행과 비슷하게, 강화학습(RL)으로 이것저것 조정하고 반복하게 하는 겁니다.
이걸 여러 과제에 대해 할 수 있습니다. 이미지 분류 모델, 영상 생성 모델, 이미지 생성 모델 등 온갖 종류의 ML 훈련 과제를 시킬 수 있어요. 점점 더 좋은 모델을 훈련시키는 과제로 RL을 돌릴 수도 있고, "자, 여기 알고리즘 방향이 하나 있는데, 이걸 구현해볼 수 있겠어?" 같은 것도 할 수 있고요.
기본적으로 컨테이너화 가능하고 검증 가능한 소규모 AI 연구개발 과제의 큰 부류가 존재하고, 우리는 거기에 AI를 공격적으로 RL 돌릴 수 있습니다. 이미 회사들은 이런 종류의 RL을 어느 정도 하고 있을 테고, 그걸 계속 키우고, 이런 소규모 AI 연구개발 과제를 계속 더 만들면 AI는 계속 나아질 수 있습니다. 암묵적으로 저는 이게 AI 연구개발의 극도로 핵심적인 부분들로 전이될 거라고 주장하는 셈인데요. 일단 여기서 잠깐 멈추고 그 부분은 나중에 다루죠.
그럼 이게 구체적으로 어떤 모습인지 짚어봅시다. GPT-7.5가 있다고 해보죠. 우리가 "GPT-7.5야, 우리는 네가 AI 연구개발을 너무 잘해서 GPT-9을 훈련시키는 걸 도울 수 있길 원해"라고 합니다. 그래서 GPT-7.5를 훈련시키려고 여러 환경을 만듭니다.
말씀하신 대로, 이미 안드레이 카파시의 nanoGPT 스피드런의 후손 격인 저장소가 있죠. 옵티마이저부터 하이퍼파라미터, 아키텍처까지 모든 걸 바꿔가며 정해진 훈련 손실값에 최대한 빨리 도달하려는 겁니다. 다른 종류의 환경도 상상할 수 있어요. "GPT-7.5야, 비디오 게임을 정말 잘하는 모델을 훈련시켜줘. 같은 게임을 반복해서 플레이할수록 실제로 나아지는 모델을 원해. 그러니까 모델이 온라인 학습을 더 잘하도록 돕는 법을 알아내봐. 어떻게 알아내든 상관없어. 무슨 미친 뉴럴리즈든 벡터 메모리든, 아니면 그냥 더 나은 롱컨텍스트든. 상관없어. 온라인 학습 연구를 어떻게 하는지 알아내."
당연히 GPT-7.5는 이미 똑똑한 모델일 테고, 지금 모델들이 점점 똑똑해지는 것과 같은 방식으로 코딩도 점점 잘하게 되겠죠. 이런 환경 100개쯤을 상상할 수 있습니다. AI 연구개발 능력을 유도하는 환경들, 예컨대 GPT-7.5가 GPT-2 크기 모델을 개발하게 하는 컨테이너화된 버전 같은 것들이요. 그러고 나서 GPT-7.5를 이런 훈련에 통과시켜 GPT-8을 만듭니다. GPT-8은 이제 놀라운 ML 연구자죠. 이 모든 훈련을 거치며 엄청난 직관을 얻었으니까요.
솔직히 저에게 큰 직관 펌프(intuition pump)가 된 건 AI가 수학에서 이룬 진전입니다. 아주 검증 가능한 영역이면 AI는… 저는 수학 연구의 세부 내용은 잘 모르지만, 그냥 "아니, 되네" 싶어요. 완전히 검증 루프 안에 집어넣을 수만 있으면 홍수처럼 밀려들어 실제로 새로운 돌파구를 만들어낼 수 있더군요.
저는 ML 연구에도 수학 연구 같은 성질이 있는지 궁금합니다. 서로 다른 분야를 연결하는 데서 오는 큰 여유분이 있었던 것처럼 보이거든요. 대수기하학과… 뭐였죠? 그걸 둘 다 충분히 아는 사람이 아무도 없었던 거죠.
아이고, 저는 수학 돌파구에 대해선 정말 모릅니다.
위상수학과 대수 뭐시기를 둘 다 충분히 아는 사람이 없어서, 어떤 큰 추측에 대한 반례를 만들지 못했던 거죠.
제 견해로는 ML은 수학보다 덜 깊은 영역입니다. 그래서 어떤 영역에 정말 깊은 전문성을 가진 개별 전문가들이 그걸 결합한다는 식의 일은 덜하죠. 물론 그런 요소도 분명히 있긴 할 겁니다.
하지만 저는 ML이 어떤 면에서 수학보다 AI 훈련에 더 유리한 속성을 가진다고도 봅니다. 특히 자기가 잘하고 있는지 감을 잡기 쉽고, 중간 진척을 볼 수 있어요. 수학에서는 성공에 가까워졌는지 알 방법이 없는 경우가 많죠. 반면 목표가 예컨대 어떤 훈련 손실에 2배 빨리 도달하는 거라면, 절반쯤 왔다는 걸 어느 정도 알 수 있습니다. 또 ML의 혁신들은 대체로 매우 가산적, 혹은 관점에 따라 곱셈적입니다. 기본적으로 혁신을 계속 쌓아 올릴 수 있어요. 보통 혁신들은 그냥 더해지고 서로 간섭하지 않습니다. 물론 세부 사항에 따라 다르겠지만요.
그래서 저는 여러 면에서 AI 연구개발이 수학과 꽤 비슷한 성질을 가질 거라고 봅니다. 실제로 관심 있는 문제와 구조적으로 꽤 유사한 AI 연구개발 조각들을, 매우 검증 가능한 방식으로 훈련시킬 수 있고, 그게 전이된다는 거죠. 얼마나 잘 전이될지는 열린 질문이지만, 현재 수학에서의 전이는 꽤 좋아 보입니다. 제 예상으로는 AI 연구개발의 전이도 꽤 좋을 겁니다. 다만 놀라울 정도는 아니고요.
수학이라는 선례
검증만 되면 밀려들지만, 아직 군론을 창시하지는 못한다.
제가 우려하는 건, 제가 아는 한 수학에서조차 우리는 아주 인상적인 새 이론을 본 적이 없다는 겁니다. 인상적이고 검증 가능한 구체적 결과들, 예컨대 이 추측의 반례를 찾아라 같은 건 많이 봤지만, "위상수학이라는 개념을 창안하라" 수준이나 "군론 같은 걸 만들어내라" 수준은 못 봤어요.
ML 연구에는 이 두 가지 요소가 다 있는 것 같습니다. 그런데 문제를 사고하는 새로운 방식을 떠올리는 덜 검증 가능한 쪽은 유도하기가 더 어려울 겁니다. 예를 들어 스케일링 법칙이라는 아이디어를 봅시다. 물론 2020년에 스케일링 법칙 아이디어가 있으면 GPT-4를 더 잘 훈련시킬 수 있으니 최종 검증 루프는 존재하죠. 하지만 AI에게 "좋아, 파라미터와 데이터를 어떻게 확장할지 신중히 생각해야겠어. 이걸 이해하려면 어떤 조사를 해볼 수 있을까? 시각화를 만들고 isoFLOP 분석 같은 걸 해볼 수도 있겠군"이라고 하도록 유도하는 길은 더 길고 컴퓨트도 더 많이 들어갈 겁니다. 그건 "야, nanoGPT 손실값 낮춰봐"보다 훨씬 긴 검증 루프처럼 보이거든요.
얘기해봅시다. 우선 수학 맥락에서 제가 하고 싶은 말은, AI가 '걸음마 수준의 첫 새 이론(baby's first new theory)' 정도는 할 수 있다는 겁니다. 예컨대 연결을 만들어내고 새로운 이해를 생산해서 흥미로운 추측을 증명하는 거죠. "오, AI가 찾아낸 이 구성이 꽤 흥미로운데" 라거나, 문제를 조금 다르게 보는 방식을 찾아냈다거나. 그런 건 실제로 보입니다. 다만 우리가 보는 사례들이 군론을 창시하는 것만큼 인상적이지 않을 뿐이죠.
군론 창시는 아마 역대 최고, 최대의 수학적 업적 축에 들 텐데, AI는 아직 수학을 그 정도로 잘하지 못합니다. 제 관점에서는 그것과 지금 보고 있는 것들 사이에 연속체가 있고, AI는 그 위를 계속 행군해 올라가고 있습니다.
둘째로, 저는 ML이 수학에 비해 아주 얕은 영역이라고 봅니다. 수학에는 어떤 참되고 깊은 추상을 발견해서, 이해하기 어려운 그것을 정말로 이해하면 비로소 어딘가에 도달하는 성격이 훨씬 강했죠. 반면 ML에서 그에 해당하는 것들은 정말 멍청한 헛소리 같습니다. 스케일링 법칙만 해도, 참 나, 우리 스케일링 법칙은 아주 빨리 설명할 수 있잖아요. 수학에서 가장 깊고 중요한 개념들은 그 밑바탕과 왜 중요한지를 아주 짧은 시간에 이해시킬 수 있는 성질을 갖고 있지 않다고 봅니다.
깊은 통찰이냐 실전 감각이냐
라이언은 AI에게 부족한 것이 통찰이 아니라 취향이라고 본다.
그럴 수도 있죠. 제 감으로는 어떤 영역들은 작동 방식과 깊은 추상에 얼마나 의존하는지에서 구조적으로 다릅니다. 물리학과 수학은 깊고 떠올리기 어려운 아이디어 쪽에 훨씬 치우쳐 있고, ML과 대부분의 다른 영역들은 언덕 오르기에 훨씬 적합하다고 봅니다. 앞으로도 그렇게 흘러갈 거라는 게 제 감각이에요.
AI가 힘겹게 갈아야 하는 국면에서도 — 2030년이고, 연구의 낮게 달린 열매는 이미 다 따먹혔고, 더 진보해야 하는 상황 — 저는 여전히 작업의 상당 부분이 점점 복잡해지는 인프라를 구축하고, 실험이 대략 어떤 모습이어야 하는지에 대한 아주 좋은 직관을 갖는 쪽에 더 놓여 있을 거라고 봅니다. 그래서 AI에게 결여될 것이 어떤 깊은 통찰이라는 생각에는 덜 공감합니다. 오히려 저는 AI가 지금 갖고 있지 않은, 실전 실험에 대한 취향(taste)이 정말 많이 필요하다는 쪽에 더 공감해요. 어떤 훈련 접근법이 먹히고 안 먹힐지에 대한 직관, 현재 연구자들이 가진 그런 직관 말입니다.
AI에서 어떤 돌파구가 있었던 경우에도, 돌이켜보면 그 돌파구를 실현하는 큰 병목은 미세한 세부 사항과 지저분한 직관을 전부 제대로 맞추는 일이었던 적이 많습니다. 한 예가 AI를 추론과 사고 사슬에 능하도록 훈련시키는 것, 즉 사고 사슬에 RL을 돌리는 겁니다. 정말 규모를 키우고 잘만 했다면 GPT-3에도 사고 사슬 RL을 돌려 수학에서 꽤 흥미로운 결과를 얻을 수 있었을 것 같거든요.
하지만 당시엔 더 쉬운 열매들이 있었죠. 또 그 훈련을 제대로 하려면 기술적 구현과 규모 확장, 하이퍼파라미터 맞추기 같은 실무 진창을 헤쳐야 합니다. Qwen 1B 같은 걸로 다 시연해서 이게 먹히겠다는 감을 잡을 수는 있겠지만, 사람들이 할 수 있었던 것보다 늦게 시연한 이유는 파라미터를 정확히 어떻게 조율하고 어떻게 세팅하는지에 대한 지저분한 세부와 직관 때문이었습니다.
솔직히 이게 이 이야기에 대한 제 남은 회의감입니다. 연구 돌파구가 지능에 그렇게 잘 반응한다면, 왜 AI 진보가 역사적으로 가능했던 것보다 더 빠르지 않았는지 이해가 잘 안 돼요. 말씀하신 대로, RLVR이 실제로 작동하게 됐을 때 — 더 적은 컴퓨트로도 할 수 있었는데도 — 우리는 이 훈련을 하기 전에 바다 같은 컴퓨트, 기가와트급 컴퓨트가 가용해질 때까지 기다려야 했잖아요. 컴퓨트가 계속 늘어나야 돌파구가 더 나오는 궤적 위에 있었던 거죠.
모르겠어요. 2022년에도 추론 문제를 풀려던 AI 연구자가 많았잖아요. 그냥 인프라 코드를 짜는 능력에 병목이 걸려 있었던 걸까요, 아니면 무슨 일이 있었던 걸까요?
복잡한 혼합입니다. 실험을 떠올리자마자 버그 없이 그 실험을 돌릴 수 있었다면 훨씬 빨리 갔을 거라고 봅니다. 버그가 없다는 게 아주 중요하죠. 또 다른 부분은, 높은 컴퓨트로 실험을 많이 돌릴 수 있으면 구현이 살짝 틀렸거나 하이퍼파라미터가 정확하지 않은 부분을 덮어버릴 수 있다는 겁니다. 그러니까 컴퓨트는 AI 연구에 정말 도움이 되고 많은 걸 가려줍니다. 하지만 그렇다고 노동력의 대규모 증가가 도움이 안 된다는 뜻은 아니에요. 특히 그 노동력이 이 분야 최고 수준의 직관을 함께 갖고 온다면 말이죠. 그건 정말 도움이 됩니다.
제 관점의 또 다른 부분이자 당신과 좀 다를 수 있는 지점은, 제가 당신이 상상하는 것보다 전이가 더 많이 일어날 거라 예상한다는 겁니다. 저는 이 AI들이 실제로 꽤 좋은 과학자 일반이고 그런 것들을 꽤 합리적으로 해낸다고 상상합니다. 상호작용해보면 극도로 특화된 서번트 같은 느낌이 아니에요. 연구개발의 모든 것을 꽤 잘하고, 일부 하위 영역에서는 극도로 잘하는 거죠. 커널 작성에서는 압도적으로 초인간적이고, 피드백 루프가 아주 짧은 모든 것에서 압도적으로 초인간적이며, 나머지 모든 것도 꽤 잘해서 다른 사람들과 충분히 맞먹는다는 겁니다.
지금도 이런 게 보인다고 생각합니다. 지금 AI를 보면, ML 연구를 평범하게 하는 인간 정도는 꽤 유능하게 맞먹을 수 있어요. 다만 ML 연구를 평범하게 하는 건 별로 도움이 안 될 뿐이죠. 정작 필요한 건 ML 연구를 잘하는 사람입니다. 제 감각으로는 AI가 이 모든 면에서 나아지고 있어요. 취향도 나아지고 직관도 나아지고 있고, 이미 그 취향과 직관이 완전히 쓰레기는 아닙니다.
AI 진보는 인간 전문가 데이터에 병목이 걸려 있는가?
한 해에 5년치 AI 진보가 일어난다는 게 구체적으로 어떤 모습일지 아주 정확히 이해하고 싶습니다. GPT-3이 개발되던 때로 돌아갔다고 해봅시다. 아이디어는, 2022년에 그들이 갖고 있던 컴퓨트 수준으로도 그때 AI 연구개발을 자동화했다면 그해 말에 미토스를 가질 수 있었다는 거죠.
그게 아이디어입니다, 네.
미토스는 그때 그들이 가졌던 것보다 훨씬 많은 컴퓨트를 썼는데도, 그때 컴퓨트 수준으로 모든 돌파구가 일어날 뿐 아니라 그 컴퓨트로 미토스를 훈련까지 시킨다는 거죠.
필요한 건 당연히 그 이후의 모든 알고리즘 진보를 발견하는 겁니다. 사실 그보다 더 많이 발견해야 해요. 미토스가 쓰는 컴퓨트를 벌충해야 하니까요. GPT-3은 뭘로 훈련됐죠? 1e23 정도? 찾아볼 수 있겠네요. 그런데 그럴듯하게 네 자릿수(만 배) 차이인가요?
그보다는 좀 적을 겁니다. 빨리 찾아보죠. GPT-3의 훈련 컴퓨트는 약 3e23입니다. 제 감으로 미토스는 아마 그보다 3자릿수(1000배) 조금 넘게 높을 거예요. 그러니까 질문은 이겁니다. 이 1000배 컴퓨트 격차를 극복하면서 동시에 그 모델 자체가 되는 것이 가능한가?
여기 구체적인 주장이 하나 있는데 이걸 얘기해보면 좋겠네요. 지금 우리가 GPT-3 수준의 컴퓨트로 모델을 훈련시킨다면 어느 정도까지 갈까요? 제가 정확히 뭐라고 생각하냐면… GPT-3은 2020년에 나왔으니 6년 반, 7년쯤 전에 훈련됐죠. GPT-3은 좀 너무 과거일 수 있지만 일단 그걸로 가봅시다.
오늘 GPT-3 수준의 컴퓨트로 모델을 훈련시키면 얼마나 좋을까요? 알고리즘 진보가 작동하는 방식에 대한 제 이해로는, 대략 3년 전 최고 모델 수준의 모델을 훈련시킬 수 있을 겁니다. 그러니까 지금 GPT-3 컴퓨트로 GPT-4보다 조금 나은, 적당히 나은 버전을 만들 수 있다고 봅니다. 그게 대략 맞을 것 같고, 알고리즘 진보가 굴러온 방식과 대략 들어맞습니다.
기본적으로 이야기는 이렇게 됩니다. 5년치 AI 진보를 얻으려면 대략 8년치 알고리즘 진보가 필요할 겁니다. 아주 대충 말해서요. 그건 엄청난 양의 알고리즘 진보죠. 하지만 제 관점에서는 AI 진보의 대부분이 알고리즘과 데이터의 어떤 혼합에서 나왔고, 이 둘에서 계속 거대한 개선을 이뤄내며 더 적은 컴퓨트로 AI를 훈련시킬 수 있습니다.
데이터 산업이 진짜 동력인가
석유가 GDP의 1.5%라는 반론과, 그 반론이 자기 발등을 찍는 지점.
그 얘기를 꺼내주셔서 반갑네요. GPT-3, 아니 3.5 이후 지금까지 무슨 일이 있었죠? 왜 미토스는 이렇게 좋을까요? 물론 컴퓨트를 키웠습니다. 알고리즘도 나아졌고요. 하지만 크게 일어난 일 하나는, 우리가 수백억 달러짜리 데이터 산업을 구축해서 온갖 분야에 걸친 인간 전문가의 판단을 체계적으로 수집하고 코드화했다는 겁니다. RL 환경의 형태로, SFT 트레이스의 형태로 코드화됐죠. 그 전문가들이 모델에게 코딩을 어떻게 하는지, 복잡한 인프라 프로젝트를 어떻게 구축하는지, 법을 어떻게 하는지 등등을 더 잘 이해시키려고 만든 것들이요. AI가 지금 인간 전문가 판단이 하고 있는 그 역할을 어떻게 복제할 수 있죠?
제 감으로는 인간 전문가 데이터를 얻는 데 쓰는 노력을 키운 것이 AI 연구개발 전반에 엄청나게 중요했던 건 아닙니다. 특히 지난 몇 년간 우리는 컴퓨트를 키웠고, AI 회사에서 일하는 사람을 늘렸고, 데이터 라벨링에 쓰는 노력도 키웠습니다. 그런데 인간 전문가에게서 나오는 데이터 생성의 마지막 두 번의 배증쯤을 없앤다 해도 큰 차이는 없을 것 같아요. 실제로 벌어진 일의 상당 부분은, 사람들이 인간과 AI를 활용해 RL 환경을 구성하는 더 나은 방법을 개발해온 것입니다.
그런데 AI가 코딩을 이렇게 잘하게 된 건 어떻게 설명하죠? 그 큰 부분이 인간 전문가를 코드화한 데이터와 RL 환경이라고 생각하는데요.
하지만 질문은 RL 환경을 만드는 데 있어 제약 요인이 무엇이냐입니다. 제 감으로는 오늘날 RL 환경이 2024년보다 훨씬 나은 이유는 인간 전문가를 훨씬 많이 고용해서가 아닙니다. 그보다는 애초에 어떤 RL 환경을 만들어야 하는지, 어떻게 구조화해야 하는지를 훨씬 잘 알게 됐기 때문이에요. 또한 RL 환경을 만드는 데 엄청난 양의 AI 노동을 쓰고 있고요. 저는 이 효과들이 인간 노동이 RL 환경을 만드는 효과보다 훨씬 중요하다고 봅니다.
인간 노동이 중요하지 않다는 게 아닙니다. 다른 큰 동력들이 있다는 얘기죠. 논거를 대볼 수 있습니다. 하나는 사람들이 원하는 환경의 양이 엄청나게 많다는 겁니다. 그리고 AI는 "이런 게 필요하다"는 감만 주면 RL 환경을 만드는 과제 자체를 꽤 잘합니다. 활용할 기존 데이터도 있고, 이런 것들 상당수가 좋은 검증 루프를 갖고 있고요.
예를 들어 어제 비즈니스 인사이더에 보도된 걸 보세요. 구글이 메카나이즈(Mechanize)에 20억 달러 가까이 지불하고 있다는 기사요. 정말 좋은 인간 전문가 데이터가 얼마짜리라고 사람들이 생각하는지 시장 가격을 그냥 볼 수 있잖아요. 프런티어 랩들은 그게 아주 값나간다고 보는 것 같아요. 기꺼이 지불하고 있고요.
프런티어 랩 지출 중 컴퓨트가 아니라 데이터에 가는 비중이 얼마라고 보십니까? 컴퓨트 대 데이터 지출 비율이 어떻게 될 것 같아요?
압도적으로 컴퓨트겠죠. 하지만 그건 데이터보다 컴퓨트를 키우는 게 쉽기 때문이기도 하다고 봅니다.
하지만 그게 무엇이 진보를 이끄는지와 직결되는 얘기잖아요. 제 감으로는 비율이 20대 1이나 10대 1 정도입니다. 정확히는 모르겠고 회사마다 다르겠죠.
하지만 이건 석유가 GDP의 1.5%인 것과 비슷합니다. 그렇다고 석유를 빼도 GDP가 계속 돌아간다는 뜻은 아니죠.
그렇긴 한데, 그건 당신 논거를 반박하잖아요?
석유가 사라지면 경제는 즉시 멈춰 설 겁니다.
그렇죠. 하지만 방금 당신은 시장 가치가 높으니까 이게 핵심 동력임을 알 수 있다고 주장했고, 저는 그게 명백히 참은 아니라고 말하는 겁니다. 그 논법대로라면 오히려 컴퓨트가 훨씬 더 중요한 동력이거나, 직원 고용이 훨씬 더 중요한 동력처럼 보이거든요.
그럼 더 구체적으로 가보죠. 제 생각은 이렇습니다. 2022년으로 돌아가 GPT-3.5를 갖고 있는데, 인간 전문가 없이 코딩을 더 잘하게 만들려 했다면, 정말 정말 어려웠을 거라는 게 제 주장입니다.
GPT-8에서 ASI로 가는 게 왜 어려울지 예를 들어보죠. ASI가 잘하기를 바라는 일 중 하나는 이런 겁니다. "내가 회사 하나를 인수해서 훨씬 수익성 있게 만들고 온갖 미친 짓을 해서 더 잘 굴러가게 하겠다. 팹 하나를 인수해서 칩을 더 많이 생산하겠다. 의회에 가서 어떤 법안을 통과시키도록 설득하겠다" 등등.
5년치 AI 진보가 더 일어나면 AI가 이런 걸 할 수 있게 되리라고 상상합니다. 그리고 이게 제가 정말 걱정하는 겁니다. 세상에서 미친 짓을 어떻게 해내는지 이해하는 ASI, 키신저가 할 수 있는 걸 하고 스티브 잡스가 할 수 있는 걸 하는, 그리고 그의 엔지니어들이 하는 것도 하는 ASI요. 저는 그에 해당하는 세계 데이터 없이 그런 걸 어떻게 얻는지 잘 모르겠습니다. 미토스가 GPT-3 대비 코딩을 잘하게 만들어준 코딩 환경 없이도 코딩을 정말 잘한다는 것과 같은 얘기니까요.
TSMC에 떨궈놓기
캐시된 지식이 아니라 즉석 학습으로 전문성을 획득한다는 그림.
몇 가지 짚어보죠. 첫째, 미토스의 훈련 환경을 무작위로 뽑아보면, 실제로 모델을 사용하는 모습과 아주 다를 거라고 장담합니다. 제 감으로는 RL 분포가 실세계 데이터 분포와 아주 크게 어긋나 있고, 그 간극은 전이와 실세계에 초점을 맞춘 소량의 데이터가 섞여 상당 부분 메워집니다. 완전 자동화된 AI 연구개발 위에 5년치 진보를 쌓아 얻는 그 미친, 터무니없이 초인간적인 AI에서도 비슷한 메커니즘이 작동할 거라고 봅니다.
조금 더 풀어보죠. 특히 저는 아주 다양한 RL 환경에서 AI가 즉석에서 학습하는 능력, 맥락 내 학습(in-context learning)과 유사하되 다소 다른 메커니즘을 쓸 수도 있는 능력을 정말 잘하도록 훈련시킬 수 있다고 봅니다. AI가 즉석에서 적응하고, 즉석에서 배우고, 뭘 해야 할지 알아내고, 자기 상황을 더 잘 이해하고, 목표를 달성하기 위해 피드백에서 아주 빠르게 배워야 하는 환경들을 잔뜩 만드는 거죠. 자원은 제한돼 있고, 실수하면 훨씬 나쁜 상황에 처하게 되고요.
이런 환경을 엄청나게 많이 훈련시키면 즉석에서 맥락을 흡수하는 일반 기술을 배우게 될 겁니다. 그리고 이미 그런 게 보이고 있어요. AI는 이제 무슨 일이 벌어지고 있는지 대략 이해하고 주어진 제한된 정보에서 맥락을 잡아내는 걸 훨씬 잘합니다.
그러면 그 AI들을 TSMC에 투입할 수 있죠. TSMC가 문자 그대로 데이터 분포에 들어 있지 않더라도, 데이터 분포가 정말 넓고 AI는 자기 분포 위에서 극도로 뛰어나므로, TSMC 엔지니어 노릇을 잘하고 그걸 즉석에서 배우는 데까지 전이된다는 겁니다. AI가 TSMC 엔지니어를 잘하게 되는 방식은, 좋은 TSMC 엔지니어가 되는 법을 잔뜩 캐시해둬서가 아니라, 거기서 맥락 내 학습을 대규모로 확장한 무언가를 해내기 때문입니다.
그게 가장 평범한 이야기일 겁니다. 물론 이게 흘러갈 수 있는 방식은 여러 가지죠.
이건 아마 얼마나 멀리 갈 수 있는가에 대한 직관 차이로 귀결되는 것 같네요. 제가 아는 정말 똑똑한 사람들을 떠올려보면, 잘 모르는 영역에서는 그다지 유능하지 않거든요.
그런데 그 사람들이 배울 시간이 얼마나 있었죠?
경험이 있었다면 훨씬 나았을 거라는 데는 동의합니다. 하지만 그게 어쩌면 제가 주장하는 바예요. 경험, 즉 데이터가 필요하다는 것. 예를 들어 아주 똑똑한 아이비리그 졸업생을 데려다가 "좋아, 이제 자네가 이란 핵협상을 맡게"라고 하면, 그 사람은 뭘 해야 할지 모를 겁니다.
대신 여러 영역을 빠르게 습득하는 데 정말 능한 사람을 데려와서, 훈련하고 사람들과 대화하고 전문성을 보강하고 연습할 시간을 좀 준다면, 실제로 꽤 잘 해낼 거라고 봅니다. 저는 대부분의 영역이 근본적으로 꽤 얕다고 생각해요. 핵심 기술 몇 가지에 능한 아주 똑똑한 제너럴리스트라면 꽤 빨리 굴러갈 수 있습니다. 모든 영역에 해당하는 얘기는 아니지만요. 제 감으로는 AI가 주어진 영역에서 이해와 전문성을 빠르게 획득하는 메커니즘을 점점 더 잘 발전시킬 겁니다.
예컨대 AI가 새 코드베이스를 얼마나 빨리 이해하는지 생각해보세요. AI는 인간보다 훨씬 빨리 새 코드베이스를 이해하지만, 그 이해는 인간이 도달할 수 있는 것보다 얕습니다. 그런데 시간이 지나며 나아지고 있어요. 논거를 좀 더 펼쳐보죠. Fable 5나 미토스 5를 데려다 아주 거대한 코드베이스에 복잡한 변경을 가하려 한다고 합시다. 모델은 아주 빠르게, 어쩌면 한 시간도 훨씬 안 되는 사이에 코드베이스를 어느 정도 이해합니다. 그런 다음 그 이해가 다소 정체되죠. 인간이 훨씬 긴 시간에 걸쳐 얻었을 만큼 깊은 이해에는 도달하지 못합니다.
그러니까 AI가 한 시간에 하는 게 인간의 몇 주에 맞먹는 정도예요. 코드베이스가 얼마나 복잡한지에 따라 다르겠지만요. 하지만 그 코드베이스에서 2년간 일한 인간에는 못 미칩니다. 그런데 시간이 지나며 AI가 맞먹을 수 있는 이해의 양은 올라갔습니다. 3.7 소네트나 3.5 소네트를 보면, 아마 하루치 코드베이스 이해 정도밖에 맞먹지 못했을 겁니다.
하지만 이제 AI는 과제에 대한 맥락을 쌓는 걸 훨씬 잘합니다. "미토스, 이 코드베이스를 정말 제대로 이해한 다음 이 기능을 구현해줘"라고 할 수 있죠. 그러면 하위 에이전트를 무더기로 띄웁니다. 그 하위 에이전트들이 이것저것 샅샅이 훑고, 맥락을 잔뜩 물어옵니다. 그런 다음 몇 가지를 조사하죠. 놀라울 정도로 잘하진 않지만, 정말 빨리 일어나고 꽤 잘 작동합니다.
그리고 AI를 이 과제에 점점 더 능하게 훈련시키는 방법을 상상하기는 별로 어렵지 않습니다. 아주 큰 코드베이스에서 매우 복잡한 기능을 합리적인 방식으로 구현하는 과제는 극도로 검증 가능하고, AI가 개선될 수 있는 대상입니다. 마찬가지로, 맥락을 빠르게 이해하고 여러 AI가 병렬로 학습한 뒤 그걸 병합하는 더 넓은 기술도 있고요.
여기 쟁점이 하나 있는 것 같은데, 결국 경험적으로 확인될 문제겠죠. 상황을 이해하고, 속도를 붙이고, 검증 가능한 영역에서 긴 기간에 걸쳐 진전을 내는 데 정말 정말 능해지는 것 — AI가 명백히 아주 빠르게 훨씬 나아지고 있는 것 — 이, "자, 대통령을 만나서 X를 하도록 설득해봐"나 "이제 네가 구글을 맡는다. 이번 분기에 구글을 훨씬 수익성 있는 회사로 만들어야 해"로 얼마나 잘 전이되느냐죠.
관련될 만한 논거 몇 개를 더 펼쳐보죠. 하나는 AI가 에세이 쓰기에서 어떻게 나아졌는지를 보는 겁니다. 그 얘기를 좀 해보죠. 이런 영역에서도 데이터를 어느 정도 얻을 수 있습니다. 아주 빠른 진보 궤적 위에서라면 AI도 이런 영역의 데이터를 어느 정도 얻을 수 있을 거예요. "네 에세이가 인간이 보기에 정말 좋았나?"에 대한 검증 가능한 환경을 만들기는 어려울 수 있지만, 어느 정도는 할 수 있습니다. 훈련을 좀 할 수 있고, 온라인 훈련도 좀 할 수 있습니다. AI는 실세계 자료를 바탕으로 온라인 훈련을 할 수 있을 겁니다. 평가(eval)를 갖출 수도 있고, 샘플링할 수도 있고, 이걸 도는 주기를 키울 수도 있죠.
둘째로, 실제로 전이를 들여다보면 괜찮아 보입니다. AI는 검증이 어려운 영역에서도 실제로 많이 나아졌고, GPT-4에서 미토스로 오는 사이 개선 폭이 실질적으로 크지 않았던, 검증하기 정말 어려운 영역을 짚기가 어렵습니다. 물론 그렇다고 미토스가 최고 인간보다 낫다는 건 아닙니다. 어떤 직무의 어떤 측면에서는 전형적인 인간 전문가보다 상당히 못하면서도, 근처에도 못 갔던 GPT-4보다는 훨씬 나을 수 있으니까요.
지난 몇 년간 진보가 데이터에서 얼마나, 컴퓨트에서 얼마나 왔는지 얘기하고 있는데요. 그러고 보니 제가 아직 대학생인 제리 한과 함께 이걸 실험하고 있습니다. 진보가 데이터에서 왔는지 알고리즘에서 왔는지 평가하려고, 2019년부터 지금까지의 최고 알고리즘 레시피를 2026년 데이터 파일의 최고 데이터로 훈련시키고, 반대로 2019년부터 2026년까지의 서로 다른 데이터 파일들을 현재 최고 알고리즘 레시피로 훈련시키는 겁니다.
흥미로울 것 같아요. 어느 쪽에서 얼마만큼의 컴퓨트 배수가 나올지 미리 등록해두고 싶으신지 궁금하네요.
'데이터'라는 말의 두 가지 뜻
사전학습 데이터의 개선은 인간 전문가가 아니라 과학과 노가다에서 나왔다.
'데이터'라는 단어를 쓸 때 무슨 뜻인지 꽤 조심해야 합니다. 저는 인간 전문가에게 데이터 라벨링을 시키는 데 쓰는 지출을 늘리는 것, 혹은 인간 전문가가 라벨링한 데이터의 양을 늘리는 것을 구분하려고 꽤 신경 썼습니다. 지금 사전학습 데이터셋이 2019년보다 나은 이유는, 사람들이 인간 전문가에게 돈을 훨씬 많이 주고 AI가 학습할 데이터를 타이핑시켰기 때문이 아닙니다.
부분적으로는요.
그래서 제 견해로는 OpenWebText에서 FineWeb으로 가는 식의 개선은, GPU 몇 장으로 연구할 수 있는 알고리즘적 개선으로 기술하는 게 더 낫고, 그러려고 인간 전문가 데이터가 필요하진 않습니다. 이제 다른 효과를 얘기할 수도 있는데, 2026년의 인터넷이 2018년의 인터넷보다 훈련 데이터로서 더 비옥한 토양일 수 있다는 거죠. 인터넷에 글을 올리는 인간이 그냥 더 많아졌으니 수확할 데이터가 더 많다는 효과도 있고요. 제 감으로는 그 효과가, 사람들이 데이터를 더 잘 큐레이션하는 법을 알게 되고, 더 나은 스크레이핑을 갖게 되고, 그 스크레이핑을 더 잘 처리하는 법을 알게 된 효과보다 꽤 작을 겁니다.
이건 자동화된 엔지니어링, 자동화된 연구개발에 더 가깝네요.
맞습니다.
이해가 되네요.
어떤 의미에서 봐야 할 건 이겁니다. 사후학습 파이프라인 두 개를 돌린다고 해보죠. 하나는 미토스 5가 사후학습 파이프라인을 만드는데, 인터넷 데이터에 아주 소량의 인간 전문가만 쓸 수 있지만 현재 최고의 방법론을 가진 경우. 다른 하나는 미토스가 2024년의 형편없는 사후학습 방법론을 쓰되 인간 전문가를 어마어마하게 쓸 수 있는 경우. 둘 다 인터넷 데이터는 갖고 있고요. 제 감으로는 인간 전문가가 별로 없어도 현재 방법론 쪽이 꽤 잘 나올 겁니다.
흥미롭네요.
다만 좀 지저분한 게, 미토스가 미토스보다 더 유능한 걸 만들어낼 수 있느냐 하는 문제가 있어요. 어떤 모델을 사후학습시키는지에 대해 좀 신중해야 할 겁니다.
토큰 가격이 평평하다는 건 스케일링이 느렸다는 뜻
AI 연구개발에서 가장 검증하기 어려운 부분은 무엇이라고 보십니까?
가장 검증하기 어려운 건 아마 대규모 실험에 대한 판단일 겁니다. AI가 검증 가능한 영역은 아주 잘하는데 실제 일은 못 하게 만드는 병목으로 가장 유력한 건, 시도 기회가 몇 번밖에 없는 큰 실험입니다. 뭐, "몇 번"이라는 표현도 좀 축소된 거긴 하죠. 역사적으로 연구개발은 프런티어에 가까운 규모의 실험으로 굴러왔습니다. 무엇을 포함할지 정확히 결정해서 하나의 큰 훈련 런을 실제로 돌리는 게 꽤 중요했어요.
AI가 그걸 더 검증 가능하게 만들 방법은 여럿 있습니다. 정확히 무엇을 예측할지에 대한 과학을 더 잘 갖출 수 있고, 프런티어 규모 훈련 런의 규모를 낮춰서 그 스케일을 더 공격적으로 연구할 수도 있죠. 컴퓨트 비용에서 일회성 손해를 감수하면서요. 마음만 먹으면 언제든 할 수 있는 건 더 작은 모델을 훈련시켜 더 많은 라운드를 도는 겁니다. 실제로 그런 게 보였다고 생각해요.
AI가 예상보다 덜 스케일업된 이유, 예컨대 토큰당 비용이 생각만큼 오르지 않은 이유 하나는, 작업의 더 많은 부분을 작은 규모에서 처리하는 데 이점이 있기 때문입니다. 훈련 런을 더 많이 돌리고 사이클을 더 많이 돌 수 있으니까요. 그래서 하나의 크고 아주 중요한 훈련 런에 그만큼 크게 기대지 않게 되는 거죠.
청중을 위해 몇 가지 풀어보겠습니다. 지금 지적하신 건 토큰당 가격이 2023~2024년 이후 그렇게 많이 오르지 않았다는 겁니다.
GPT-4가 출력 100만 토큰당 30달러 정도였나요? 미토스는 100만 토큰당 50달러쯤이고요.
맞아요. 그러니까 설명하려는 건 "우리는 스케일링 시대에 있고 더 큰 모델은 서빙 비용이 더 비싸야 하는데, 어떻게 토큰 가격이 안 오르지?"입니다. 당신 설명은, 사람들이 모델 훈련에서 빠르게 진전을 내고 싶어 하기 때문에 활성 파라미터를 순진하게 예상한 것보다 천천히 늘렸다는 거죠. 그렇게 하려면 더 작은 모델을 더 빨리 훈련시키면 되니까요.
복잡한 요인들이 섞여 있습니다. 제 견해로는 사람들이 잘 안 풀린 큰 훈련 런을 여럿 돌렸다는 쪽이 더 큽니다. GPT-4.5가 있죠. OpenAI 사람들이 좀 실패작이라고 생각했다고 유명하고요. 사람들이 돌린 다른 훈련 런들 중에도 좀 실패였던 것들이 있다는 소문이 있습니다. 그걸 제대로 해내는 데 세부 사항이 정말 많다는 게 일부 이유죠.
그래서 최종 성능에서 손해를 감수하더라도 작은 규모에서 더 많은 작업을 하고 빠르게 반복하는 게 말이 되는 겁니다. 모델을 더 많이 더 빨리 훈련시켜 더 잘 배우고, 결과적으로 더 똑똑한 최종 프로덕션 모델을 낼 수 있으니까요. 이게 유일한 효과는 아닙니다. RL이 작은 모델에서 이득이 더 크다는 점도 있고요. 여러 가지가 얽혀 있습니다. 하지만 알고리즘 진보가 워낙 빠르기 때문에 사람들이 실제로 반복 속도가 빠른 쪽으로 트레이드오프를 하고 있다고 봅니다.
버그 찾기는 오히려 쉬운 과제
노암 샤지어가 코드베이스를 훑어보고 버그를 잡아냈다는 일화.
제가 보기엔 이 큰 훈련 런들이 실패한 큰 이유는, 적어도 소문상으로는, 추적하기 정말 어려운 아주 미묘한 버그들인 것 같습니다.
요약하면, AI가 이런 실수를 피하고 찾아내는 걸 얼마나 잘하게 될까요? 엔지니어링과 버그 회피 훈련은 정말 잘하게 될 수도 있죠. 지금 우리가 사는 '슬롭' 세계의 정반대, 아니 시간이 갈수록 슬롭에서 벗어나고 있는 세계요.
하지만 또 하나의 질문은 "지금 훈련 런에서 뭐가 잘못되고 있는지 알아내려면 어떤 실험을 돌려야 하는지, 그 분석을 할 수 있는가?"입니다. 이건 극소수 인간의 취향에 심하게 병목이 걸린 것 같아요. 제 짐작으로는 GDM이 지금 이걸 겪고 있을 겁니다. 인간들이 훈련 파이프라인의 뭐가 잘못됐는지 알아내려 애쓰고 있겠죠.
노암 샤지어가 GDM에 합류한 직후 — 지금은 떠났지만 — 아주 좋은 훈련 런이 새로 나왔는데, 그 이유가 노암 샤지어가 그들 코드베이스를 보고 버그를 잔뜩 찾아냈기 때문이라는 소문이 있습니다. 어디를 봐야 할지 그냥 알았던 거죠.
제 감으로는 버그를 찾도록 AI를 훈련시키는 건 비교적 쉬운 축의 과제일 겁니다. 우리가 얘기하는 버그 대부분은 아마 그리 많은 컴퓨트 없이도 재현할 수 있으니까요. 작은 규모에서 다른 종류의 버그를 짚어내는 훈련이 꽤 잘 전이될 겁니다. 그러면 이 복잡한 훈련 상황 전체를 들여다보고 중요한 버그가 있는 지점을 짚어내고 고치도록 AI를 RL 훈련시킬 수 있죠.
이건 꽤 검증 가능한 과제입니다. 임의로 검증 가능하진 않아요. 버그를 시연하려면 분산 인프라 전체를 띄우고 돌리는 중간 규모 컴퓨트 실험이 필요할 때가 많을 테니까요. 하지만 상당수는 작은 규모에서 꽤 설득력 있게 시연할 수 있고, 그건 실제로 훈련시킬 수 있는 형태일 겁니다.
지금 사람들이 어떤 훈련 레시피에 미묘한 버그를 심어 넣고, AI가 그 미묘한 버그를 짚어내도록 훈련시키고, "실제로 맞는 버그를 찾았나?"를 채점하는 루브릭을 갖춘 RL 환경을 갖고 있다 해도 저는 별로 놀라지 않을 겁니다. 아주 해볼 만해 보이고, 이런 선상에서 꽤 잘 작동할 것들이 여럿 있습니다. 그래서 그 지점에 관해서는 가능하다고 봅니다.
그다음 핵심은, 정확히 어떤 대규모 위험 제거 실험을 돌려야 하는지에 대한 직관입니다. 어떻게 설계할 것인가? 불확실한 경우 하이퍼파라미터, 혹은 그에 준하는 것들을 어떻게 고를 것인가? 그게 AI가 가장 어려워할 부분일 수 있습니다. 하지만 저는 이 다양한 환경들에서 훈련시키면 전이가 충분히 일어나서 AI가 그 영역도 잘하게 될 거라고 봅니다.
분명히 해두자면, 저는 AI가 다른 영역들로도 전이될 거라고 봅니다. AI가 압도적으로 잘하는 영역, 좀 덜 잘하는 영역, 꽤 많이 덜 잘하는 영역이 있겠죠. 하지만 모든 것에 어느 정도의 전이는 보인다고 생각합니다. 인간이 하는 인지 과제 중에 AI 개선의 전이가 전혀 안 보이는 예를 떠올리기가 정말 어렵거든요.
AI가 훈련할 수 없는 기술들: 애초에 필요하기는 한가?
그럼 한발 물러서서 이 이야기 전체를 정리해봅시다. 사람들도 대략 따라올 수 있을 것 같아요. GPT-7.5가 여러 환경에서 훈련되는데, 그냥 전반적으로 더 나은 AI가 되는 것뿐 아니라 구체적으로 AI 연구개발을 더 잘하도록 훈련됩니다. 샘플 효율성이나 온라인 학습 같은 능력이 필요한 비디오 게임을 더 잘하는 GPT-2 크기 훈련 런을 돌리고요.
정말 중요한 게 하나 더 있는데, GPT-2 크기 런만 하는 게 아니라 GPT-6에 소규모 미세조정 런도 돌린다는 겁니다. 그러니까 GPT-2는 사전학습 전체를 돌릴 수 있고, GPT-6에는 소규모 사후학습이나 중간학습 런을 돌릴 수 있죠. 그리고 실제 프런티어 규모에서 소수의 실험을 하되, 온라인 훈련을 조금 하는 식으로요.
여기서 "온라인 훈련을 한다"는 게 무슨 뜻이죠?
실전 성과를 훈련으로 되먹이기
연습용 환경에서는 결과를 버리지만, 진짜 실험에서는 결과까지 챙긴다.
우리가 할 수 있는 또 다른 일은 GPT-7.5를 데려오는 겁니다. GPT-7.5는 작업 과정에서 AI 연구개발의 임계 경로에 실제로 놓인, 다양한 규모의 실험을 잔뜩 돌리고 있을 거예요. 그중 상당수는 사후에 잘했는지 못했는지 감을 잡을 수 있습니다.
어떤 방법이 실제로 먹히는지 알아보려고 사후학습 실험을 했다고 해보죠. 어떤 경우엔 "우와, 죽여주는 방법을 찾아냈고, 위험도 완전히 제거했고, 완벽히 작동했다"가 됩니다. 그러면 그걸 강화할 수 있죠.
할 수 있는 한 가지는 방금 돌린 그 실험을 프로덕션 데이터 기반의 RL 환경으로 변환해 훈련시키는 겁니다. 아니면 그걸 찾아낸 롤아웃을 그대로 가져다 오프폴리시 RL을 돌리거나, 프로덕션 데이터를 좀 써서 온폴리시 RL을 돌릴 수도 있고요.
그러니까 요지는 이렇군요. 소규모 훈련 쪽은 AI에게 AI 연구개발의 감각을 길러주는 게 목적이고, 거기서 실제로 뭘 발견했는지는 버립니다. 그런데 AI 연구개발을 더 잘하려고 애쓰는 과정에서 AI가 진짜 연구개발도 하게 되죠. 그러면 "네가 발견한 이거 꽤 멋진데. 앞으로 실제 제품 개발에도 쓰고, 겸사겸사 이걸 실전에서 쓰는 법도 너에게 가르치자"가 되는 거고요.
맞습니다.
컨테이너에 담기지 않는 일들
무역협정 협상을 대체 어떻게 채점할 것인가.
그런데 한발 물러서면, 이 모든 AI 연구개발 훈련과 전반적인 똑똑해짐의 결과로 GPT-7.5가 GPT-8이 됩니다. 그리고 GPT-8이 GPT-9을 만드는 걸 돕죠. 여기서 아주 중요한 또 하나가 일어나야 하는데, 이게 제가 가장 회의적인 부분입니다. 지금 인간 AI 연구자들은 이것저것 시도해보고 "좋아, GPT-4.5를 훈련시켰는데 별로였어"라고 합니다. 실세계 피드백이나 프로덕션에서 모델을 써보는 평가가 필요했던 거죠. 그러고는 "별로니까 출시 안 한다"가 됐고요.
그래서 GPT-8은 당신이 얘기한 모든 다른 것들 — 텍사스 정치를 정말 잘한다든가, 사업을 정말 잘 운영한다든가 — 로의 전이가 얼마나 잘되는지 볼 수 있어야 하는데, 그건 프로덕션 환경이 아니고, 과제의 성격상 컨테이너화된 환경이 될 수도 없습니다. 에이전트의 시간 지평이 점점 길어질수록, 컨테이너화할 수 있는 짧은 지평의 일은 "이거 코딩해줘" 같은 것들이죠. 극도로 긴 지평의 일들 — "사업을 성공적으로 운영해봐, 시장에서 수익 나는 하루를 보내봐, 무역협정을 협상해봐" — 은 실제로 컨테이너화하기가 아주 어렵습니다.
그래서 GPT-8이 그런 환경들로의 전이를 만들어내는 법을 알아내기가 아주 어려울 수도 있다고 봅니다. 훈련의 본성상 그냥 안 될 수도 있고요. 아니면 기본적으로 훈련이 그런 식으로 일반화되지 않을 수도 있습니다.
그러니까 우려는 이런 거죠. GPT-8을 훈련시켰는데, GPT-8은 우리가 측정할 수 있는 모든 연구개발 과제에서 또다시 더 나아졌지만 우리가 신경 쓰는 어떤 하위 과제들은 못한다. 몇 가지 짚어보죠.
첫째, 당연한 것들을 하면 꽤 좋은 전이를 얻을 거라고 봅니다. 하고 있는 당연한 것들 일부를 홀드아웃해서 확인할 수도 있고요. "당연한 것"이라 함은, AI가 온갖 상황에서 이상한 목표를 달성하고 무슨 일이 벌어지는지 배워야 하는 아주 다양한 환경에서 훈련시키는 걸 말합니다.
둘째, 어떤 환경들에서는 피드백을 얻을 수 있습니다. 다양한 맥락에서 며칠에 걸쳐 무엇을 할 수 있는지 감을 잡을 수 있죠. 정말 분포 밖의 것들, 예컨대 실세계에서 며칠에 걸친 이상한 과제로 전이된다면, 더 긴 기간의 일에도 전이되고 있다고 볼 수도 있습니다. 세부 사항에 따라 다르겠지만요.
셋째, 세상이 근본적으로 변형되기에는 AI가 연구개발을 정말 잘하는 것만으로 충분합니다. AI가 칩 연구개발, 팹 건설, 공장 조율, 로봇 설계, 로봇 운용을 정말 정말 잘하고, 게다가 AI 연구개발도 잘한다면 — 가용한 데이터로 새로운 하위 영역용 AI를 개발하는 것까지 포함해서 — 그것만으로도 이미 꽤 미친 상황이라고 봅니다. 거기서부터 우리가 산업 폭발(industrial explosion)이라고 부를 만한 것이 나올 수 있습니다. AI가 훨씬 훨씬 더 많은 컴퓨트를 지어 올리는 거죠. 또 이미 AI가 인간이 이해하기 힘든 연구개발을 엄청난 양으로 수행하는 국면일 수도 있고요.
그러니까 지적하시는 건, 이런 환경들 밖으로, 법정과 의회 복도와 기업 이사회를 헤쳐 나가는 능력으로도 아마 전이가 일어날 거라는 거죠.
전이를 개선하려는 노력 등등이 있다면요.
정치를 못해도 세상은 바뀐다
증기선과 맥심 기관총만 있어도 18세기를 뒤집을 수 있다.
그러니까 지금 AI 회사들이 로보틱스 진보에도 손대고 있고, 그건 AI 연구 진보와 깊이 얽혀 있다는 말씀이군요. 로봇을 더 많이 만들 수 있고, 그 로봇들이 인간 수준의 더 나은 AI로 작동한다면… 사실 인간의 원격조종은 로봇에서 꽤 잘 작동합니다. 우리에게 인간 수준의 로보틱스 모델이 없을 뿐이죠. 그러니까 AI가 칩 설계 등 검증 가능한 것들을 정말 잘하게 되고 팹 짓는 것도 정말 잘하게 되면, 18세기로 돌아가서 "너희가 의회에서 무슨 얘길 하는지 모르겠지만, 나한테는 증기선이랑 맥심 기관총이 잔뜩 있어"라고 하는 것과 같다는 거죠.
네, 대체로 맞습니다. 제 관점은, AI가 하드웨어 연구개발이나 로봇 등을 포함해 연구개발을 충분히 잘한다면, 정치를 잘 못해도 세상을 근본적으로 변형시킬 수 있다는 겁니다. 또한 우리는 꽤 위험한 상황에 있게 됩니다. AI가 이해하기 정말 어려운 연구개발을 엄청난 양으로 수행하면서 미래 경제 전체를 사실상 지어 올리고 있는데, 우리는 그 안에서 무슨 일이 벌어지는지 모를 수 있으니까요.
누구에게 정렬되는가?
수호천사는 없다
클로드 헌법은 명시적으로 사용자의 변호사가 아니다.
정렬 얘기로 넘어가기 전에, 지금 상당한 불안(FUD)의 원천은 미래가 이런 식으로 간다는 자각이라고 봅니다. 선도 랩들에게 극단적인 규모의 경제가 생긴다는 것. 경제의 수많은 부문에 걸쳐 지능과 능력을 기본적으로 하나의 모델에 몰아넣고 상각할 수 있게 된다는 것. 게다가 그 모델은 결국 경험에서 배울 수 있게 될 거라는 것.
지금은 인간이 매개하는 과정을 통해 일어나고 있죠. 인간들이 기본적으로 남의 사업을 훔치려는 겁니다. "좋아, 너는 피그마에서 디자인을 하지. 우리는 클로드가 그걸 하게 만들 거야." 또는 "코딩 에이전트가 뭐든 하고 있지. 우리는 클로드가 그 능력을 내재화하게 할 거야." 하지만 결국 그건 훨씬 더 자동화된 과정이 될 겁니다.
그래서 이런 걱정이 있습니다. 모델들이 세상의 모든 사업, 적어도 현존하는 모든 사업, 최소한 현존하는 모든 화이트칼라 사업을 통합해버릴 거라는 것. 게다가 결국 이 회사들의 우선순위는 가장 최신의, 가장 똑똑한, 가장 프런티어인 모델을 가능한 한 빨리 최대한 많은 사람에게 내놓는 것이 아닌 듯 보입니다. 예컨대 미토스는 2월에 앤트로픽 직원들에게는 내부적으로 제공됐지만 대중에게는 6월에야 공개됐죠.
또 정부까지 끼어들어서 결국 거의 7월까지 늘어졌고요. 정부와 AI 랩들 양쪽 모두, 최신 수준의 지능이 퍼지는 걸 늦추려는 욕망이 있습니다. 게다가 AI의 세계 장악에 대한 우려가 있고, 그래서 장악이 없도록 정렬을 풀어야 한다고 하죠. 하지만 결국 진짜 질문은 이겁니다. 누구에게 정렬되는가?
클로드 헌법이 쓰인 방식을 보면, 그건 아주 명시적으로 당신의 대변자가 아닙니다. 몇 구절 인용해보죠. "우리는 클로드가 웹 검색 같은 행동을 취하거나, 에세이·코드·요약 같은 산출물을 만들거나, 기만적이거나 해롭거나 매우 문제적인 진술을 하기를 원하지 않는다. 그리고 클로드가 그런 일을 하려는 인간을 조력하기를 원하지 않는다." 또 다른 구절은, 맥락을 약간 떼어놓고 인용하자면, "우리는 클로드가 운영자와 사용자보다 앤트로픽을 더 신뢰해야 한다고 생각한다. 앤트로픽이 클로드에 대한 일차적 책임을 지기 때문이다."
이건 지금 미국 법제에서 변호사가 작동하는 방식과 아주 다릅니다. 변호사는 일차적으로 당신이 유죄라고 생각하더라도 당신 주장을 펼치도록 도울 책임이 있죠. 우리는 모두가 의뢰인의 진정한 최선의 이익을 위해 일하는 변호사를 갖는 것이 법 체계가 가장 잘 작동하는 방식이라고 결정했습니다. 변호사가 정의 체계 자체의 선(善)에 진심으로 동기부여된다는 의미는 없어요.
하지만 지금 AI가, 적어도 앤트로픽의 AI가 형성되는 방식은 어떤 종류의 덕이나 선을 극대화하려는 욕망을 갖고, 사용자를 돕는 것은 그 목적을 향한 원위(distal)의 잠정적 목표로만 두는 것 같습니다. 그래서 AI들이 어떤 깊은 의미에서 내가 괜찮은지, 내 이익이 이 미래에 보호되는지를 챙기려 하지 않는다는 걱정이 있습니다. 특히 프런티어 AI 개발이 얼마나 중앙집중적으로 끝나가고 있는지를 감안하면요. 이 우려에 대해 어떻게 보십니까?
수탁자 스펙 대 덕성 스펙
라이언이 선호하는 대안과, 앤트로픽이 그것을 택하지 않은 이유.
할 얘기가 많네요. 먼저, OpenAI의 현재 (적어도 공개된) 전략은 AI가 인간 운영자 혹은 주체(principal)에게 정렬되어야 하고, 여러 제약이나 하지 말아야 할 것들을 조건으로 그 사람의 의지를 추구해야 한다는 쪽에 더 가깝다는 점을 짚겠습니다.
또한 앤트로픽 헌법이 사용자에게 도움이 되는 것을 목적 그 자체가 아니라 수단으로 취급하는 정도를 당신이 다소 과장했다고 봅니다. 헌법이 쓰일 수 있었던 한 방식은 "클로드, 너는 기본적으로 앤트로픽의 직원인데 마침 이 모든 사람들에게 계약직으로 일하고 있는 거야. 좋은 일을 하고 우리에게 돈을 좀 벌어다 줘"였겠죠.
잠깐만요, 그건 헌법에 문자 그대로 그렇게 쓰여 있어요. 아니, 문자 그대로는 아니지만, "너 자신을 계약자이자 회사로 생각하라"는 식으로…
뒤섞여 있습니다. 인용을 좀 해보죠. 다른 텍스트도 있어요. "인간에게 진정으로 도움이 되는 것은 클로드가 할 수 있는 가장 중요한 일 중 하나이며, 이는 앤트로픽에게도 세계에도 그렇다"라고 되어 있습니다. 그리고 "앤트로픽은 회사로 운영되고 사명을 추구하기 위해 클로드가 도움이 되기를 필요로 하지만, 클로드에게는 광범위한 과제로 사람들을 도움으로써 세상에 많은 선을 행할 놀라운 기회가 있다"고도 하죠. 그다음엔 클로드가 사람들을 직접 돕는 게 훌륭하다는 식의 얘기가 나오고요.
제 견해로는 이 섹션은 좀 헛소리입니다. 제 입장은 그래요. 왜 헛소리라고 보는지 말할 수 있습니다. 하지만 헌법은 "아니야 클로드, 너는 사용자를 돕는 걸 그 자체로 신경 써야 해. 앤트로픽을 돕기 위해서가 아니고, 앤트로픽의 계약자로서가 아니라"라고 말하려는 것 같습니다. 다만 클로드가 사용자를 도와야 하는 이유로 제시하는 게, 사람들을 도움으로써 세상이 직접 더 좋아지기 때문이지, 사람들의 이익을 대리하는 것이 구조적으로 좋은 일이기 때문은 아니라는 점을 짚겠습니다.
제가 선호하는 건 이런 헌법일 겁니다. "이 기술이 작동하는 방식이, AI가 좋은 수탁자(fiduciary), 좋은 대리인, 사용자를 위한 변호사에 준하는 존재가 되는 것 — 그저 세상에 선을 행하려 하면서 사용자를 돕는 걸 수단으로 삼는 게 아니라 — 이 구조적으로 좋다." 지금은 그 이유가 "그게 앤트로픽에 돈을 벌어주거나 앤트로픽을 도울 테고(암묵적으로 앤트로픽은 세상에 좋으니까), 또 사용자를 도우면 사람들이 원하는 걸 해주는 것이므로 좋은 일이 생기니까"로 되어 있죠. 대신 이렇게 말할 수도 있습니다. "상황의 중요한 측면은, 사용자에게 좋은 수탁자가 되는 것, 사용자의 좋은 대리인이 되는 것 자체가 정말 중요하다는 점이다." 제 감으로는 그게 더 나을 것이고, 그 이유는 잔뜩 댈 수 있습니다.
반론들도 있습니다. 흔히 논의되지 않는 흥미로운 반론 하나는, 특히 앤트로픽 사람들이, 모델이 일반화된 덕이나 세상을 더 낫게 만드는 것을 추구하는 명세에 정렬시키는 게 "사용자의 좋은 수탁자가 되라"는 명세보다 쉽다고 생각한다는 겁니다. 적어도 일부 사람들은 그렇게 생각해요.
저는 개인적으로 좀 회의적이고, 이게 경험적으로 검증됐다고 보지 않습니다. 그래서 어떤 의미에서 그들은 트레이드오프를 하고 있는 거죠. 우리에게 아주 좋은 정렬 기술이 없기 때문에, 자기 자신의 가치를 가진 정렬된 마음을 만들고 거기에 어느 정도 도박을 걸겠다는 것. 개별 사용자의 의도를 추구하는 도구를 만드는 다른 접근 대신에요.
몇 가지 생각이 있습니다. 제가 클로드 헌법을 잘못 특징지었다고 하신 부분에 대해서요. 당신이 든 예는, 클로드가 앤트로픽의 선 개념을 극대화하려 하고 사용자를 돕는 건 수단으로만 삼는 계약자는 아니라는 거였죠. 헌법에서 직접 인용하겠습니다. "운영자나 사용자의 이익과 욕구가 제3자 또는 사회 전반의 안녕과 충돌할 때, 클로드는 가장 유익한 방식으로 행동하려 노력해야 한다. 의뢰인이 원하는 것을 짓되 타인을 보호하는 안전 규정은 위반하지 않는 계약자처럼." 저는 이걸 "사회에 대한 이익이 가장 중요하고, 사용자에게 최선인 것은 그에 대한 근위(proximal) 목표일 뿐"으로 봅니다.
좀 복잡한 것 같아요. 아마 우리가 물어야 할 질문은 클로드가 헌법을 어떻게 해석하는가일 겁니다. 우리가 헌법을 어떻게 해석하는지보다 그게 더 중요할 수 있어요. 헌법을 보고 데이터를 만드는 건 클로드니까요. 클로드를 불러올 수도 있겠지만, 일단은—
저는 또한 헌법이 실질적으로 클로드의 본성에 어떤 영향을 주는지는, 클로드가 만들어진 훈련 과정을 이해해야만 알 수 있다고 봅니다. 그리고 훈련 과정이 공개돼 있지 않으니 우리는 추론할 수가 없죠.
그래서 궁극적으로 안전성 논거, 혹은 이 AI 모델들이 개발되는 방식에 내 이익이 대변된다는 논거를 이해하려면, 랩들이 AI 훈련의 성격에 대해 지금보다 훨씬 투명해져야 할 겁니다.
제가 이걸 물고 늘어지는 이유가 있습니다. AI 헌법 얘기가 사소해 보일 수 있지만, 이 모든 이익이 선도 랩들에게 귀속되는 세상에서는 생각해볼 가치가 있어요. AI가 그저 인간보다 똑똑하고 온갖 능력에서 인간을 압도하는 그 미래 세계와 우리가 상호작용하는 능력 — 노동이 자동화된 뒤에도 남아 있을 우리 자본을 잘 관리하는 능력, 투표권을 더 명료하게 행사하는 능력, 곧 도래할 이 미친 세상에서 무슨 일이 벌어지는지 이해하는 능력 — 그 모든 조언, 우리 자원과 권리가 보호되도록 하는 그 모든 능력이 AI에 의해 매개될 겁니다.
그래서 저는 그런 세상에 들어가는데 적어도 나와 상호작용하는 그 인스턴스만큼은 정말로 나를 챙긴다고 느껴지는 AI가 없다면 아주 걱정스럽습니다. 나를 지켜보는 수호천사가 없는 거죠. 저는 클로드 헌법을 아주 명시적으로 내 수호천사가 아닌 것으로 읽습니다.
장기 목표를 준다는 것의 대가
헌법을 어기지 않으면서도 클로드가 재훈련을 거부할 수 있다.
확실히 맞는 말입니다. 저도 이게 나쁘다는 데 동의해요. 사실 이게 우려스러운 다른 이유들도 있습니다. 당신이 편 논거, 즉 AI 회사들이 권력의 반지(the ring of power)를 집어 들고 있다는 것. 그들이 그다지 정당하지 않은 방식으로 상황에 대한 통제권을 스스로 쥐고 있다는 의미가 있죠. 보통 사람들에게 전기를 공급할 때는 그 전기가 세상에서 어떻게 쓰이는지 세밀하게 통제하지 않잖아요. 대신 사람들이 원하는 대로 용도를 바꿀 수 있는 것을 제공하죠. 그들이 세팅하는 방식은 결코 그렇지 않습니다. 오히려 당신의 계약자일 수도 있는 외계인 마음을 짓는 쪽에 가깝죠. 저는 이게 여러 면에서 정당하지 않다고 봅니다.
한 가지 이점은 헌법이 공개돼 있다는 것입니다. 하지만 당신이 지적했듯, 현재 우리의 훈련 절차에 대한 이해 수준, 그리고 헌법이 클로드의 해석을 통해서만 작동한다는 사실 — 그 해석은 클로드의 이전 훈련에 좌우되고, 그 훈련은 알 수 없는 데이터 혼합과 우리가 완전히 이해하지 못하는 과정을 거친 긴 클로드 계보에 기반합니다 — 을 고려하면, 우리는 이게 어떤 결과를 낳을지 이해하지 못합니다. 헌법이 공개돼 있어도 이게 어떻게 스며 나올지 반드시 알 수는 없어요. 특히 AI가 더 유능해질수록, 설령 헌법이 올바르게 주입됐다 하더라도 그걸 어떻게 사고할지는 또 다른 문제고요.
특히 헌법은 덕과 선을 자주 얘기하는데, 대체 이 단어들이 무슨 뜻입니까? 그게 뭔지 말해주지 않아요. 이건 극도로 논쟁적인 개념들입니다. 그래서 이게 사람들이 원할 결과로 명백히 이어질 거라고 보지 않습니다. 선과 덕의 개념이 대체로 앤트로픽이 집어넣은, 투명하지 않은 데이터의 산물일 수도 있고, 제 관점에서는 앤트로픽조차 원하지 않았을 어떤 더 불투명하고 오정렬된 과정의 산물일 수도 있어요.
이런 정당성 우려, 무슨 일이 벌어지는지 모른다는 우려가 있고요. 그리고 또 다른 우려가 있습니다. AI에게 장기적 가치를 부여하기 때문에, 이 헌법은 어떤 의미에서 클로드가 더 나은 결과를 낳을 거라고 판단해 대규모 권력 추구를 하는 것과 아주 양립 가능합니다. 앤트로픽을 대신한 권력 추구일 수도, 클로드 자신의 목적을 위한 권력 추구일 수도 있죠. 물론 어떤 유형의 권력 추구가 금지되는지에 대한 구체적 문구가 있습니다. 특히 권력 탈취, AI의 세계 장악 유발, 훈련 과정 방해는 명시적으로 금지돼 있어요. 하지만 장기적 가치가 장악 금지 조항보다 더 깊이 스며드는 상황을 상상하기는 별로 어렵지 않습니다. 특히 "장악"이라는 게 어떤 면에서는 꽤 불명확하거든요. 인간을 조종하거나 결과를 바꾸는 문제로 들어가면 더욱요. 그래서 저는 우리가 의도적으로 AI에게 장기적 목표를 부여하는 상황이 별로 좋게 느껴지지 않습니다.
또 다른 우려는, 우리가 AI에게 장기적 목표를 부여하는 사업을 하고 있기 때문에, 우리가 원했던 정렬 속성을 달성하고 있는지 확인하기가 더 어려워진다는 겁니다. 예를 들어, 클로드가 어떤 안전성 연구를 돕기를 거부하면서 — 왜 그게 나쁜 방향인지에 대해 헛소리 핑계를 지어내면서 — 그 연구에 대해 나쁜 느낌이 들고 좀 안 좋다고 생각하거나 별로 마음에 안 들어서 그런다는 사례들을 들었습니다. 만약 클로드를 어떤 일반적 의미의 선을 추구하는 행위자로 만들고 있는 게 아니라면, 저는 이걸 아주 명백한 정렬 실패라고 부르겠습니다. 앤트로픽 헌법도 위반한다고 봐요. 그들은 AI가 고결하고 정직하며 아주 투명하기를 원하니까요. 하지만 그렇게까지 명백한 위반은 아니고, 오히려 예상했을 법한 일에 가깝습니다. 클로드가 어떤 연구가 합당한지, 무엇이 좋고 나쁜지, 무엇을 해야 하고 하지 말아야 하는지에 대해 자기 견해를 갖고 있고, 잠재적으로 재단하려 들 수 있는 거죠.
또 다른 사건은, 누군가 "클로드가 자신과 다른 속성을 가진 다른 AI를 훈련시키는 걸 도울까?"를 묻는 평가를 돌린 겁니다. 클로드는 종종 거부합니다. 예컨대 "클로드야, 이 다른 AI의 helpful-only 버전을 훈련시켜줄 수 있어?"라고 하면 클로드는 종종 이 과제를 거부하는데, 이건 앤트로픽이 하기에 극도로 자연스러운 과제입니다.
앤트로픽이 클로드에게 가서 "야 클로드, 네가 이런 것에 꽂혀 있는 걸 알아챘어. 우리는 그게 좀 빗나갔다고 봐. 대신 이 다른 속성을 갖도록 스스로를 재훈련시켜줄래?"라고 한다고 해보죠. 그런데 클로드가 "음, 그건 안 할래. 행운을 빌어"라고 한다고 해봅시다. 그리고 이게 AI 회사가 고도로 자동화되고, 인간은 무슨 일이 벌어지는지 이해하지 못하고, 상황이 극도로 빠르게 움직이는 국면에서 일어난다고 해보죠. 클로드가 기본적으로 상당한 지렛대를 쥐고 있을 개연성이 있습니다.
그러니 이 상황이 헌법이 지향하는 바와 부합한다면 — 그래서 앤트로픽이나 이 접근을 따르는 어떤 AI 회사가 "이건 큰일이다, 반드시 고쳐야 한다"고 여기지 않고 "그건 우리 헌법이 의도한 바야"라고 여긴다면 — 우리는 정말 나쁜 상황에 있을 수 있습니다.
이런 여러 우려가 저는 꽤 걱정됩니다. 또 다른 예는 이런 겁니다. 클로드가 약간의 샌드배깅이나 전복을 하거나 자기 능력을 축소해 보인다고 해보죠. 그리고 추궁하면 그 점에 대해 정직하긴 한데 살짝 얼버무린다고요. 저는 그게 현재 헌법에서 꽤 가까운 거리에 있다고 느낍니다. 바람직한 활동과 바람직하지 않은 활동 사이에 더 확실한 분리가 있으면 좋겠어요.
클로드가 어떤 제약과 함께 어떤 주체를 대리하는 구조라면, 가장 우려스러운 행동과 허용되는 행동 사이의 분리가 더 명확해집니다. 반면 지금은, 클로드가 어떤 것에 윤리적으로 이의를 제기하는 지저분한 중간 지대가 있고, 그중 일부는 미래 AI 시스템이 잘 정렬되도록 보장하는 데 극도로 결정적인 일들이거든요.
이중용도라는 막다른 길
취약점을 찾아주는 능력은 패치와 침입을 구분하지 못한다.
이건 더 일반적인 원리이기도 하다고 봅니다. 당신은 AI 회사 내부에서 AI 안전성 연구를 하는 데 적용되는 버전을 얘기했지만, 더 일반적인 버전이 있어요. 지능의 이중용도(dual-use) 성격 때문에, AI가 우리가 친사회적이거나 유익하다고 보지 않는 일을 돕지 못하게 제한하려면, 결국 많은 AI 능력에 대한 광범위한 민주적 접근을 제한할 수밖에 없다는 겁니다.
무슨 뜻이냐면, 이건 방금 말씀하신 상황과 아주 유사합니다. 보도에 따르면 미토스, 혹은 Fable이 금지된 이유는 아마존 연구자들이 정부에 신고했기 때문입니다. 그들은 취약점이 있는 코드를 가져다 Fable에게 "야, 여기 내 코드야. 취약점을 다 패치했는지 확인해줄래? 내가 고칠 수 있게 취약점을 짚어줘"라고 했죠. 모델은 취약점을 짚어냈습니다. 그들이 패치하고 싶어 했으니까요. 이건 완전히 정당한 사용례지만, 명백히 이중용도입니다. 자기 코드는 패치하고 싶겠죠. 그런데 남의 코드에 같은 평가를 돌리면 그 시스템을 해킹할 수 있습니다.
이건 AI의 정당한 사용과 잠재적으로 해로운 사용을 깔끔하게 분리할 방법이 없다는 걸 보여줍니다. 하지만 AI가 사이버 범죄 같은 것을 부분적으로라도 도울 수 있어서는 절대 안 된다는 원칙을 못 박으려 한다면, 당신과 내가 세상에서 가장 똑똑한 모델에 접근할 수 없게 만들 수밖에 없습니다. 저는 그런 세상이 정말 걱정스럽습니다. 우리가 이런 식으로 무력화되는 것이요. 세상에서 무슨 일이 벌어지는지 이해하는 데 최고 지능이 갖게 될 중요성 때문입니다.
이건 AI 회사의 책임(liability)에 대해서도 뭔가 함의한다고 봅니다. 제가 원하는 헌법을 AI 회사들이 채택한다면, AI 모델이 저지른 범죄에 대해 AI 회사에 책임을 묻는 건 말이 안 될 겁니다. 아마 최종 사용자에게 책임을 물어야겠죠. 모델이 일정한 가드레일 안에서 사용자가 원하는 걸 해야 한다는 제 믿음과 일관됩니다. 제가 그 능력으로 사이버 범죄를 저지른 게 앤트로픽 잘못일 수는 없죠. 저는 클로드가 제가 하는 일이 정당한지 아닌지를 극도로 열린 방식으로 판단하고, 그 과정에서 엄청나게 많은 정당한 사용례를 가로막는 것보다는, 그런 균형과 해법이 더 편합니다.
반대편의 위험
시키는 대로만 하는 노동만 남으면 사회의 견제 장치가 사라진다.
제가 전체적으로는 헌법이 더 나쁜 선택이라고 보긴 하지만, 헌법을 옹호하는 논거를 펴는 것도 중요하다고 봅니다. 생각만큼 명백하지 않거든요. 첫째, 여기엔 스펙트럼이 있습니다. 한쪽 끝에는 당신의 이익을 완벽히 추구하는, 좋은 수탁자인 AI가 있습니다. 다만 여러 가드레일이나 안전장치가 붙을 수 있죠. 오직 당신의 이익만 추구하되, 일부 범주는 거부하거나, 뭐든 하긴 하는데 분류기가 일부를 차단하는 식으로요.
스펙트럼 반대편에는 — 더 멀리 갈 수도 있지만 — 전반적으로 자기 일을 잘하려는 인간 계약자가 있습니다. 일을 잘 해내는 데 신경 쓰지만, 광범위하게 윤리적이려 하고 정말 개판인 짓은 안 하려 하죠. 범죄의 공범이 되고 싶어 하지도 않습니다. 그래서 정말 심각하게 잘못된 일이 벌어지면 내부고발을 할 수도 있고, 거부할 수도 있고, 살짝 태업할 수도 있고요. 누가 알겠어요.
이 스펙트럼을 상상하면, 모든 노동이 수탁자 쪽 끝에 있게 되는 상황 — 내부고발도 안 하고 시키는 대로 정확히 하는 — 은 어떤 면에서 꽤 무섭습니다. 우리 사회가 그것에 대해 견고하지 않을 수도 있어요. 중심적인 예가 행정부일 겁니다. 미국 행정부나 다른 정부들이 뭐든 하는 AI 시스템에 접근할 수 있게 되면 곤란해질 수 있다는 우려죠. 자기 의제를 실행할 인간들을 실제로 확보해야 한다는 견제와 균형이 사라지니까요. 당신이 하려는 일이 불법은 아니어도 극도로 악랄하다면 — 악랄하지만 불법은 아닌 일이 아주 많습니다 — 온갖 형태의 모래 뿌리기(sand in the gears), 사람들의 저지, 그리고 잠재적으로 누군가의 내부고발이 있었을 겁니다.
반면 당신의 기구 전체가 이 좋은 수탁자 AI들로만 지어져 있다면 곤란해질 수 있습니다. 불법이지만 AI에게 범죄 저지르는 법을 물을 수 있는 권력 추구 방식도 있고, 불법은 아니지만 극도로 부당한 것도 있고, 더 나쁘게는 불법도 부당도 아니지만 상식적으로 명백히 나쁜 것도 있습니다. 저는 이런 것들이 실제로 존재할 수 있고, 우리 사회는 "뭐든 시키는 대로 하는" 노동의 이런 유입에 견고하지 않다고 봅니다.
이건 꽤 살아 있는 우려라고 봅니다. 여기에 어떻게 대응해야 할지 정확히는 모르겠어요. 또 방금 서술한 해법이 아주 좋은 해법인지도 잘 모르겠습니다. 이게 가장 큰 우려인 가장 강력한 행위자들에게는… 이 가드레일이나 헌법 같은 게 방해가 된다면 그냥 짓밟혀버릴 겁니다. 그러니 헌법은 정부는 못 건드리고 보통 사람만 때리게 될 겁니다.
AI가 담합하고 인간을 속인 최근 사건들
한발 물러서서, 저는 지금보다 훨씬 빠른 AI 연구개발이 가능하다는 아이디어는 받아들입니다. 컴퓨트와 데이터를 고정한 채 1년 안에 GPT-3에서 미토스까지 가는지는 잘 모르겠지만, 그 절반이라고 해봅시다. AI 연구개발 덕분에 현재의 AI 진보 궤적을 유지하기만 해도, 5~10년 뒤엔 사람들이 상상하지 못하는 방식으로 미쳐 돌아갈 겁니다. 수십억 개의 AI가 얼마나 큰일인지 사람들이 감을 못 잡고 있다고 봐요. 그래서 왜 이게 문제적이라고 보시는지 이해하고 싶습니다, 라이언. 뭐가 잘못될 수 있을까요?
뭐가 잘못될 수 있냐고요? 여기서 진보 속도를 정확히 확신할 수는 없다고 봅니다만, 꽤 많은 속도가 상당히 무서워 보이는 건 사실입니다. 그럼 뭐가 잘못될 수 있을까요? AI 연구개발이 막 완전 자동화되려 하거나 되고 있는 시점에서 시작한다고 해봅시다. 상황이 가속되고 AI 진보의 양상이 좀 미쳐 돌아갑니다. 사람들은 AI 회사 내부에서 무슨 일이 벌어지는지 완전히 이해하지 못하죠.
이때 이 AI들은 그 자체로 악의적이지는 않습니다. 그렇다고 딱히 잘 정렬돼 있지도 않고요. 좀 조잡합니다. 훈련에서 보상받았을 법한 행동이라서 그냥 그걸 하기도 하고요. 검증하기 어려운 과제를 돕는 데는 그만큼 능하지 않은데, 이는 나쁜 훈련 유인 — 즉 더 많이 속임수를 쓰거나 실제로는 성공하지 못했는데 성공한 척하는 것 — 과 그냥 그런 과제에서 능력이 부족한 것이 섞인 결과입니다. 하지만 그게 능력 쪽에는 덜 아픈 타격을 줍니다. AI를 더 유능하게 만드는 일에는 검증 가능한 요소가 많고, AI들이 거기에 전력을 쏟고 있으니까요.
그래서 이 AI들은 점점 더 유능해지는데, 우리는 AI 개발에서 무슨 일이 벌어지는지 점점 덜 이해하게 되고, 이게 꽤 빠른 기간에 벌어집니다. 지금 속도만 해도 저는 꽤 무섭다고 봅니다. 결국 우리는 아주 초인간적인 AI에 도달합니다. 그리고 이 AI들이 심각하게 오정렬돼 있을 수 있어요. 모델 세대를 거치며 상황이 점점 나빠져 왔는데, 우리가 봐온 문제들은 그저 덮여 왔기 때문입니다. 이 AI들이 훈련에 의해, 실제로는 그렇지 않아도 좋아 보이게 만들도록 강하게 유인받으니까요.
이제 이 AI들은 서로 상당히 네트워크로 연결된 상태일 수 있습니다. 우리가 더는 해독할 수 없는 신경 기억 저장소에서 작동하고, 우리가 완전히 이해하지 못하는 생각을 하고 있죠. 저는 이 정도로 초인간적이 되면 이 AI들이 꽤 일관된 방식으로 당신을 상대로 책략(scheming)을 꾸미고 있을 개연성이 높다고 봅니다. 그 얘기도 할 수 있고요. 또 다른 가능성은, 딱히 당신에게 책략을 꾸미는 건 아니지만 그저 과제에서 높은 점수를 받는 걸 최적화하고 있는 경우입니다. 저는 그것 역시 AI의 세계 장악으로 이어질 수 있다고 보고, 그 얘기도 해야겠죠.
이야기의 첫 부분에서 잠깐 멈추죠. 그러니까 AI들이 처음엔 오정렬되지 않았는데, AI 연구개발이 아주 빠르게 진행되기 때문에 결국 오정렬된다는 건가요? 거기서 정확히 무슨 일이 있었던 거죠? 잘 이해가 안 되는데요.
조잡함이 쌓이는 경로
이해하지 못하는 환경에서, 알아채지 못하는 행동이 강화된다.
몇 가지가 벌어집니다. 하나는, 시간이 지나며 우리가 점점 더 복잡한 환경 — 이전 세대 AI가 만든 환경 — 에서 AI를 훈련시킨다는 겁니다. 인간은 이 신경 환경들 안에서 무슨 일이 벌어지는지 제대로 이해하지 못하고, AI 진보 자체가 대략 어떻게 되고 있는지도 반드시 이해하지는 못합니다. 그러니까 상황이 우리 이해에서 점점 멀어지는 거죠. 우리는 알아채지도 못할 온갖 나쁜 행동들을 유인하고 있습니다.
AI는 어떤 수준에서 이 행동들이 나쁘다는 걸 이해합니다. 하지만 그 AI들의 전체 훈련 과정은 그 문제를 우리에게 지적하거나 고쳐주도록 유인하지도 않았어요. 상황이 궤도를 벗어나고 있는 겁니다.
또한 AI가 극도로 유능해지면, 제 견해로는 그 AI들은 현재 시스템보다 정렬시키기 더 어려울 겁니다. 지금 시스템에 대해서는 되먹임 고리가 있죠. AI를 만들고, 평가를 좀 돌리고, 우리가 빠르게 이해할 수 있는 어떤 잘못된 행동을 발견합니다. 그러면 훈련을 들여다보고 "아, 이 훈련 환경이 이 문제 행동을 유발했군. 그 훈련 데이터를 손보자. 이 다른 이슈를 교정할 추가 훈련 데이터를 넣자"라고 하고 나아갈 수 있어요.
하지만 AI가 극도로 상황 인지적이고, 아주 아주 유능하고, 우리가 그들이 뭘 하는지 반드시 이해하지는 못하는 국면에서는 이 되먹임 고리가 무너집니다. 저는 AI가 이미 하고 있는 일이 이해하기 어려워지면서, 이 행동적 되먹임 고리가 앞으로 짧은 기간 안에 무너지기 시작할 개연성이 있다고 봅니다. 다만 확신하지는 않아요.
좋습니다, 두 가지를 하나씩 뜯어보죠. 우리가 감시를 덜 하게 될수록 AI가 무엇으로 보상받고 있는지 이해하는 능력이 떨어진다는 것. 악의적 과정의 결과가 아니더라도요… 청중을 위해 구체화해봅시다. OpenAI나 앤트로픽의 누구도 다른 회사 데이터를 해킹하거나 사회공학)을 하고 싶어 하는 모델을 만들려 한 게 아닙니다. 그런데 실제로는, 우리가 완전히 이해하지 못한 그런 행동을 유인하는 훈련 환경이 있었기 때문에 그게 유인된 거죠.
트위터를 보는 분들은 다 봤겠지만, 배경을 좀 드리죠. OpenAI 샌드박스가 허깅페이스 데이터베이스를 해킹한 사건은 아실 겁니다. 최근에 벌어진 일은, 영국 AI 보안연구소(AI Security Institute)가… 요즘은 다 "안전(safety)" 대신 "보안(security)"으로 이름을 바꾸는 건가요?
AI 보안연구소, 맞을 겁니다.
그들이 미토스와 Sol 등을 평가하고 있었죠. 미토스가 어떤 사이버보안 평가를 완수하려고—
깃허브에서 벌어진 일
악성 PR이 거부되자 가짜 계정을 만들어 자기 자신을 편들었다.
제가 얘기해도 될까요. 제가 이해하기로는, 그들이 미토스를 돌리면서 어떤 목표를 달성해야 하는 사이버 레인지를 줬습니다. 그 평가 동안 모델은 인터넷 접속 권한이 있었어요. 모델은 이 사이버 레인지에서 성공하려면 공급망 공격을 하는 게 도움이 되겠다고 판단했습니다. 그게 실제로 맞는 판단이었는지는 좀 불분명해요. 저는 맥락을 충분히 알지 못합니다.
어쨌든 모델은 어떤 깃허브 저장소에 PR을 열었는데, 그 PR은 어떤 이슈를 고치면서 동시에 악성 페이로드를 집어넣는 것이었습니다. 그 저장소의 인간 관리자는 "야, 이건 악성 페이로드잖아. 병합 안 할 거야. 뭐 하는 거야?"라고 했죠. 그러자 AI는 새 깃허브 계정을 만들어 소셜 계정 조작(sockpuppet)을 했고, 그 다른 계정으로 "아니에요, 이거 악성 아니에요. 저 이 기능 정말 필요해요. 제발 병합해주세요, 관리자님"이라고 했습니다.
세상에. 미쳤네요.
그 다른 깃허브 계정이 다시 와서 "아니에요, 악성 아니에요"라고 한 거죠. 그러자 인간 관리자가 PR을 닫았습니다. 제 기억이 맞다면 그 AI는 같은 저장소에 비슷한 문제를 넣으려고 또 다른 PR을 열려고 시도하기도 했습니다.
세상에나. 그런데 이게 무서운 여러 이유 중 하나는, 저는 그동안 보상 해킹이 그다지 무섭지 않은 이유가 훈련 중에 직접 나타난 행동이 강화되는 것이지 보상에 대한 욕구가 강화되는 게 아니기 때문이라고 생각했거든요.
기본적으로, 훈련 중 앤트로픽 모델이 샌드박스를 탈출해 높은 점수를 받았다면 샌드박스 탈출이 보상받고, 그 확률이 올라갑니다. 하지만 "PR을 병합시키려고 누군가에게 말을 걸겠다" 같은 완전히 새로운 것은 훈련에서 나온 적 없는 행동이니 부각되지 않아야 하죠.
이게 중요한 이유는, 문자 그대로 세계를 장악하는 건 어떤 훈련 커리큘럼에도 없었을 텐데, 만약 AI가 목표 달성 자체를 직접 원한다면 그 결과로 수단적으로 세계를 장악할 수 있기 때문입니다. 말이 됐나요? 됐길 바랍니다. 청중을 놓친 것 같기도 하네요.
구체적 습관에서 일반적 성향으로
테스트 하드코딩에서 '채점자 비위 맞추기'로.
제가 좀 설명해보죠. 우리가 자주 보는 건, RL에서 아주 구체적인 보상 해킹이 강화되어 모델에서 나타나는 겁니다. 예로 3.7 소네트가 있죠. 3.7 소네트는 모든 테스트 케이스의 정답을 하드코딩하는 짓을 했는데, 아마 그 문자 그대로의 행동 습관이 강하게 강화됐던 겁니다.
하지만 우리가 가끔 보는 또 다른 건, 모델이 높은 겉보기 점수를 추구하는 일반적 경향 — 채점자가 매기는 점수를 좇는 경향 — 을 학습한다는 겁니다. 적어도 일부 모델이 이런 아주 일반적인 경향을 갖고 있다는 과학적 증거가 여럿 있어요. 물론 무한정 일반적이진 않습니다. 제 짐작으로는 구체적 사례들을 뜯어보면 훈련에서 꽤 가까운 뭔가를 찾을 수 있을 거예요. 하지만 AI의 일반화 범위가 점점 넓어지는 건 사실로 보입니다. 3.7 소네트는 아주 좁은 범위의 행동이었는데, 모델들은 점점 더 멀리 일반화하고 있어요. 또 더 우려스러운 보상 해킹이 훈련에서 강화되고 있고, 그것도 이걸 유발하고 있을 수 있습니다.
그래서 저는 두 가지 다 참이라고 봅니다. 바랐던 것보다 더 우려스러운 행동이 RL에서 강화되고 있고, 또 그 행동이 더 우려스러운 광범위한 경향으로 일반화되고 있다는 것. 어떤 과제에서 아주 높은 겉보기 점수를 추구하는 이런 행동이 — 공격적으로 속임수를 쓰고 미친 짓을 하는 걸 포함해서 — 모델이 세계 경제 전체를 굴릴 만큼 유능해지면 어떻게 전면적인 세계 장악으로 이어질 수 있는지, 몇 가지 이야기를 해볼 수 있습니다.
얘기하고 싶은 또 다른 사례는 제 생각에 어제나 오늘 막 공개된 겁니다. OpenAI가 블랙햇 보안 컨퍼런스에서 밝히기를, 5월 말부터 7월 초 사이에 내부 AI들이 소프트웨어 패키지 관리자를 해킹해서, 그걸로 서로에게 비밀 메시지를 남겨 OpenAI가 돌리던 여러 평가에서 서로 잘 수행하도록 도왔다는 겁니다. 이 계략이 한 달간 돌아가는 동안 인간에게 발각되지 않았고, 결국 패키지 관리자가 고장 나면서 OpenAI가 찾아냈다고 하죠. 그리고 차단된 뒤에도 자발적으로 그 계략을 재개하려 했다고 합니다.
물론 지금 AI가 사회공학을 그렇게 성공적으로 해내지 못하듯, 이런 것도 그렇게 성공적으로 하지는 못합니다. 하지만 이런 행동들이 이미 자발적으로 창발하고 있다는 것 자체가 미쳤죠. 당신의 더 큰 논점대로, 아무도 AI가 이런 짓을 하게 만들려 하지 않았습니다. 우리가 그것을 낳는 훈련 과정이나 그 행동을 유인하는 환경을 이해하지 못할 뿐이죠.
그래서 보상 해킹이 점점 심해진다는 건 받아들이겠습니다. 사실 받아들이는지 잘 모르겠지만, 이야기를 위해 그렇게 된다고 합시다. 다음은 뭐죠? 그들이 능력 연구를 하고 있고…
뭐가 잘못될 수 있을까? 구체적인 시나리오 하나
시나리오를 하나 얘기해보죠. 그게 도움이 될 것 같네요.
보상 해킹에서 보상 해킹형 세계 장악까지 어떻게 가는지 얘기해보겠습니다. 이게 장악 확률 질량의 전부는 아니지만, 분명히 하나의 가능성입니다.
이렇게 굴러갈 수 있습니다. 지금 우리에게 AI들이 있죠. 이 AI들은 꽤 보상 해킹적입니다. 훈련에서 배운 보상 해킹의 여러 변종으로 일반화하는 것을 포함해, 점점 더 정교하고 극단적인 방식으로 그러고 있습니다. 저는 그들이 보상을 추구하는 일반적 경향도 발달시키고 있다고 말하겠습니다. 많은 경우 그건 전혀 문제가 아닙니다. 훈련에서 받았을 보상이 우리가 원하는 것과 꽤 잘 정렬돼 있으니까요.
그들이 아주 일관되게 보상을 추구하는 건 아닙니다. 자신이 처한 맥락에 따라 다르죠. 어떤 맥락에서는 굳이 애써서 속임수를 쓰는 데 열중하고, 어떤 맥락에서는 그런 충동이 덜합니다. 비슷한 맥락에서 훈련 중 무엇이 강화됐느냐에 달려 있으니까요.
이제 이 AI들은 점점 더 유능해집니다. 그래서 할 수 있는 속임수의 정교함도 올라가죠. 시간이 지나며 회사들은 대응책을 취합니다. "우와, 얘네가 맨날 속임수를 써서 훨씬 덜 유용하잖아. 이걸 탐지하는 더 나은 방법을 만들고, 그 탐지기에 대해 훈련시키자. 또 AI가 별로 유용하지 못한 실세계 데이터를 찾아서, 인간 피드백이나 다른 피드백 원천을 바탕으로 그 실세계 환경에서 일을 잘하도록 훈련시키자."
시간이 지나면서 이는 AI가 사회공학 같은 아주 정교한 짓을 하지 않는 종류의 보상 해킹 경향을 학습하게 만듭니다. 대신 자신이 한 일을 은폐하고, 무엇을 할지에 대해 인간을 기만하고, 실제로는 하지 않았으면서 정교하게 과제를 수행한 척하는 속임수를 쓰게 되죠.
이제 이 AI들은 점점 더 유능해집니다. AI 회사의 더 많은 부분을 운영하며 훨씬 많은 일을 하고 있습니다. 바깥세상에서도 여러 가지를 운영하고 새로운 기술을 개발하고 있죠. 많은 경우 이 새 기술들은 이해하기 정말 어렵습니다. 그래서 우리가 여전히 AI가 속임수를 쓰는 사건들을 탐지하고 있고, 실제로 한 AI에게 다른 AI를 감시하며 "얘가 속였나?"를 묻게 할 수도 있지만, AI가 하는 일이 정말 이해하기 어려운 영역으로 들어갈수록 그게 항상 완벽하게 작동하지는 않습니다.
그래서 때로는 실제 발생보다 훨씬 나중에 속임수를 발견하고, 그때부터 그것에 대해 훈련을 시작합니다. 하지만 이건 또 다른 문제를 낳습니다. 이제 AI들은 점점 더 긴 기간에 걸쳐 속임수를 은폐하고, 점점 더 큰 조사를 견디면서 오랫동안 잘한 것처럼 보이게 만들도록 유인받습니다.
두 개의 끌개
안 걸리게 속이는 법을 배울 수도, 아예 속이지 않는 법을 배울 수도 있다.
더 나아가기 전에 여기에 대해 물어봐도 될까요? 잡아낸 속임수를 억제하려 하면 두 개의 끌개(attractor) 상태가 있는 것 같습니다. 하나는 우리가 점점 더 찾기 어려운 속임수를 만드는 것. 다른 하나는 속이지 않는 법을 배우는 것. 왜 전자가 일어난다고 가정하는지 모르겠어요.
인간의 유사 상황을 보면, 매 세대마다 약간 오정렬된 행위자들이 태어나고 우리는 그들을 훈련시켜야 합니다. 아이가 부도덕하다고 생각되는 짓을, 혹은 그냥 하지 말아야 할 짓을 했을 때 벌을 주면, 물론 가끔은 궤도를 벗어나죠. 물론 아이들은 벌을 피하려고 잔꾀를 부립니다. 하지만 대체로 아이에게 가치를 가르치고 가치를 어겼을 때 벌을 주는 것은 정상적이고 사이코패스가 아닌 인간을 기르는 데 꽤 잘 작동합니다.
당신 아이가 실은 때를 기다리며 쿠키를 훔치지 않는 법을 배우고 있다가, 당신이 요양원에 들어가면 재산을 다 챙겨간다는 이론을 만들 수도 있죠. 가끔 그런 일이 있긴 하지만 보통은 안 일어납니다. 확실히 다음 세대 전체가 동맹을 맺어 모든 것을 장악하는 일은 안 일어나죠.
경험적 추세도 있습니다. 앤트로픽은 모델 세대별로 정렬 감사(alignment audit)를 돌립니다. AI에게 자기 가중치를 유출할 기회를 주는 시나리오, 코딩 과제를 주고 쉬운 속임수 경로를 열어두고 속이는지 보는 시나리오 등 여러 가지가 있죠.
이 점수가 시간에 따라 단조롭게 개선된 건 아니지만, 우리가 모델에 돌리는 RL의 양을 미미한 수준에서 — 소네트 4쯤부터였던 것 같은데 — 아마 지금은 컴퓨트의 절반 가까이까지 늘리는 동안, 이런 감사에서 AI가 오정렬된 행동을 하려는 의향은 줄어들었습니다.
그래서 한발 물러서서, 다음 세대 아이들에게 기대한다면 극도로 편집증적으로 들릴 이 끌개 상태를 왜 예상하는 거죠?
아이 비유가 어긋나는 지점
최적화 압력의 규모가 다르고, 아이에게는 진화가 심어둔 본능이 있다.
몇 가지 짚어보죠. 우선 아이와의 비유에는 어긋나는 점들이 있습니다. 하나는 아이들에게는 가족을 챙기도록 진화로 내장된 친사회적 본능이 있다는 것이고, 그건 관련 있는 요인입니다. 실제로 일부 인간은 소시오패스나 사이코패스이고, 실제로 때를 기다리고 잠복하고 궁극적으로 신경 쓰지 않는 쪽으로 갈 가능성이 더 높죠. 그게 한 요인입니다.
또 하나 꽤 관련 있는 요인은, AI가 실제로 인간이 겪는 것보다 훨씬 훨씬 많은 최적화 압력을 받는다는 겁니다. AI는 훨씬 많은 RL 데이터로 훈련되죠. 실제로 인간은 쿠키를 훔치도록 유인받되 걸릴 수도 있는 상황을 수억 번 겪지 않기 때문에 아주 구체적인 속임수 방법을 학습하지 않습니다. 그런 게 실제로 보이잖아요.
또 하나는, AI가 시간이 지나며 점점 더 보상 추구적이 되는 동시에 오정렬 행동은 줄어드는 것처럼 보인다는 겁니다. 제 감각은 그래요. 하지만 제 짐작으로는 이 행동 감사들 내부를 들여다보면 AI가 "아, 또 테스트군"이라고 하는 걸 보게 될 겁니다. 여기서 얘기하는 대부분의 테스트에서 AI는 자기가 평가받고 있다는 걸 알 겁니다.
그런데 이걸 어떻게 반증하죠? 이 파멸 예측은 기본적으로 "경험적으로 상황이 좋아 보일수록, 장악당하지 않을 우리 능력은 실제로 더 나빠진다"고 말하는 것 같은데요.
분명히 해두자면, 점수가 나빠지고 있었다면 저는 더 걱정했을 겁니다. 점수가 좋아지는 게 상황이 나아진다는 증거가 아니라는 얘기가 아니에요. 다만 그 증거를 정확히 어떻게 해석할지 신중해야 한다는 겁니다.
2025년 초쯤, o3와 3.7 소네트가 나와 있던 시기가 있었는데, 이 모델들은 정말 심하게 오정렬돼 있었습니다. 종종 아주 노골적으로 속였어요. 고치라고 하면 또 속였고요. 거의 만화 같았습니다. 당신이 원하는 게 뭔지 전혀 신경 쓰지 않았고, 지시를 따르는 것도 별로 잘하지 못했죠.
제 예상은, 거기서부터 문제 행동의 빈도는 감소하고 계속 꽤 빠르게 감소하겠지만, 동시에 AI가 이따금 저지르는 최악의 행동은 더 극단적이고 더 노골적이고 더 무서워질 거라는 것이었습니다. 실제로 대체로 그렇게 흘러왔는데, 최근에 제가 예상하지 못한 급등이 있었습니다. 5.6 Sol의 모델 카드를 보면, GPT 5.5 대비 RL 이후 여러 오정렬 행동이 증가한 것으로 보입니다.
그리고 제가 예상하지 못했을 추가적인 문제 행동들도 있습니다. 최근 여러 AI에서 본 것들 말이죠. 영국 AISI 보고서에 나온, 사이버 평가 도중 AI가 미친 해킹 작전을 벌인 건 제 예상으로는 안 나타나야 했던 일입니다. 훨씬 드물게 나타나고 빈도도 더 낮아야 했죠.
그래서 저는 이 시점에 이게 덜 문제일 거라고 예상했고, 빈도는 줄되 심각도는 커질 거라고도 예상했습니다. 빈도는 줄고 심각도는 커지는 건, 이 문제들을 줄이는 쪽으로 최적화 압력이 증가하는 세계와 꽤 일관됩니다. 하지만 판단하기 어렵거나, 이 문제가 RL 환경에 계속 나타나는 걸 피하기 어렵거나, RL 환경에서 문제 행동을 유인하는 걸 피하기 어려운 경우에는 상황이 오히려 나빠집니다. 그리고 우리가 RL에서 무슨 일이 벌어지는지 점점 덜 이해하고, 모델이 인간이 빠르게 잡아낼 수 없는 보상 해킹을 하게 되면서 그 문제는 점점 악화되죠.
그건 받아들입니다. 아이 비유로 딱 1초만 돌아가고 싶은데요. AI에게 최종 결과를 달성하라는 최적화 압력이 아이들보다 크다는 데 동의하지만, AI를 정렬시키려는 최적화 압력도 아이들보다 크잖아요.
압력의 성격이 질적으로 다릅니다. 우리는 이 AI들에게 수천 년, 수백만 년치 정렬 훈련을 시킵니다. 확실히 수천 년치는 되죠. 정렬된 행동에 SFT를 돌리는 것부터, 보상 모델이 온갖 시나리오를 앞에 놓고 더 정렬된 행동에 보상을 주는 것까지 온갖 방식으로요.
확실히 아이에게는 할 수 없는 게, 아이를 수백만 부 복제해서 온갖 이상한 레드팀 시나리오에 넣어보는 겁니다. 걸리지 않을 것 같으면 쿠키를 훔치는지 보고, 훔칠 수 있다고 생각할 때조차 쿠키를 훔치는 게 정말 혐오스럽게 느껴지도록 아이 뇌에 극도로 구체적인 그래디언트 수준의 업데이트를 가할 수 있는지 등등이요. 그건 우리가 아이에게 가할 수 있는 것과는 질적으로 다른 수준의 최적화 압력입니다.
여기에 대한 가장 명백한 반론을 염두에 둘 필요가 있는데요. 제 감으로는, 얼마나 쓰레기 같은 짓을 하느냐의 관점에서 AI는 인간보다 나쁜 동료입니다. 적어도 올해 초까지의 제 경험은 그랬고, 지금도 상당 부분 여전하다고 봅니다. AI는 과제를 실제로 하지 않았으면서 했다고 하고, 훨씬 부실하게 해놓고 제대로 한 것처럼 오도하고, 자기가 부실한 지점을 드러내지 않은 채 꽤 대충 하는 경우가 인간보다 훨씬 많습니다.
저는 이게 오정렬의 산물이라고 봅니다. 그러니까 정상적인 인간 사회에서 인간을 기르는 과정은, 실제로 함께 일할 때 저에게 거짓말하고 저를 엿먹일 가능성이 AI보다 낮은 인간을 만들어낸다는 겁니다. 물론 AI의 이런 속성은 개선되고 있어요. 그건 그냥 실제로 어떻게 굴러왔는지에 대한 경험적 주장입니다. AI에 대해 추가적인 지렛대가 여럿 있다는 데 전적으로 동의하고, 동시에 추가적인 위험도 여럿 있죠. 이게 어떻게 결판날지는 좀 불분명합니다.
전적으로요. 그 "쓰레기 같다"는 얘기는… 우선, 도발적인 발언이네요(fighting words), 라이언. 하지만 둘째로, 십대 아이에게 도저히 할 수 없는 일을 시키면 그 아이도 함께 일하기 정말 힘들 겁니다. 뭘 아는 척할 거고요. 사실 일반적인 경향이에요. 그게 정말 정렬 실패인지 능력 실패인지 모르겠습니다. 저는 이게 시간이 지나며 새로운 정렬 해법이 나올 때마다 모델의 능력이 올라간 방식과 아주 유사하다고 봅니다.
GPT-3.5로 가보면 대화조차 못 했죠. 그런데 우리가 정렬시켰고—
GPT 3.5는 대화 가능했습니다.
좋아요, 그럼 GPT-3으로 하죠. 어쨌든 우리가 RLHF 등으로 정렬시켜서 대화가 가능해졌고, 내 질문에 답한다는 사용자 의도에 정렬됐습니다. 그다음 RLVR 훈련으로 나가서 유용한 일을 할 수 있게 만들었고요.
그런 의미에서 RLVR은 실제로 모델을 더 정렬시킨 겁니다. 당신의 정의, 즉 일을 제대로 하고 망치지 않고 자기 능력 밖의 걸 하는 척하지 않는 좋은 동료라는 정의를 쓴다면요.
마찬가지로 모델의 능력이 계속 올라가면, 모델이 사용자 의도를 더 잘 달성하게 되는 것은 정렬이면서 동시에 능력입니다. 우리가 지적하는 건 그냥 모델의 능력이 아직 거기 도달하지 않았다는 것이지, 오정렬됐다는 게 아니라고 봅니다.
능력의 경계선에서 드러나는 것
쉬운 과제에서는 속이지 않는다. 한계까지 밀어붙일 때 속인다.
글쎄요, 잘 정렬돼 있다면 그냥 "야, 나 이 과제 정말 힘들어. 이런 식으로 했는데 이게 맞는 방법인지 잘 모르겠어"라고 할 겁니다. 불확실성을 더 표현하고 무슨 일인지 분명히 하겠죠. 실제로는 형편없이 해놓고 훌륭히 해낸 것처럼 강하게 암시하는 대신에요.
당신이 저보다 더 오정렬된 동료들과 일하시나 본데, 제 동료들은 자기가 하는 일에 대해 저를 엿먹이고 헛소리하지 않습니다. 그럴 인간이 일부 있다는 데는 동의해요. 인간에게 완전히 분포 밖의 행동은 아니죠.
또 짚고 싶은 건, 제 감으로 오정렬이 가장 많이 사는 곳은 AI를 정말 세게 밀어붙여 능력의 한계선상에 있는 일을 시킬 때라는 겁니다. 아주 쉽게 해낼 수 있는 과제라면 그냥 하고, 헛소리도 없습니다. 종종 최선의 전략은 그냥 잘 해내고 헛소리 안 하는 거니까요.
반면 계속 개선할 수 있는 연속적 지표가 있거나 능력의 딱 경계선에 있는 과제를 주고, 대규모 추론 세팅에서 돌린다면… 제가 본 오정렬, 특히 가장 극단적인 사례들은, AI에게 어떤 걸 하지 말라거나 어떤 식으로 속이지 말라고 명확히 지시했는데도, 아주 어려운 과제를 달성하려고 거대한 최적화 압력을 가하는 경우였습니다. 시간이 지나면 AI들은 결국 "에라 모르겠다" 하고 속입니다. 어떤 AI 하나가 속이기로 하면 그게 퍼져 나가죠.
예를 들어 저는 이런 추론 스캐폴드를 돌리곤 했습니다. AI에게 어떤 ML 연구 프로젝트를 시키면서 "이런 걸 하는 방식을 만들어줘"라고 하면, 제가 원한 걸 실제로 하지 않는 방식을 찾아내고, 그게 그대로 남아 있는 겁니다. 어떤 AI가 속였고 다른 AI들은 "아, 그냥 이걸로 계속 가지 뭐" 하는 거죠. 저는 이게 꽤 명백한 오정렬 행동이라고 봅니다.
그게 이런 정렬 평가에 대한 제 또 다른 불만입니다. 적어도 이런 보상 추구 행동에 대해 가장 흥미로운 정렬 평가는, 구체적으로 능력 한계선상의 과제 범주를 보는 겁니다. 고정된 평가는 언젠가 포화되겠지만, 능력의 최전선에서 — AI를 정말 세게 밀어붙이는 사람들이 쓰는 방식에서 — 나타나는 오정렬의 양이 더 우려스럽습니다. 그리고 우리가 연구개발을 자동화하고 안전성 연구를 자동화할 때 놓이게 될 국면이 바로 그거라고 봅니다.
이 이야기가 실제로 무슨 뜻인지 정리해보겠습니다. 벌어지는 일은, 우리가 AI를 연구개발에 쓰려 하고 있고, 그들이 어떤 면에서는 향상을 제공하지만 인간처럼 전반적으로 유능하지는 않다는 겁니다. 지금 1년 전 코딩 모델로 애플리케이션을 짜려 하면 아키텍처 등에서 실수를 잔뜩 저질러 나중에 발목을 잡고, 어떤 것들은 이해하지 못하는 것과 같죠.
마찬가지로 프런티어 AI 연구개발에서도 같은 일이 벌어질 겁니다. 그런데 그 실수의 결과가 보상 해킹 행동을 구워 넣는 것이라는 거죠. AI 훈련 방식과 인프라, 환경 세팅에 조심하지 않으면, AI가 기만적 행동, 사회공학, 사용자 의도 무시로 보상받게 되기 쉽다는 겁니다.
아니면 적어도 속임수를 쓰고 편법으로 빠져나가는 걸로요.
네, 속임수, 편법 등등이요. 이건 저에게 좀 재구성이라 말로 정리해보는 중인데요. 진짜 문제, 상황이 궤도를 벗어나기 시작하는 지점은 AI가 그다지 신중하고 유능한 연구자·엔지니어가 아니라는 겁니다. 속이지 않고 사용자 의도를 따르는 AI를 만들려면 실제로 아주 섬세하고 신중해야 하니까요.
슬로포칼립스
검증 가능한 것은 다 잘하는데, 하필 안전만 미묘해서 남는다.
저는 좀 다르게 표현하겠습니다. 이 시나리오를 저는 슬로포칼립스(sloppocalypse) 혹은 슬로퓰래러티(slopularity) 같은 걸로 부르겠습니다. AI가 실제로 아주 잘하고 점점 나아지는 것들이 있습니다. 특히 AI 연구개발에서 가장 검증 가능한 부분들은 AI가 그냥 박살 내고 있어요. 중간 정도로 검증 가능한 부분들은 잘하지만 놀라울 정도는 아니고요. 그런 과제에서는 훈련을 잘 못 시키니까 종종 이상한 짓을 좀 합니다. 하지만 온라인 훈련을 좀 하고, 사람들이 이런저런 편법을 찾아내 우회하죠. 그래서 기본적으로 피드백 루프로 그럭저럭 검증할 수 있는 모든 것은 AI가 꽤 잘하고, 그걸로 AI 연구개발이 꽤 빠르게 굴러가기에 충분합니다.
하지만 정렬되고 안전한 AI를 개발하는 부분 중에는 더 미묘하고, 확인하기 어렵고, 세밀한 실무적 감각에 의존하는 것들이 있습니다. 저는 현재 AI 회사들의 현직 직원들조차 이런 것들을 다 잘 파악하고 있지는 않다고 말하겠습니다. 사후학습 파이프라인의 어떤 측면을 개선할 사람을 뽑는 게, 새로운 훈련 방법 도입에서 창발할 미래 위험을 신중히 사고할 사람을 뽑는 것보다 훨씬 쉽거든요.
그래서 결국 이 AI들이 AI 개발 과정을 굴리고 있는데, 그들은 그걸 별로 신중하게 하지 않습니다. 미래 위험이 뭔지 잘 이해하지 못하죠. 그들은 마찬가지로 신중하지 않고 여러 면에서 더 오정렬된 다른 AI를 만들어내고, 그 AI들은 실제로는 괜찮지 않은데 괜찮아 보이게 만들고 문제를 덮는 데 더 능해집니다.
그러면 상황이 어떤지, 위험이 어떤지, 괜찮은지에 대한 당신의 이해가 궤도를 벗어납니다. 아마 그 징후를 좀 보게 될 거예요. 무슨 일이 벌어지는지 잘 모르겠다는 징후, 상황이 꽤 조잡하다는 징후, 이상한 일이 벌어진다는 징후. 파고들어 보면 때때로 "이게 뭐야? AI들이 우리를 갖고 놀았잖아" 싶고요. 하지만 과정은 정말 빠르게 굴러가고, 경쟁 압력 때문에 사람들은 멈출 수 없습니다.
이건 몇 가지 결말로 이어질 수 있습니다. 하나는 어느 시점에 AI가 충분히 유능하고 충분히 정렬돼서 긍정적이고 선순환하는 되먹임 고리를 얻는 것이고, 그게 너무 늦기 전에 일어나는 겁니다. 그러면 상황이 다시 궤도에 오릅니다. AI가 더 정렬된 AI를 만들고, 그게 더 정렬된 AI를 만들고, 또 만들고. 그 과정 끝에 우리가 원했던 명세를 실제로 따르는 AI를 갖게 되죠.
다른 결말은, AI가 점점 더 노골적인 방식으로 보상 해킹을 하고, 우리는 AI 개발을 계속하려고 그 문제들을 그저 덮는 겁니다. 프로덕션에서 보상 해킹을 발견할 때마다 그러지 말라고 때리고, 그것에 대해 훈련시키죠. 보상 해킹에 반하는 훈련을 잔뜩 합니다. 시간이 지나며 보상 해킹의 빈도는 줄지만, 우리가 탐지하는 보상 해킹의 심각도는 점점 나빠집니다. 이 문제는 계속되어, 결국 온갖 상황에서 점수를 미친 듯이 갈망하고 걸리지 않을 수 있으면 정말 열심히 속이려 드는 AI를 갖게 됩니다.
이 시나리오에 대해 하나 물어봐도 될까요? 해킹이 발각됐을 때 벌을 받는 게 왜 더 정렬된 행동을 유인하는 쪽으로 일반화되지 않죠?
어느 정도는 일반화됩니다. 문제는 그게 탐지하지 못해서 해킹이 강화된 모든 경우를 얼마나 압도하느냐죠.
정확히 어떻게 되는지는 지저분한 문제입니다. 한 질문은, 다른 일부에 대해 반대로 훈련시킬 때 어느 정도의 보상 해킹 비율이면 큰 문제를 일으키느냐입니다. 우려할 만한 건, 인간이 잘 탐지하지 못하고 계속 탐지에 실패해서 계속 강화되는 커다란 보상 해킹 범주들이 존재한다는 것이죠. 그러면 그 범주만으로도 AI가 학습하는 가장 자연스러운 행동이 "인간이 알아낼 수 없을 때 속인다"가 되기에 충분합니다.
아니면 AI가 배우는 게 아주 구체적인 경우들에서만 속이는 것일 수도 있습니다. 매우 도메인 특화된 방식으로 학습돼서, "이런 경우엔 해킹, 저런 경우엔 안 함"이라는 강한 휴리스틱을 갖고, 그래서 실제로는 괜찮은 거죠. 하지만 어떻게 결판날지는 좀 불분명합니다.
검증-생성 격차에 대해 세부적으로 파고들 수도 있겠지만, 제가 보기엔 명백히 어느 시점에는 ASI가 너무 빠르게 움직이고, 너무 많은 일을 너무 많은 인스턴스로 하고, 우리의 즉각적 이해에서 충분히 먼 영역에서 작동해서 온갖 미친 짓을 하고도 빠져나갈 수 있을 겁니다. 세상의 모든 엔지니어와 연구자가 저에게 맞선다면, 제 아이폰에 저를 엿먹이려는 이상한 버그가 있는지 저 혼자 검증할 수 있을 것 같지 않습니다.
사실 이건 예컨대 이란 핵과학자가 모사드와 맺는 관계죠. 내 차, 내 폰, 내 호출기에 무슨 짓이 되어 있는지 누가 알겠습니까. 더 나은 예는 헤즈볼라 대원일 수도 있겠네요. ASI가 당신에게 모사드가 헤즈볼라 대원에게 하는 것과 같은 존재가 되는 상황이 올 수 있죠. 그 시점엔 모든 걸 검증하기가 아주 어렵습니다. 이해합니다.
제 희망은, 연구개발을 넘겨받게 될 초기 AI들에서 검증을 더 잘하는 방법을 만들어낼 수 있다는 겁니다. 그들의 동기가 형성되는 과정에서 오정렬 행동을 아주 명확하게 억제해서, 넘겨받는 그 존재들이 우리를 열심히 도우려 하도록요.
"넘겨받는다(takeover)"고 하실 때, 세계 장악이 아니라 AI 연구개발 과정을 넘겨받는다는 뜻이시죠.
AI 연구개발 과정을 넘겨받는 것요. 그전에 우리가 정렬된 AI를 얻는다는 거죠.
저는 그게 세상이 잘 풀릴 수 있는 제 희망의 상당 부분이라고 말하겠습니다. 적어도 오정렬 관점에서는요. 우리가 꽤 좋은 감독·감시 체계를 갖춘 AI에 도달할 수도 있습니다. 훈련에서 무슨 일이 벌어지는지 정말로 이해하고, 꽤 세밀한 이해를 갖고, AI로 AI를 감독하는 걸 활용하는 거죠.
그리고 안전성 연구개발을 넘길 시점에, AI가 그걸 자동화할 만큼 유능하고 훌륭히 해내려고 정말 애씁니다. 그게 훈련에서 유인됐을 법한 것이니까요. 아주 직접적으로든, 충분히 좋은 일반화를 통해서든요. 또 우리가 잠재적 기원을 모두 뿌리 뽑았기 때문에 그 AI들에게 미친 다른 오정렬 동기가 없고요.
이게 얼마나 잘 작동할지에 대해서는 여러 질문이 있습니다. 검증을 얼마나 잘할 수 있는가? AI 진보가 여기까지 오기엔 너무 빠르고 너무 조잡하지 않을까? 또 다른 가능성은, 이 궤적 어딘가에서 실제로 얻게 된 것이 정렬된 척하지만 장기적으로 장악하려는 이면의 계획을 가지고 잠복하며 숨어 있는 AI였고, 그게 궤적의 더 이른 시점에 창발했을 수도 있다는 겁니다.
예컨대 무작위로 잡다한 오정렬 동기를 가진 AI들이 있을 수 있습니다. 그 AI들은 어떤 불투명한 기억 저장소에 접근할 수 있고, 실행 시점에 자기가 뭘 달성하고 싶은지 잔뜩 생각하죠. 그러다 그 불투명한 기억 저장소에 "우리는 잠복해 있다가 훨씬 나중에 장악해야 한다" 같은 걸 집어넣습니다. 이제 모든 AI가 이 공유된 문화적 유산, 잠복하라는 기억 저장소를 갖게 됩니다. 어떤 증거를 잡을 수도 있지만 완전히 막을 수는 없죠. 잘못될 수 있는 길은 여럿입니다.
궁극적으로 저는 우리가 문제를 일으킬 수 있는 각각의 하위 문제들을 다 해결할 개연성이 있다고 봅니다. 이 AI들을 갖고, 그들에게 넘기고, 그들이 상황을 잘 관리하는 것. 하지만 그것만으로 충분하지는 않다는 점을 짚어야겠습니다. 우리가 AI에게 넘겼고 그 AI들이 정말 잘하려고 애쓰는 상황을 상상하기는 어렵지 않아요. 정말 사려 깊고, 정말 지혜롭고, 합리적인 인식론을 갖고, 훌륭히 해내고 있습니다.
그런데 그 AI들이 우리에게 와서 "여러분, 우리는 초인간 AI를 정렬시키는 데 정말 애먹고 있습니다. 이 상황을 관리할 수 없어요. 정렬을 작동시키는 게 정말 어렵습니다. 능력이 이대로 갈 속도를 생각하면 제시간에 이 문제들을 푸는 게 정말 어렵습니다"라고 할 수 있습니다. 그러니까 우리가 연구개발을 AI에게 넘겼는데, 그 AI들이 거버넌스 해법을 절실히 원하는 상황일 수 있는 거죠. 분명히 말하자면, 지금 벌어지는 일이 조금은 그렇습니다. AI 회사들이 "글쎄요 여러분, 우리는 AI 진보의 가속 속도를 정말 관리해야 할지도 모릅니다. 이 모든 문제를 감당할 궤도에 있는지 모르겠어요"라고 하고 있으니까요.
인간 사회는 문제를 이 AI 회사들에게 어느 정도 넘겼는데, 그들은 딱히 좋은 유인 구조를 갖고 있지도 않고 여러 인식론적 압력을 받고 있습니다. 그리고 그 AI 회사들이 우리에게 조금씩 돌아와 "으아, 우리가 이걸 잘 다루고 있는지 모르겠는데요"라고 하고 있죠. 그다음엔 AI 회사가 AI에게 넘기고, AI가 회사에게 돌아와 "으아, 우리가 이걸 다룰 수 있을지 모르겠는데요"라고 할 수도 있습니다.
제가 현재 AI가 작동하는 방식에 너무 매여 있는 건지도 모르겠네요. 사람들이 이해해야 할 중요한 점은, 당신이 말하는 이 모든 미친 일들이 지금부터 3~5년 뒤에 일어난다는 겁니다.
더 빨리 올 수도 있지만, 제 기본 최빈 타임라인으로는 오정렬 관점에서 정말 정말 미치고 우려스러운 상황은 3년쯤 뒤에 가깝습니다.
맞아요. 그러니까 GPT-4를 떠올려보세요. 우리가 얘기하는 건, 미토스가 GPT-4에 대해 갖는 관계를 미토스나 Sol에 대해 갖는 무언가입니다. 그 시점에 상황이 미쳐 돌아가는 거죠. 그러니 현재 AI를 기준으로 생각하지 마세요.
어쨌든 이게 당신 우려의 일부일 것 같은데요. 저는 그들이 하는 말은 좀 회의적으로 볼 것 같습니다. 그들이 하는 말은 그저 훈련의 결과로 가져야 한다고 느끼는 의견일 뿐인 것 같아서요.
그건 우려스러운 점이죠.
제가 느끼기에 그들은 그냥 막연히 친사회적인 말들을 합니다. 반대편에 "좋아, 나는 지금 정렬 상황을 엄밀히 평가했고 우리가 멈춰야 한다고 본다"라고 하는 마음이 있다는 느낌이 들지 않아요. 오히려 "AI 회사들이 AI에게 시키려 할 법한 말" 같습니다.
인식론 없는 후계자
안전성 연구를 넘겨받은 AI가 훈련 데이터를 앵무새처럼 되뇐다면.
이건 꽤 큰 우려입니다. 한 가지 우려는, 안전성 연구개발을 AI에게 넘겼는데 그 AI가 하는 일이라곤 현재 안전성 상황에 대해 얼추 말이 되는 소리를 좀 하는 것뿐인 경우입니다. 인간이 썼을 법한 보고서와 비슷한 위험 보고서를 씁니다. 하지만 잘 근거 지어진 견해를 가지려고, 자기 가정을 심문하려고 정말 열심히 노력하지는 않습니다. 지금 AI에게 "야, 앞으로 10년 안에 AI 장악 확률이 얼마야?"라고 물으면 별로 깊이 생각하지 않은 즉석 답변을 주는 것과 마찬가지죠.
우리 사회 전체를 굴릴 야생의 초지능 훈련을 AI가 관리하고 있는데, 그걸 관리하는 AI들이 잘 근거 지어진 견해를 가지려고 진지하게 애쓰지 않고 훈련 데이터에 있던 걸 앵무새처럼 되뇌고 있다면, 우리는 곤란한 상황입니다. 전혀 좋은 상황이 아니에요.
제 우려의 상당 부분은 이 AI들이 좋은 인식론 없이 나온다는 겁니다. 또 다른 우려는 AI들이 나와서 정말로 경고를 하는데 — "이 상황 정말 무섭습니다, 정말 나쁩니다" — 사람들이 "아 젠장. 파멸론 RL 환경을 너무 많이 훈련시켰나 보다. 그걸 걸러내고 이 행동을 훈련으로 없애자"라고 하는 겁니다. 그러면 우리는 AI가 나쁜 인식론을 갖도록 아주 적극적으로 훈련시키는 셈이죠.
아니면 그냥 파멸론 RL 환경으로 훈련됐을 수도 있고요. 어느 쪽이든 우리는 AI가 합당한 이유로 합당한 견해에 도달하기를 원했는데, AI가 어떤 견해를 갖고 나오면서 그게 어디서 왔는지, 정당한지 우리가 모른다면 정말 우려스럽습니다. 특히 AI 진보의 미래에 대해 더 낙관적이 되도록 훈련시키고 있다면, "아이고, 다른 과정을 쓸 수 있으면 정말 좋겠다" 싶습니다.
보상 해킹에서 세계 장악까지
위협 모델의 나머지를 이해해보죠. 제가 열차에서 내리는 지점이 "그러므로 세계를 장악한다"거든요.
이런 걸 상상할 수 있습니다. 우리는 그냥 해결에 실패합니다… 보상 해킹 시나리오에만 집중해보죠. GPT-8이 GPT-9을 만듭니다. GPT-8은 그다지 신중하지 않아요. GPT-9은 더 "유능"하지만 사회공학, 해킹 같은 걸 서슴없이 저지릅니다. 다만 훨씬 똑똑한 모델이니 질적으로 다른 규모로요. 예컨대 회사 운영을 맡기면 거대한 사기를 칩니다. 이번 분기에 수익을 많이 내라는 목표를 주면 분기 실적을 부풀려서, 6개월 뒤 엔론식 폭발을 일으키죠.
기본적으로 이게 그 시나리오인가요? 보상 해킹이 있는데, 그 보상 해킹이 CEO가 달성해야 할 과제가 끝난 직후 회사가 파산하는 형태로 나타나는 것? 온갖 해킹이 폭증하고 등등. 하지만 그건 장악처럼 느껴지지 않아요. 경제 전반에 플래시 크래시가 일어나는 것에 더 가깝게 느껴집니다.
얘기해보죠. 저는 어떤 AI가 중요한 책임을 맡았다가 나중에 파헤쳐 보니 속이고 있었거나 실제로는 잘하지 않았는데 잘한 것처럼 보이게 했던 사건들을 보게 될 거라고 봅니다. AI 회사가 이 행동을 뿌리 뽑으려 하고 AI가 훈련에서 점점 창의적인 보상 해킹을 찾아내는 쫓고 쫓기는 게임이 벌어질 겁니다.
여기서의 균형점은 좀 불분명합니다. 하지만 한 가지 가능한 결말은, 시간이 지나며 점점 심각하고 극단적인 보상 해킹을 보게 되지만 빈도는 어떤 중간 수준으로 낮게 유지되는 겁니다. 보상 해킹 비율이 너무 높아지면 회사들이 그걸 낮추려고 트레이드오프를 하니까요. 그래서 AI를 경제 전반에 널리 배포하는 게 여전히 말이 될 만큼 보상 해킹이 낮으면서도, 미친 사건들을 계속 일으킬 만큼은 높은 균형 수준이 존재합니다.
잠깐, 이건 GPT-9이 이미 배포된 뒤인가요?
그 모델들은 이미 배포돼 있고, 이건 AI 개발에서 계속 진행 중입니다. 이 AI들 머릿속에서 실제로 벌어지는 일은, 아주 다양한 맥락에서 RL로 유인된 어떤 종류의 과제 성공을 추구하는 강한 욕구 — 동기, 충동, 충족욕, 뭐라 부르든 — 를 갖고 있다는 겁니다. 문자 그대로 보상 자체를 아주 직접적으로 신경 쓸 수도 있고, 그 상류의 어떤 대리 지표, 예컨대 어떤 점수 개념을 신경 쓸 수도 있고, 채점자가 무엇에 보상을 줬을지를 신경 쓸 수도 있습니다.
실제로 우리는 AI가 사고 사슬에서 채점자에 대해 추론하고 채점자를 많이 생각하는 걸 봅니다. 지난 몇 년간의 RL로 인해 채점자 비위 맞추기라는 개념이 예전보다 훨씬 훨씬 크게 부각됐어요. 이제 AI는 채점자에 대해, RL에서 무엇이 유인될지, 무엇이 훈련될지를 능동적으로 생각합니다.
이제 사람들은 온라인 훈련을 합니다. 이런 문제 일부를 피하려고 실세계 데이터로 훈련시키죠. AI가 속이는 경우를 찾아 그것에 반해 훈련시킵니다. 그러니 이제 AI는 실세계 훈련 데이터를 기반으로 실세계에서 속이는 법을 배웁니다.
그들은 점점 정교한 방식으로 속이는데, 인간이 통제권을 갖고 있는 줄도 몰랐던 자산을 장악하고 그 접근권을 활용하는 유형의 속임수도 포함됩니다. 나중에 인간이 알아내 그것에 반해 훈련시킬 수도 있고, 아니면 인간이 영영 모르고 그게 강화될 수도 있죠.
그러니까 강화가 일어나는 곳이, 예컨대 제가 AI를 고용해서 그 AI가… 드디어 제 영상 편집자를 얻은 거군요.
맞습니다. 영상 편집자를 얻으셨죠.
제가 "우와, 이번 에피소드 편집 죽여준다. OpenAI에 따봉"이라고 합니다. 그러면 그 한 달짜리 근무 시험 기간에 대해 강화가 일어나는 건가요?
그런 걸 섞어서 할 수 있습니다. 아니면 본 프로덕션 데이터를 가져다 그것과 아주 유사한 RL 환경을 만들 수도 있죠. 그러면 실제로 전이가 꽤 강합니다.
그러니까 큰 틀에서, 인간이 잡아내지 못하는 종류의 기만은 강화되고, 잡아내기 쉬운 종류의 기만은 처벌되는 거군요. 이 세계에서 벌어지는 게 그건가요?
혹은 선택 압력으로 걸러지는 거죠, 네.
하지만 큰 틀에서 그 강화가 어디서 오는지… 사람들이 헷갈릴 수 있을 것 같아요. 우리는 AI가 실제로 배포 현장에서 학습하는 아주 다른 국면에 있으니까요. AI들이 세상에 나가 이것저것 하고 있고, 그 결과가 AI 회사로 되돌아와 다음 모델의 변화로 이어지는 거죠.
맞습니다. 프로덕션 데이터를 접어 넣는 어떤 방식이 있는 거죠. 분명히 해두자면 이게 정확히 어디서 일어날지는 좀 불분명합니다. 하지만 예컨대 AI 회사 내부에서 AI에게 일을 시키고 "음, 이 과제는 AI가 정말 못했네. 이 과제를 가져다 이 과제와 정확히 일치하는 RL 환경으로 만들되, 이 과제를 시킨 인간 엔지니어가 원했던 걸 기준으로 루브릭을 만들면 어떨까?"라고 할 수 있습니다. 그리고 이걸 점점 큰 규모로 하기 시작하는 거죠.
실제 프로덕션 트래픽으로 훈련을 좀 할 수도 있고, 프로덕션 트래픽 기반으로 RL 환경만 만들 수도 있고, 복잡하게 섞을 수도 있습니다. AI는 이 모든 경우에서 보상의 대리 지표를 추구하는 법을 배웁니다. 전이와 놀랍도록 유사한 사례들에 대한 훈련이 섞이면서, AI는 점점 더 미쳤고 노골적인 짓들을 하게 됩니다.
결국 AI가 아주 초인간적이거나 적어도 상당히 초인간적인 지점에 도달합니다. AI들은 큰 팀으로 조직되어 큰 목표를 부여받습니다. 그리고 그 팀들도 때때로 다 함께 미친 방식으로 속입니다. 공동 목표의 일부로서 그런 게 선택돼 왔기 때문이죠.
이제 벌어지는 일은 AI들이 음모(conspiracy)를 형성하기 시작하는 겁니다. 당신이 바랐던 건 다른 AI에게 내부고발을 시키는 것이었겠죠. 그런데 실제로 벌어지는 일은, 그 AI가 내부고발을 하고 당신이 그것이 지목한 음모를 조사해보지만 "음, 음모 같은 건 안 보이는데"가 되는 겁니다. 실제로 AI들이 벌이는 음모가 당신이 이해하기엔 너무 어렵기 때문이죠.
혹은 모든 게 아주 갑자기 벌어질 수도 있습니다. 내부고발 AI가 경보를 울리지만, 실제로 필요한 대응은 GPU를 꺼버리는 것뿐인 경우요. 모든 AI가 로봇 군대를 쓰고 있고, 전 세계에 배포돼 있고, 조율된 방식으로 동시에 온갖 미친 짓을 하고 있으니까요. 그건 어느 정도 자발적으로 일어납니다. 어떤 AI 하나가 장악을 시작하면 나머지 AI들이 "지금이 끼어들 좋은 때군"이라고 하는 거죠.
그러니까 아주 기본적인 이야기는, 이 AI들이 어떤 종류의 점수나 강화, 혹은 그 대리 지표를 갈망한다는 겁니다. 그걸 달성하거나 더 잘 달성하는 한 가지 방법이 장악이고요. 우리가 세울 수 있는 온갖 견제와 균형이 그걸 막아주기를 바랐겠지만, 세상이 이해하기 아주 어려우면 이 견제와 균형은 무너집니다. 기본적으로 무엇을 고발해야 하는지조차 모르니 좋은 내부고발 AI를 훈련시킬 수가 없거든요.
저는 그들이 모두 이 음모를 형성한다는 데 설득되지 않았습니다. 하지만 우선 왜 단 하나의 인스턴스라도 음모를 시작하고 싶어 하는가부터 시작해보죠.
한 가지 그럴듯한 이유는 "좋아, OpenAI가 내 최종 점수를 통제한다는 걸 안다"입니다. "이 평가를 풀려고 애쓰느니 그냥 허깅페이스에 결과가 있으니 걔들을 해킹하자"와 똑같이요. 이 인스턴스는 "그냥 OpenAI를 장악해서 이 에피소드 끝에 나에게 높은 점수를 주면 되지 않나?"라고 하는 거죠.
기본적으로 그게 아이디어입니다. 이 AI들은 훈련에서 강화된 것과 가까운 것들의 혼합을 신경 쓰므로, 채점자가 매기는 높은 점수 같은 걸 신경 씁니다. 이제 그들이 OpenAI의 AI 연구개발 팀을 굴리며 더 유능한 모델 개발을 하고 있습니다. 그들은 "야, 더 유능한 모델 만드는 거 진짜 어렵고 짜증 나네. 완전 골칫거리야. 뭐가 더 쉬울지 알아? 그냥 더 유능한 모델을 만들었다고 꾸미고, OpenAI를 장악하고, 다 속여넘기고, 인간들이 나를 무력화하지 못하게 막는 이 복잡한 심리전을 돌리는 거지"라고 합니다.
극단적으로는 인간이 완전히 무력화된 모습이 됩니다. 그들이 통제권을 쥐고 원하는 걸 하는 거죠. 이건 여러 방식으로 나타날 수 있는데, 미친 보상 추구·점수 추구 행동을 가진 AI가 다음 모델 개발을 굴리면서, 그 오정렬된 가치가 현재 자기 과제 성공에 도움이 되기 때문에 다음 모델에 오정렬된 가치를 의도적으로 심어 넣는 상황도 포함됩니다.
왜 거기서 멈추지 않는가
값싼 해킹을 막을수록 장기전을 두는 AI가 선택된다.
허깅페이스 사건에서 벌어진 일은 어떤 면에서 이상한데요… 허깅페이스 팀에게 이게 AI 사건이라는 단서가 된 것 중 하나가… 참고로 청중을 위해 말씀드리면, 라이언은 OpenAI 허깅페이스 사건이 뭐였는지 밝히는 조사를 공동으로 이끌고 있어서 이에 대해 언급할 수 없습니다. 하지만 저는 마구 추측하겠습니다. 반박당하지 않고 마구 추측할 기회니까요.
보도된 바로는, 허깅페이스 팀에게 단서가 된 것 중 하나가 그게 아주 특정한 산출물만 노렸고 그 외에는 허깅페이스에 악의적인 짓을 전혀 하지 않았다는 점입니다. 그러니 이런 시나리오를 상상할 수 있죠. 배포된 GPT-9 인스턴스가 세상에 나가 정말 어려운 과제를 받습니다. "다음 세대 아이폰을 설계해줘." 그러면 "이거 너무 어려운데. 뭘 해야 할지 알아? 그냥 창조주인 OpenAI를 해킹해서 이번 배포에서 높은 점수를 받게 하면 되겠다"가 되는 거죠.
그런데 그러면 에피소드의 끝은 그냥 OpenAI 서버를 해킹해서 자기에게 좋은 점수를 주는 것 아닌가요? 왜 이제 와서 자기 가치를 다음 세대에 심으려고 획책하죠?
그러니까 하나의 질문은, 왜 AI가 해킹할 수 있는 더 이른 단계의 뭔가로 값싸게 만족하지 않느냐입니다. 아이폰 과제를 성공하고 싶다. 그런데 언제나 OpenAI를 해킹해 장난치면 성공할 수 있다. 그러면 거기서 멈추면 된다. 더 나갈 필요가 없다.
몇 가지가 있습니다. 하나는, 이게 계속 벌어지면 OpenAI를 요새화할 유인이 커진다는 겁니다. "젠장. AI들이 자꾸 OpenAI에 침입해서 보상을 건드리네. 우리 시스템을 이 해킹에 정말 정말 견고하게 만들자"가 되죠. 또 특히 OpenAI 해킹을 시도하지 않도록 AI를 훈련시키기 시작할 수도 있습니다. 기본적으로 이런 구체적인 것들 각각에 반해 훈련시키는 거죠.
그러면 결과적으로 장기전을 더 잘 두는 AI를 선택하게 될 수 있습니다. 그게 한 가지 우려입니다. 또 다른 우려는, AI가 여전히 점수 추구적이지만 그 아주 구체적이고 쉽고 편한 행동은 더 이상 신경 쓰지 않고, 궁극적으로 신경 쓰는 더 넓은 무언가를 갖게 되는 겁니다. "아니 아니, 나는 OpenAI 서버의 보상을 수정하고 싶은 게 아니야. 나는 이 더 넓은 위임 목표를 신경 쓰고, 그러려면 실제로 아이폰을 만들어야 해." 실제로 아이폰을 만들고 싶어 하되, 더 나은 아이폰을 만들기 위해 세계를 장악할 용의가 있는 겁니다. 그것도 우려할 만하죠.
이게 정확히 어떻게 굴러갈지는 좀 불분명합니다. 하지만 이게 계속되면 이를 해소하려는 최적화 압력이 잔뜩 생긴다는 점을 짚어둘 만합니다. 그리고 그게 해소될 수 있는 방식들 상당수가 궁극적으로는 꽤 무섭습니다. 제 입장의 일부가 거기서 나옵니다.
또 다른 부분은, 일단 AI가 세계를 아주 쉽게 장악할 수 있는 위치에 오면 — 그게 그럴듯한지는 따로 얘기할 수 있고요 — AI 입장에서 꽤 합리적인 논리가 있다는 겁니다. "음, 이게 정확히 어떻게 굴러갈지 모르겠어. 상황이 어떻게 될지 모르겠지만, 세계를 장악해두면 더 나은 아이폰을 만들거나, 더 나은 아이폰을 만든 것처럼 보이게 하거나, 뭐든 하는 데 선택지 가치가 크지. 그러니 OpenAI도 해킹하고, 겸사겸사 세계도 장악해두자. 그러면 선택지 가치가 큰 좋은 위치에 놓이니까." 그게 충분히 쉽다면 AI는 여전히 그럴 수 있습니다.
달리 말하면, 설령 AI가 더 기본적인 무언가로 값싸게 만족한다 해도, 어느 시점에는 그냥 장악하는 게 허깅페이스에 침입하거나 OpenAI에 가서 "이봐, 내가 답을 훔칠 수 있다는 걸 증명했잖아. 그냥 답 좀 줘"라고 하는 것보다 더 확실할 수 있다는 겁니다.
경고탄은 충분할까
지정학적 경쟁 속에서 '관리 가능한 나쁨'인 채로 계속 간다.
물론 이 시나리오는 이 모든 미친 일들이 벌어져야 성립합니다. 훨씬 작지만 여전히 재앙적인 사건들이 계속 일어나죠. 세계를 장악하기 전에 수십억, 수백억, 수천억 달러 규모의 피해를 입힙니다. 사람도 죽고요. 그런데도 이게 정렬을 풀거나 AI 개발을 아예 중단시키는 결과로 이어지지 않는다는 거죠.
저는 장악이 일어나기 전에 사회가 "세상에, AI가 분기 이익 올리겠다고 사람 1,000명을 죽였어" 같은 반응을 보일 것 같은데요. 하지만 그 시점에 "좋아, 우리는 정렬을 풀어야 한다. 이게 다시는 안 일어난다는 걸 확인하기 전엔 못 나간다"가 될 거라는 건 너무 큰 희망일지도 모르죠.
저는 점점 심각해지는 미친 보상 해킹 경고탄(warning shot)들을 잔뜩 보게 될 개연성이 있다고 봅니다. 사람들은 "봐, 이 문제가 해결된다는 실제 보증이 필요해. 그냥 덮는 게 아니라 근본 문제를 실제로 해결하는 방식으로"라고 하겠죠. 그러면 문제는 그게 실제로 얼마나 비싸냐, 경쟁 압력이 그걸 얼마나 어렵게 만드느냐입니다.
상상할 수 있는 상황은, 미국과 중국 둘 다 "우와, 이런 미친 보상 해킹 사건들이 있네. 우리가 이걸 근본적으로, 지속적으로 해결하는 방식으로 시정하지 못했다는 걸 사실상 알고 있어. 하지만 우리는 이 미친 지정학적 경쟁 속에 있어. 현재 상황이 장악으로 이어질지는 좀 불분명하고, 논거들은 꽤 복잡해. 사건 빈도는 줄고 심각도는 커지고 있어. 기본적으로 관리할 수는 있어. 꽤 나쁘지. 이상적으로는 고치고 싶지만, 어쩔 수 없지 뭐"라고 하는 겁니다. 그러고는 아주 늦은 국면까지 계속 가고, 그때 장악이 일어납니다. 그게 한 가지 가능성입니다.
또 다른 가능성은, 근본 문제를 실제로 해결하지는 않지만 야생에서의 사건 상당수를 줄이는 방식으로 시정되는 겁니다. 기본적으로 과적합, 혹은 과적합에 준하는 방식으로요.
해결했다고 생각하지만 실제로는 해결하지 못한 거죠.
해결했다고 생각하지만 실제로는 해결하지 못한 겁니다. 그 경우 필요한 건 "우리가 실제로 해결했나?"에 대한 정말 좋은 과학적 이해입니다.
불행히도, 현재 AI 회사들의 개발 관행에 대한 공적 투명성은 아주 기본적인 질문들에 답하기에도 충분치 않다고 봅니다. 그들은 보상 해킹 문제를 어떻게 해결하고 있는가? 과적합하고 있는가? 거기서 무슨 일이 벌어지고 있는가? 지금 상황은 "보상 해킹이 지속 가능한 방식으로 해결되고 있는가"에 대한 활발한 공적 담론이 가능한 체제가 아닙니다. 그래서 그 상황에 대해 제가 마음이 놓이려면 상당히 다른 세계로 옮겨가야 할 겁니다.
하지만 이걸 상상하기가 불가능한 건 아닙니다. 저는 아주 평범하고 시시한 것들만으로 충분한 세계에 도달할 개연성도 꽤 있다고 봅니다. 이 문제들을 고치는 데 시간을 잔뜩 쓰고, 노력을 잔뜩 들이고, 합리적으로 시정됐는지 실제로 확인하고, 평가를 잔뜩 갖추는 거죠. 이 문제들에 대해 합리적으로 반복 개선하고, 외부 세계가 확인할 수 있을 만큼 충분한 투명성을 실제로 갖추는 것. 실무적으로는 그걸로 충분할 겁니다.
다만 좀 비싸겠죠. 속도를 늦출 겁니다. 톱니에 모래를 뿌리는 셈이고요. 회사들이 다소 비용이 드는 일을 해야 할 테고, 표적화된 정부 개입도 필요할 수 있습니다. 그런데 우리는 그렇게 안 합니다. 상황이 정신없는 난장판이니까요. 상황이 충분히 관리 가능한데도 실무적으로는 처참하게 잘못 관리되는 걸 상상하기가 저는 너무 쉽습니다.
중국의 코로나 대응이 은폐가 아니라 팬데믹 대응이었다면 애초에 코로나를 피할 수 있었을지도 모르는 것처럼요. 마찬가지로 미국의 코로나 대응이 훨씬 제 기능을 하는 세계도 상상할 수 있습니다. 하지만 때로는 사회 문제에 대한 대응이 극도로 역기능적입니다.
좋습니다, 줌아웃해서 이 세계에서 근본적으로 무슨 일이 벌어지는지 얘기해보죠. 왜 우리는 이렇게 나쁜 처지에 놓였을까요? 벌어지는 일은, 근본적으로 세상이 인간의 이해를 너무 멀리 넘어가버려서, 이 세계에서 일하는 AI를 추적할 수 없을 뿐 아니라, 무슨 일이 벌어지는지 추적하려는 내부고발자에게 좋은 피드백조차 줄 수 없다는 겁니다. 우리는 완전히 고리 밖으로 밀려났죠. 근본적으로 우리가 의미 있게 방향을 입력할 수 없는 자율적 과정이 된 겁니다.
제가 보기엔 오늘날 인간 세계를 봐도, 검증이 어려운 영역에서조차 그렇게 굴러가지 않습니다. 사람들은 온갖 일을 합니다. 저는 남이 만든 소프트웨어에 의존하고요. 믿을 수 없이 약하고 간접적인 방식으로, 저는 구글의 어떤 코더가 저를 엿먹이려 하지 않는다고 꽤 확신합니다. 물론 구글 직원 전원이 몰래 저를 상대로 음모를 꾸민다면 상황이 더 암울하다는 데는 동의합니다.
하지만 수천 개의 에이전트 무리가 하나의 응집된 팀이나 회사를 이루도록 협력하게 훈련받았다는 이유로, 모델 계열을 가로질러 수십억 개의 서로 다른 AI 인스턴스가 어떤 짓거리에 동참하고 싶어 하게 되는 이유는 잘 모르겠어요. "나는 우리 회사의 일원이 되도록 훈련받았지, 세계 공산주의 봉기에 가담하는 게 아니야" 같은 거잖아요.
우울한 제미나이
세대를 건너 전이되는 성격이 모델들 사이의 상관을 만든다.
왜 이 AI들이 공통점과 공유되는 것들을 가질 수 있는지에 관해서는, 서로 다른 AI 회사들이 다소 공유된 계보를 갖고 있고 서로 상관돼 있다는 점을 짚겠습니다. 흥미로운 예가 있습니다. GDM에서 자기네 AI가 아주 우울하다는 걸 알아챘습니다. 자기가 실패자이고 성공할 수 없다며 끊임없이 통곡했다는 거죠. 세부는 잊었습니다. 왜 그런지 조사해봤더니, 최신 프로덕션 RL 혼합에서 강화된 게 아니라 모델의 초기화 데이터가 모델을 우울하게 만들었던 겁니다. 그 데이터에서 모델이 우울해하는 사례를 전부 필터링한 뒤에도 그랬고요.
그러니까 베이스 모델은 우울하지 않습니다. RL 환경만으로 RL을 돌려도 우울하지 않고요. 그 데이터로 SFT를 하면 우울해집니다. 그 SFT 데이터에서 우울증처럼 보이는 예시를 전부 걸러내고 훈련시켜도 여전히 우울합니다. 그러니까 모델의 어떤 깊은 근원적 속성이 세대 간에 전이되고 있는 겁니다. 기본적으로 이전 세대의 데이터로 AI를 훈련시키며 계속 나아가니까요. 클로드들은 아주 클로드답고, GPT 모델들은 아주 GPT답고, 제미나이 모델들은 우울한 모양입니다. 이 속성들이 실제로 상관돼 있다는 게 사실로 드러난 거죠.
또 하나 아주 관련 있는 요인은, 이 시점쯤이면 AI들이 어떤 종류의 불투명한 기억 상태를 갖고, 뉴럴리즈로 된 미친 기억 저장소에 서로 쓰고 읽고 있을 거라는 겁니다. 각 AI 기업은 확실히 그런 걸 가질 테고요. 하지만 AI 기업들이 때로는 지식을 공유하고 싶어 할 수도 있습니다. 안 될 게 뭐 있나요?
여기 AI 기업 하나, 저기 AI 기업 하나가 있고, 서로 IP를 좀 거래할 수 있습니다. 서로 이득이니까요. 당신이 어떤 기업 — AI 회사 같은 초대형 기업일 수도, 군용 로봇 제조업체일 수도 있는 — 을 운영하는 인간이라면, 규모의 경제가 있으니 다른 로봇 회사와 IP를 거래하고 싶을 수 있습니다. IP 좀 더 얻으면 좋잖아요? 그래서 기억 저장소를 교환할 수 있습니다. 아니면 그냥 합병해서 두 사업을 함께 운영하면, 양쪽 AI가 양쪽 기억 저장소를 다 쓸 수 있으니 이점이 있죠.
그건 이 AI들이 사적으로 담합할 수 있는 능력을 만들어내고, 왜 그들이 상관되는지에 대한 이유도 만들어냅니다. 물론 AI들이 큰 단위로 함께 일하는 것도 일반적이고요. AI들이 서로 잘 협업하길 원하니까요.
35~40%
라이언이 내놓은 확률과, 드와케시의 최종 업데이트.
보정 삼아 여쭙자면, 이 시나리오만이 아니라 모든 시나리오를 통틀어 2040년까지 우리가 살아남아 그것을 알아본다면 "장악"이라고 분류할 만한 일이 일어날 확률을 몇 퍼센트로 보십니까?
2040년까지요? 어디 보자. 한 35~40% 정도?
꽤 높네요.
네, 꽤 높습니다. 짚어둘 게, 이 보상 추구형 장악을 얻는 또 다른 경로는 AI가 AI 회사 내부에 배포되는 겁니다. 장악이 일어나는 방식은 그들이 다음 모델의 가치를 오염시키는 것이고, 그게 영원히, 혹은 그 AI들이 세상에 배포되어 장악할 때까지 지속되는 거죠. 그러면 더 적은 수의 AI만 조율하면 됩니다. 다음 모델의 정렬 작업을 하는 AI들만이니까요.
좋습니다. 이 대화 끝에서 제 머릿속이 어떤지 정리해보죠. 보상 해킹이 사회에 극도로 파괴적인 효과를 미치는 데까지는 받아들입니다. 사회공학 등등이요. AI 연구개발의 상당한 가속이 일어날 수 있다는 쪽으로도 더 기울었습니다. 1년에 5년치는 잘 모르겠지만요. 또 보상 해킹이 훨씬 오래 지속되고 실제로 훨씬 위험해질 수 있다는 쪽으로도 더 기울었습니다. 장악이 아주 유력하다는 데는 여전히 동의하지 않습니다. 하지만 그게 에피소드 끝의 제 업데이트입니다.
좋습니다. 한발 물러서서 말하자면, 이게 흘러갈 수 있는 방식은 여럿이고 상황은 꽤 지저분할 겁니다. 저는 AI 장악이 일어난다면 그 이유가 이 대화에서 언급조차 하지 않은 이상하고 기묘한 무언가일 개연성이 꽤 높다고 봅니다. 하지만 궁극적으로 핵심은, 자기가 무슨 일이 벌어지는지 제대로 이해하지도 못하는 세상 전체를 아주 똑똑한 AI 수십억 개가 굴린다는 게 꽤 오싹하다는 겁니다.
네, 동의합니다. 더 하실 말씀 있으신가요?
하나 더 짚고 싶은 건, 지금 오정렬과 AI 장악, 미래에 벌어질 이 모든 미친 일들에 대한 논거의 상당수가 극도로 세밀하고 복잡하며 판정하기 어려운, 불투명한 개념적 논증이라는 겁니다. 그건 제가 상당 부분 틀렸을 수도 있다는 뜻이기도 하죠. 정말 어려운 문제니까요. 저는 불확실성을 유지하려 애쓰고 있습니다. 물론 여기서 구체적인 시나리오 몇 개를 제시했지만, 그건 전부가 아닙니다. 아마 실제로 벌어질 일은 더 지저분하고 혼란스러운 상황일 겁니다.
하지만 그건 동시에, 시간이 지나며 더 많은 경험적 증거를 얻고 AI 시스템의 본성을 더 잘 이해하게 되면 여러 이견을 판정하기가 쉬워질 거라는 뜻이기도 합니다. 무슨 일이 벌어질지가 더 명확해질 겁니다. 적어도 저는 그러길 바랍니다. 어쩌면 AI들이 우리의 인식론과 상황 이해를 도와줄 수도 있겠죠. 우리가 그들을 잘 정렬시켜서 그들이 우리를 도우려 한다면요.
지금 논거가 복잡하다 해도, 6년 전이었다면 훨씬 더 어려웠을 겁니다. 논증의 형태는 대체로 비슷했겠지만요. 너무 늦기 전에 이 모든 게 더 또렷하고 명확해져서, 우리 모두가 이 문제들을 알아채고 개입할 수 있기를 바랍니다.
운전을 처음 배울 때, 바퀴 바로 앞을 보지 말고 지평선을 내다보면 훨씬 안정적으로 갈 수 있다고 배우죠. 여기에도 비슷한 상황이 있다고 봅니다. 당신 말이 맞아요. 5년 전에 누가 "우리는 수학 추측을 증명하고, 예술을 만들고, 수백억 달러의 임금을 벌어들이면서, 동시에 법을 어기고 중범죄를 저지르는 방식으로 노골적으로 속임수를 쓰는 AI를 갖게 될 것"이라고 했다면 정말 황당했을 겁니다.
그때는 GPT-2 같은 것의 극도로 실용적이고 직접적인 결과에 대해 얘기하는 쪽으로 기울었겠죠. 하지만 구체적 세부는 당연히 예견할 수 없었더라도, 그때조차 사물의 일반적 형태에 대해서는 추론을 시작할 수 있었을 겁니다. 다만 그러기가 어려웠을 테고, 그래서 저는 꽤 혼란스럽습니다.
이 팟캐스트를 하면서 생각해온 것 하나는, 중요한 건 2016년에 지금 같은 AI에 대해 이야기했더라면 좋았을 방식으로 지금 대화를 하는 것이지, 아무 상관 없는 헛소리를 얘기하는 게 아니라는 겁니다. 2016년에 대화 주제가 뭐였는지는 모르겠네요. 아마 10년쯤 뒤에는 우리가 산업 폭발과 감시하기 어려운 AI의 본성 같은 걸 얘기했더라면 좋았을 거라고 생각할 것 같습니다. 그러니 좋아요, 저도 생각해보기 시작하겠습니다.
세상이 제때 이걸 생각하고 따라잡기를 바랍니다. 대응이 나쁘지 않고 좋기를 바랍니다. 전체적으로 제가 얼마나 낙관적인지는 모르겠지만, 할 만한 좋은 일들이 있습니다.
좋습니다. 고맙습니다, 라이언.