Talk · Agents Session
Oriol Vinyals — “Recursive Self Improvement... of What?”
여러분 안녕하세요. 모교인 버클리에 다시 오게 되어 정말 반갑습니다. 오늘 이 세션이 에이전트에 관한 것이라는 건 알고 있습니다만, 저는 최근 들어 재귀적 자기 개선에 훨씬 더 집중해 왔습니다. 그래서 그에 대한 제 나름의 관점을 조금 말씀드려 볼까 합니다.
자, 어쨌든 이야기를 시작하겠습니다. 슬라이드가 곧 뜨기를 바라면서요. 사실 DeepMind에서 저희가 아주 오랫동안 붙들고 있던 주제 중 하나가 바로 에이전트입니다. 그리고 강화학습을 중심에 놓고 만들어진 회사에 있다 보면 — 강화학습은 10년도 더 전부터 ‘에이전트란 무엇인가’를 정의해 온 분야죠 — 에이전트라는 말의 의미가 세월에 따라 어떻게 변해 왔는지 지켜보는 게 꽤 흥미롭습니다.
제 첫 번째 슬라이드가 (뜬다면) 보여줄 것은 전통적인 강화학습 루프입니다. 에이전트가 있고, 환경이 있고, 그 사이에서 관측(observation)과 행동(action)이 오가는 구조죠. 그리고 보통 에이전트는 신경망으로 구동됩니다. 하지만 관측과 행동은 대체로 고정되어 있었습니다.
그리고 당시의 환경은 — 아, 슬라이드가 떴네요 — 당시의 환경으로 저희는 비디오 게임을 썼습니다. 오늘 이야기의 맥락에서도 꽤 말이 되는 선택이었죠. 당시 저희가 펴던 주장에 대해 사람들은 이렇게 말했습니다. “게임은 현실 세계가 아니잖아요. 이 기술이 당신들 말처럼 그렇게 큰 영향을 주지는 못할 것 같은데요.” 물론 지금 돌이켜 보면, 이 기술은 이미 엄청난 영향을 미쳤고 앞으로도 그럴 겁니다.
그런데 비디오 게임에는 아주 좋은 성질이 하나 있습니다. 지금 우리가 쓰는 샌드박스보다도 더 제대로 샌드박스화되어 있다는 점이죠.
그래서 저희는 알고리즘과 아이디어를 에이전트의 능력 측면에서 시험했습니다. 바둑(Go), 스타크래프트, 그 외 온갖 종류의 게임에서요. 그러다 결국 — 게임이 동났습니다. 가장 복잡한 게임들까지 다 공략해 버렸으니까요. 게임 이야기는 조금 뒤에 다시 하겠습니다. 어쨌든 LLM 이전 시대의 에이전트는 그림이 꽤 단순했습니다.
지금 에이전트가 무엇을 의미하는지는, 오전 세션부터 지금까지 워낙 여러 번 들으셨을 테니 너무 깊이 들어가고 싶지는 않습니다. 다만 판이 좀 뒤섞였습니다.
그중 가장 근본적인 변화는, 환경을 에이전트로부터 떼어내기가 어려워졌다는 점입니다. 그래서 저는 환경을 에이전트 안에 그려 넣었습니다.
환경이란 이제 하나의 머신입니다. 네트워크나 인터넷에 접속할 수도 있는 머신이고, 그 안에서 에이전트 하네스가 돌아가며, 그 하네스의 두뇌 역할을 대형 언어 모델이 맡습니다. 예전 그림에서 특정 게임이나 도메인에 맞춰 학습된 신경망이 하던 역할과 크게 다르지 않죠.
그런데 이 상호작용이 워낙 중요하고 핵심적이어서, 환경과 에이전트를 분리하기가 매우 어렵습니다. 그리고 예전과 달리 이제는 사용자가 이 에이전트와 상호작용합니다. 코딩을 시키거나, 실행에 한참 걸리는 어려운 질문을 던지거나 하면서요. 게다가 환경은 대체로 사용자와 공유됩니다. 제 머신이기도 하니까요. 클라우드에서 띄울 수 있는 가상 머신 같은 것도 있고요.
이제 이 렌즈를 통해서, 제가 생각하는 자기 개선(SI)과 재귀적 자기 개선(RSI)의 아주 실용적인 정의를 설명해 보겠습니다. 사실 그렇게 다르지 않습니다. 그래서 에이전트 세션에서 이 이야기를 꺼내는 거고요.
자기 개선(Self-Improvement)은 오늘날 에이전트가 우리를 위해 하고 있는 일에서 뉘앙스가 조금 달라진 정도입니다. 아마 사용자가 시스템과 그렇게까지 상호작용하지 않는다는 점이 다르겠죠. 자기 개선이란 시스템이 별다른 입력 없이 대체로 혼자서 돌아간다는 뜻이니까요. 사용자가 명세를 하나 주면, 이 과정이 몇 시간이고 며칠이고 돌아갑니다. 주고받는 대화형이라기보다는요.
그리고 결정적으로, 적합도 함수(fitness function), 혹은 개선의 목표가 무엇이든 그것이 존재합니다. 오전 세션에서는 테트리스가 그 목표, 그 적합도였죠. 시스템이 그걸 최적화하려고 했고요. 하지만 이건 에이전트와 크게 다르지 않습니다. 거의 세부사항에 가깝습니다.
여기서 한 걸음 더 나아가면 재귀성이 나옵니다. 가장 단순하게 생각하는 방법은 이렇습니다. “잠깐만. 에이전트 하네스 자체, 즉 에이전트를 구동하는 코드, 나아가 에이전트의 행동 뒤에 있는 두뇌인 LLM(또는 LLM들의 집합)까지도 수정할 수 있잖아?” 이것들은 아주 간단하게 환경의 일부로 볼 수 있습니다. 하네스를 돌리는 코드도, 모델도요. 모델은 토큰을 서빙하는 서버에 업로드하는 하나의 객체 같은 것일 수 있죠.
재귀적이라는 부분은, 이 환경과 에이전트 하네스가 자기 자신 또는 모델을 수정하도록 허용하는 것, 딱 그것뿐입니다.
여기서 구분해 두면 유용한 게 있습니다. 하네스 공간에서의 자기 개선 — 이건 코드 쪽입니다. 컨텍스트 압축(compaction)을 어떻게 할지, 에이전트를 위해 구현해야 하는 온갖 것들, 어떤 도구를 쓸 수 있게 할지 등이죠. 그리고 모델 가중치 자체에서의 자기 개선이 있습니다. 처음부터 새로 쓸 수도 있고, 파인튜닝할 수도 있고요. 재귀성의 행동 공간이란 결국 그 객체를 수정하는 모든 것입니다.
이건 꽤 단순합니다. 저는 아직 정말로 임팩트 있는 재귀적 자기 개선 사례를 봤다고 생각하지 않습니다. 자기 개선 사례는 확실히 많죠, 그건 훨씬 흔하게 보입니다. 하지만 재귀적 쪽도 분명 오고 있고, 이는 우리가 하네스와 LLM을 개발하기 위해 연구를 수행하는 방식 자체에 상당히 깊은 영향을 미칩니다. 물론 그것이야말로 여러 프런티어 랩들이 하고 있는 일의 핵심이고요.
조금 풀어서 보겠습니다. 두뇌를 가진 이 에이전트가 재귀적 자기 개선을 한다면 어떤 식일까요? 여기서는 연구자 모자를 써 보는 게 꽤 유용합니다. 우리 모두가, 혹은 그렇지 않을 수도 있지만 많은 분들이 논문을 써 봤고 분야를 바꿀 아이디어를 고민해 봤을 겁니다.
그러니 완전한 능력을 갖춘 재귀적 자기 개선 시스템이 밟을 과정은, 우리 중 다수가 논문을 내고 자기 기법을 널리 채택시키려고 수년간 해 온 그 게임의 과정과 크게 다르지 않습니다. 이건 여러 방식으로 쪼갤 수 있지만, 저는 다음 네 가지로 보는 게 유용하다고 생각합니다.
1) 아이디어 구상(Ideation). 아주 중요한 단계입니다. 이전 연구 전부와 분야에 대해 아는 모든 것을 가지고, 어떤 아이디어가 근본적으로 추구할 가치가 있는지 고릅니다. 이건 매우 중요한 추론 단계이고, 이것이 다음 단계로 넘어가게 만듭니다.
2) 구현(Implementation). 그 아이디어를 실제로 구현해야 합니다. 복잡할 수도, 단순할 수도 있죠.
3) 실험(Experimentation). 코드를 돌립니다. 버그가 납니다. 안 됩니다. 계속 밀어붙일 수도 있고, 포기하고 다른 아이디어로 돌아갈 수도 있습니다.
4) 평가(Evaluation). 마지막으로, 무슨 일이 일어났는지, 구상 단계에서 세운 가설이 검증됐는지 아닌지를 평가합니다. 그런 다음 전통적으로는 논문을 쓰겠죠. 재귀적 자기 개선 시스템이라면, 그냥 다시 처음으로 돌아가 루프를 돕니다.
여기서 결정적인 지점이자 제 관찰은, 현재 노력의 대부분이 가운데 두 상자에 쏠려 있다는 것입니다.
구현 — 요즘 코딩 에이전트가 얼마나 강력한지는 다들 아시죠. 그러니 여기엔 분명 많은 진전과 열기가 있습니다. 실험도 마찬가지입니다. 실행하고, 컴파일하고, 디버깅하고. 아마도 사용자와 가장 상호작용이 많은 부분이기 때문일 겁니다. 즉 재귀적 자기 개선이라기보다 자기 개선에 더 가까운 영역이라서요. 여기서도 정말 많은 진전이 있었습니다.
하지만 나머지 두 개는 그렇지 않습니다. 그래서 이 루프를 완전 자동화로 의미 있게 달성하려면 무엇이 필요한지, 조금 확대해서 생각을 자극할 만한 이야기를 해 보겠습니다.
평가는 언제나 아주 중요한 주제입니다. 저는 커뮤니티로서 우리가 평가와 데이터를 마땅히 받아야 할 만큼 조명해 준 적이 없다고 봅니다. 새로운 데이터셋을 제안하는 논문조차, 적어도 몇 년 전에는 ‘응용’으로 치부되어 큰 학회에 실릴 자격이 없다고 여겨지곤 했죠.
그래서 저는 평가를 강조하고 싶습니다. 그만큼 중요하니까요. 더 나은 모델과 더 나은 하네스를 개발해 나가면서, 우리는 진전을 어떻게 더 과학적으로 측정할 수 있을까요?
첫 번째 방법은 뻔한 방법입니다. 이 맥락에서 중요하다고 믿는 몇 가지 능력과 벤치마크를 잡습니다. SWE-Bench Pro, MLE-Bench, 그리고 아마도 사전학습에서 홀드아웃 데이터에 대한 퍼플렉시티 같은 것들이 요즘 대부분의 사람들이 최적화하는 대상이죠. 그리고 그냥 힐 클라이밍을 합니다. “이것들 전부에서 점수를 올리다 보면, 그 과정에서 재귀적 자기 개선이 창발하겠지”라고요.
장점은 분명 있습니다. 이게 바로 우리가 몇 년째 LLM을 훈련해 온 방식이니까요. 평가가 비교적 저렴하고, 우리가 할 줄 알고, 잘 정의되어 있습니다.
단점 중 최악은, 정말로 재귀적 자기 개선을 발달시킬 수 있는 시스템에 대해 지극히 간접적인 측정이라는 점입니다. 물론 과적합, 커닝 같은 온갖 문제도 있고요. 게다가 지금 우리가 가진 평가들은 앞서 말했듯 대부분 가운데 두 상자, 즉 구현과 실험에만 초점을 맞추고 있습니다.
훨씬 나은 방법은, 우리가 개선하고자 하는 바로 그 능력 — 이 경우엔 재귀적 자기 개선 — 을 문자 그대로 평가하는 것입니다. 이 분야가 주목받고 있으니 관련 벤치마크들도 나타나고 있습니다. Post-Train Bench가 한 예이고, Don이 또 다른 걸 알려주더군요. 앞으로 몇 주, 몇 달 사이에 이런 것들이 계속 튀어나올 게 확실합니다.
장점은 물론 우리가 신경 쓰는 것을 측정한다는 점입니다. 자기 개선 능력 자체를 개선하게 되니까요. 평가를 이렇게 설계한다면 — “내부 루프에서 다른 지표를 하나 평가해라, 몇 번 시도해 보고 얼마나 개선되는지 봐라, 그 개선폭이 곧 너의 평가 점수다” — 좀 메타적이지만 훨씬 강력합니다.
물론 단점도 몇 가지 있습니다. 지금으로선 평가 비용이 비쌉니다. 정해진 지표를 개선하도록 에이전트를 한참 돌려야 하니까요. 그리고 내부 루프는 결국 테트리스 점수 같은 걸 개선하는 것이 되는데, 이건 실제 프로덕션에서 우리가 평가하고 싶은 지표가 아닐 겁니다. 진짜 원하는 건 “내 프런티어 랩 전체를 자동화해서 세계 최고의 모델을 만들어라”에 가깝죠. 그런 의미에서 지금의 이런 평가들은 다소 분포 밖(out of distribution)에 있을 수 있습니다.
여기에 약간의 변형을 가한 것이 오늘 논의의 흐름과도 매우 관련이 깊고, 앞으로 이 분야에서 점점 더 많이 일어나리라 제가 예상하는 방향입니다. 즉, “3시간의 연산을 줬을 때 테트리스를 얼마나 더 잘하게 되었는가”만 평가하는 게 아니라, 그 개선을 어떻게 달성했는가도 함께 평가하는 것입니다.
저는 커닝을 보고 싶지 않습니다. 창의성을 보고 싶습니다. 지능의 어떤 측면들을 보고 싶고, 그것들을 강력한 리워드 모델로 평가하고 싶습니다. 다소 흐릿하게(fuzzy) 평가될 수밖에 없지만 여전히 매우 중요한 능력들이니까요.
구체적인 예를 들어 보겠습니다. 아이디어 구상은 LLM 학습 전반에서 상당히 덜 탐험된 영역이라고 생각합니다. 그러면, 아이디어를 어떻게 평가할까요?
학회 리뷰어라면 여러 측면을 봅니다. 연구 취향(research taste), 참신성, 효율성, 우아함. 이 기법이 시간의 시험을 견뎌낼 것인가, 등등이죠. 그렇다면 재귀적 자기 개선을 수행하는 에이전트의 아이디어 구상 단계 행동을, 이 중 몇 가지 항목에 대해 규칙을 써서 어느 정도 자동화해 평가하는 걸 상상해 볼 수 있습니다.
하지만 지금으로선 매우 어렵습니다. 이 영역은 연구가 너무 부족합니다. 그래서 이 능력들을 발전시키고, 그 위에서 강화학습으로 최적화하기 위해 필요한 자동 추론 능력을 갖추기까지는 시간이 좀 걸릴 거라고 봅니다.
그리고 저는 우리 인간조차 이걸 그렇게 잘하지 못한다고 주장하고 싶습니다. 학회니 리뷰 프로세스니, 굉장히 비싼 시스템을 갖추고 있는데도요.
실제로 트랜스포머가 주류가 되기까지 여러 해가 걸렸습니다. 요즘 더 유명해진 증류(distillation)는, 저희가 투고했던 학회에서 실제로 리젝당했습니다. 그리고 여러 해가 지나고 나서야, 어떤 우연에 가까운 과정을 거쳐 “이거 사실 쓸모 있을지도?”로 재부상했죠.
여러분도 아마 각자 억울한 리젝 사연이 하나씩 있으실 겁니다. 지금 돌아보면 이 비싸고 자동화된 프로세스가 당연히 받아줬어야 할 훌륭한 아이디어들이요. 그러니 이걸 진짜로 에이전트적인 방식으로 자동화하는 데는 상당한 노력이 들겠지만, RSI를 달성하려면 추구할 가치가 있습니다.
물론 우리는 이미 봐 왔습니다. 여기서 게임 이야기를 다시 가져오는데요, 우리 에이전트들이 우리가 기대한 것과는 조금 다르게 행동한다는 건 놀랄 일이 아닙니다. 여러 방식으로 익스플로잇당한 유명한 게임 사례들이 있죠. 다른 영상은 재생이 안 되네요, 그것도 꽤 웃긴 건데. 어쨌든 우리는 이런 조짐을 여러 해 동안 봐 왔습니다.
정리하겠습니다. 분명 살아 있기 놀라운 시대입니다. RSI가 특정 공학·과학 과제의 진전 속도를 10배 이상 끌어올릴 것이라는 점은 확실해 보입니다.
다만 목표를 어떻게 설정하는지, 미스얼라인먼트, 자원 재배분, 그리고 랩이 운영되는 방식이 어떻게 바뀔지에 유의해야 합니다. 각 단계를 어떻게 밟아 나갈지 상당히 신중해야 합니다.
그리고 앞서 논한 대로, RSI는 우리가 생각했던 것만큼 빨리 오지 않을 수도 있습니다. 이유는 이렇습니다.
또 다른 예로, 이 모델들이 글을 너무 잘 써서 오히려 짜증날 때가 있습니다. 일부러 좀 못 쓰게 만들어야 하죠. 글쓰기에서는 이미 너무 잘하게 된 겁니다. 그러니 어떤 영역들에서는 더 나아지는 것이 반드시 더 나은 것은 아닙니다.
이런 생각할 거리들과 함께, 이따 좋은 패널 토론이 되기를 바랍니다. 남은 세션도 기대하겠습니다. 대단히 감사합니다. 감사합니다.
강연 전문 한국어 번역. 본문 사이의 슬라이드는 원본 발표 자료의 구조와 도해를 바탕으로 한국어판으로 다시 그린 것입니다.