사카나AI의 MASS, AI 집단지성으로 자기개선 실험

일본의 AI 연구소 사카나AI(Sakana AI)가 “집단지성을 통한 재귀적 자기개선(Recursive self-improvement through collective intelligence)”이라는 제목의 연구를 공개했습니다. 핵심은 사람이 평가하기 어려운 영역까지 AI가 스스로를 가르치고 발전시키려면, AI 모델 하나가 혼자가 아니라 ‘팀’으로 일한 경험을 학습 신호로 삼아야 한다는 아이디어입니다. 연구팀은 이를 구현한 프레임워크 MASS(Multi-Agent Self-Supervision)를 선보였고, 연구 벤치마크에서 같은 토큰 수 대비 더 높은 점수를 기록했다고 밝혔습니다.

왜 ‘AI가 AI를 평가하는 문제’가 중요해졌나

사카나AI는 AI 모델이 인류가 쌓아온 지식의 경계를 넘어서려면, 결국 그 평가와 개선 과정 자체를 모델 스스로 맡아야 하는 순간이 온다고 설명합니다. 예를 들어 새로운 과학적 발견을 제안했을 때, 그것이 맞는지 검증하려면 희귀한 전문가의 식견이나 비용이 큰 실험, 제안을 만드는 것보다 훨씬 오랜 시간이 필요할 수 있습니다. 정답이 정해져 있지 않은 ‘비검증(non-verifiable) 과제’에서는 사람조차 결과를 판단하기 어렵다는 것이죠.

이런 상황에서 모델 자신이 가장 유능한 평가자가 될 수밖에 없다는 전제 아래, 사카나AI는 ‘동질적 재귀적 자기개선(homogeneous RSI)’이라는 개념을 제시합니다. 개선 대상이 되는 모델(optimizee)이 동시에 자신의 최적화자(optimizer)이자 평가자(evaluator) 역할을 모두 수행하는 구조입니다. 문제는 이 폐쇄 루프 안에서 어떻게 의미 있는 자기지도(self-supervision) 신호를 얻어내느냐는 것입니다.

인간 사회의 협업 방식에서 얻은 힌트

연구팀은 이 질문에 답하기 위해 인간 사회의 역사를 참고했습니다. 수렵채집 공동체부터 농경 사회, 산업 사회, 오늘날의 글로벌 정보 네트워크에 이르기까지 인류는 역할을 나누고, 아이디어를 결합하고, 배운 것을 전수하며 역량을 키워왔습니다. 과학철학자 토머스 쿤이 과학혁명의 구조에서 언급했듯, 과학자 공동체가 공유하는 문제 해결의 모범 사례 자체가 다음 세대 학습의 토대가 된다는 것입니다.

사카나AI는 이 패턴에 착안해 “모델이 혼자서는 안정적으로 보여주지 못하는 능력을, 팀의 집단지성으로부터 학습할 수 있는가”라는 질문을 던집니다. MASS는 이 아이디어를 실제 학습 루프로 구현한 결과물입니다.

MASS는 어떻게 작동하나

MASS의 구조는 같은 모델이 세 가지 역할을 번갈아 맡는 방식입니다.

실행자(과제 해결자, optimizee): 결과, 그래프, 연구 보고서가 담긴 작업 공간(workspace)을 만듭니다.
최적화자: 평가자의 피드백을 바탕으로 에이전트들이 작업을 어떻게 나누고, 결과를 어떻게 주고받고, 서로의 작업을 어떻게 점검할지(즉 멀티에이전트 워크플로우)를 수정합니다.
평가자: 두 개의 작업 공간을 비교해 어느 쪽이 과제를 더 잘 해결했는지 판단하고 그 이유를 설명합니다.

학습은 이중 루프로 진행됩니다. 안쪽 루프에서는 모델 가중치를 고정한 채 팀의 워크플로우만 최적화합니다. 이 단계에서 모델은 스스로 어떤 협업 방식이 최적인지 평가하고 판단합니다. 바깥쪽 루프에서는 이렇게 최적화된 워크플로우의 실행 결과를 학습 데이터로 삼아 실제 모델 가중치를 업데이트합니다. 다시 말해, 최적화자가 찾아낸 ‘최고의 팀 워크플로우’에서 나온 실행 결과를 보고 모델 자신이 그 경험을 가중치에 흡수하는 식입니다. 이 과정이 반복되면서 업데이트된 모델이 다시 실행자·최적화자·평가자 세 역할을 모두 맡게 됩니다.

정답이 없는 과제에서 성과를 어떻게 확인했나

연구팀은 자동으로 채점할 규칙이 없는 ‘비검증 연구 과제’를 학습 데이터로 사용했습니다. 즉 오직 모델 자신의 자기평가 신호(그 정확성은 보장되지 않는)만으로 학습 루프 전체가 굴러가는 환경입니다.

이렇게 모델 내부 평가만으로 학습이 이뤄졌을 때 실제로 성능이 좋아졌는지 확인하기 위해, 연구팀은 GPT-5.5와 Claude Opus 4.8이라는 외부 모델에 별도로 완성된 작업물을 평가하도록 요청했습니다. 이 외부 평가 결과는 MASS 학습 과정에는 전혀 반영되지 않은, 순수하게 바깥에서 바라본 검증 지표입니다. 그 결과 MASS는 연구 벤치마크에서 출력 토큰당 점수가 기준 모델 대비 향상된 것으로 나타났습니다.

기존 멀티에이전트·RLHF 방식과 다른 점

기존에도 여러 에이전트를 묶어 협업시키는 멀티에이전트 시스템이나, 사람 또는 더 강한 모델이 피드백을 주는 RLHF(인간 피드백 기반 강화학습) 방식은 널리 쓰여 왔습니다. MASS가 다른 점은 워크플로우 설계, 실행, 평가를 모두 ‘같은 모델’이 담당하고, 이렇게 얻은 팀 차원의 경험을 다시 그 모델 자신의 가중치에 증류(distill)해 넣는다는 것입니다. 별도의 상위 평가자나 사람의 개입 없이, 모델이 자기 팀의 집단적 성과를 스스로의 성장 재료로 삼는 폐쇄 루프인 셈입니다. 사카나AI는 이를 두고 “최적화자가 곧 피평가자”인 자기학습 체계로, AI의 지속적 자기학습 단계로 나아가는 하나의 시도라고 표현합니다.

한국 개발자가 주목할 지점

MASS는 아직 연구 단계의 프레임워크로, 공개된 코드나 상세 구현, 정확한 벤치마크 수치는 원문 발췌에 포함되어 있지 않아 섣불리 단정하기는 이릅니다. 다만 멀티에이전트 오케스트레이션이나 에이전트형 AI 서비스를 다루는 개발자라면, “워크플로우 자체를 모델이 설계·평가·개선하게 만든다”는 발상은 참고할 만합니다. 예컨대 사내에서 여러 LLM 에이전트를 조합해 보고서나 코드 리뷰 파이프라인을 구축할 때, 고정된 워크플로우 대신 모델이 스스로 역할 분담과 검증 절차를 조정하도록 설계하는 방향성을 고민해볼 수 있습니다. 다만 비검증 과제에서 모델의 자기평가가 실제로 얼마나 신뢰할 수 있는지는 여전히 열린 질문이며, 이번 연구에서도 외부 모델 검증을 별도로 둔 이유가 바로 이 때문입니다.

원문: Recursive self-improvement through collective intelligence