Reflection AI, 5010억 파라미터 오픈웨이트 모델 Beam 공개

AI 스타트업 Reflection AI가 자사 첫 오픈웨이트 모델인 Beam을 공개했다. 전체 파라미터 5010억 개 중 230억 개만 활성화되는 희소 전문가 혼합(Mixture-of-Experts, MoE) 구조로, 코딩과 추론, 에이전트 작업에 초점을 맞춰 개발됐다. 거대 모델이 쏟아지는 오픈웨이트 진영에서 “토큰당 지능”을 끌어올려 추론 비용 대비 성능을 극대화했다는 점이 눈에 띈다.

Beam은 어떤 모델인가

Beam은 23조 8000억 개에 달하는 고품질 토큰으로 사전학습됐다. 웹 데이터뿐 아니라 자체 라이선스를 확보한 독점 데이터셋도 포함됐으며, Reflection AI는 이 사전학습 단계에서 비슷한 규모의 기존 오픈 베이스 모델과 동등하거나 더 나은 성능을 냈다고 밝혔다.

MoE 구조는 전체 파라미터 수가 많더라도 추론 시 일부 “전문가” 네트워크만 활성화해 연산량을 줄이는 방식이다. Beam은 전체 5010억 파라미터 중 230억 개만 활성화되기 때문에, 실제 서비스 환경에서는 훨씬 가벼운 모델처럼 동작한다. 이는 최근 대형 오픈웨이트 모델들이 공통적으로 채택하는 전략이기도 하다.

대규모 강화학습이 만든 효율성

Beam의 핵심 차별점은 사전학습 이후 투입된 초대형 강화학습(RL) 과정이다. Reflection AI는 엔비디아 GB300 GPU 1만 500장을 4주간 가동해 1억 건 이상의 롤아웃을 생성했다고 밝혔다. 최대 컨텍스트 길이는 25만 6000토큰에 달했고, 학습과 채점에는 약 13억 개의 샌드박스 환경이 사용됐다. 이를 위해 코딩·에이전트·STEM 분야에서 100만 개에 달하는 고품질 학습 환경을 확보했다고 한다.

회사 측은 이를 “지금까지 오픈 랩이 수행한 것 중 가장 큰 규모의 RL 실행 중 하나”라고 자평했다. 특히 RL 연산량을 늘릴수록 평가 성능이 계속 개선됐고, 포화 조짐이 보이지 않았다는 점을 강조했다. 이는 사전학습 스케일링 법칙처럼 RL에도 아직 성능 향상 여지가 많이 남아 있다는 의미로 해석할 수 있다.

비동기 정책 학습의 기술적 난제 해결

Beam은 비동기 정책 경사법(asynchronous policy gradients)으로 학습됐다. 이 방식은 대규모 분산 학습에서 속도를 높이지만, 오래된 체크포인트에서 생성된 토큰과 현재 정책 사이의 불일치, 즉 “정책 지연(policy staleness)” 문제가 발생하기 쉽다. 롤아웃이 길어질수록 하나의 시퀀스 안에 서로 다른 시점의 모델이 생성한 토큰이 섞이게 되고, 학습 엔진과 추론 엔진 간 수치적 불일치까지 겹치면 학습이 불안정해질 수 있다.

Reflection AI는 이를 해결하기 위한 새로운 알고리즘을 개발해, 하루 이상 전에 생성된 상호작용으로부터도 안정적으로 학습할 수 있는 완전 비동기 RL 파이프라인을 구현했다고 설명했다. 이는 단순히 GPU를 많이 투입하는 것을 넘어, 대규모 RL을 안정적으로 돌리기 위한 엔지니어링 역량을 보여주는 대목이다.

또한 Beam은 “제어 가능한 길이 페널티(controllable length penalty)”를 적용해, 불필요하게 긴 답변을 줄이면서도 정답률은 유지하도록 학습됐다. RL 초반에는 응답 길이가 줄어드는데도 성능이 오히려 개선되는 현상이 관찰됐다고 한다.

다른 오픈웨이트 모델과의 위치

원문에 따르면 Beam은 코딩과 에이전트 작업에서 더 큰 규모의 오픈 모델인 GLM-5.2와 경쟁 가능한 수준이며, Qwen 3.8-Max에도 근접하는 성능을 보인다. 다만 Kimi K3 같은 최상위 오픈 모델에는 순수 성능(raw capability) 면에서 여전히 뒤처진다고 인정했다. 대신 Beam의 강점은 추론 시 효율성이다. 고급 추론 벤치마크에서는 GLM-5.2와 비슷한 점수를 내면서도 추론 연산량은 3~4배 적게 사용하며, 2조 파라미터급인 Qwen 3.8-Max와 비교하면 효율 격차는 더 커진다.

즉 Beam은 “가장 강력한 모델”을 노리기보다, 기업이 실제 서비스에 투입했을 때 비용 대비 가장 실용적인 선택지가 되는 것을 목표로 설계된 것으로 보인다.

공개 일정과 한국 개발자가 살펴볼 점

Beam은 현재 최종 레드팀 테스트와 평가 단계에 있으며, 원문 공개 시점 기준 이달 중 가중치, 기술 보고서, 모델 카드, 개발자용 자료가 함께 공개될 예정이라고 밝혔다. 사전 신청을 통한 얼리 액세스도 가능하다고 안내됐다.

한국 개발자 입장에서는 Beam이 오픈웨이트로 풀릴 경우, 자체 인프라에 배포해 코딩 어시스턴트나 에이전트 워크플로우를 구축하는 데 활용할 수 있다는 점이 매력적이다. 다만 5010억 파라미터 규모의 MoE 모델을 로컬에서 서빙하려면 상당한 GPU 메모리와 인프라가 필요하므로, 개인 개발자보다는 기업·클라우드 환경에서의 도입이 현실적인 시나리오가 될 가능성이 크다. 실제 성능과 라이선스 조건은 가중치와 기술 보고서가 공개된 뒤 구체적으로 확인해볼 필요가 있다.

원문: Beam: Reflection’s 501B open-weight model