딥러닝을 떠받치는 핵심 알고리즘인 역전파(backpropagation)를 쓰지 않고도 트랜스포머 모델을 사전학습할 수 있다는 연구가 공개돼 눈길을 끈다. Samip Dahal 등 Qlabs 소속 연구자들이 2026년 10월 발표한 논문 “Dust: Pretraining Transformers Without Backpropagation”은 역전파 대신 제로스-오더(zeroth-order) 최적화 방식으로 신경망을 학습시키는 새로운 방법을 제안한다. 지금까지 거의 모든 대형 언어모델이 역전파에 의존해온 만큼, 이 접근이 실제로 통한다면 딥러닝 학습 방식 자체에 대한 근본적인 질문을 던지는 셈이다.

왜 지금 역전파의 대안을 고민하는가

역전파는 손실 함수의 기울기(gradient)를 각 층으로 거꾸로 전파해 가중치를 업데이트하는 방식으로, 미분 가능성을 전제로 한다. 이 때문에 지난 수십 년간 신경망 구조, 옵티마이저, 심지어 GPU 같은 하드웨어까지 모두 역전파에 맞춰 발전해왔다. 연구팀은 이를 “구조와 역전파가 공진화했다”고 표현한다.

하지만 연구팀은 Richard Sutton의 유명한 글 “The Bitter Lesson”을 인용하며, 결국 연산량(compute)에 따라 확장되는 범용적인 방법이 특정 영역에 맞춘 정교한 기법을 이긴다는 역사적 패턴을 짚는다. 대표 사례가 알파고 제로다. 사람의 기보 데이터로 부트스트랩한 초기 버전보다, 연산량을 충분히 투입한 순수 자가대국(self-play) 네트워크가 결국 더 강력해졌다. 연구팀은 미분 가능성과 역전파도 비슷한 운명을 맞을 수 있다고 본다. 연산이 적을 때는 효율적인 ‘귀납적 편향(inductive bias)’이지만, 연산이 충분히 많아지면 오히려 탐색할 수 있는 구조의 폭을 좁히는 제약이 될 수 있다는 것이다. 실제로 기존 연구(Liu et al., 2020)에서는 경사 기반 방법이 손실 지형(loss landscape)을 최적으로 탐색하지 못한다는 점도 지적된 바 있다.

Dust는 어떻게 작동하나

Dust는 가중치가 아니라 활성화(activation)를 교란(perturb)시켜 기울기를 추정하는 알고리즘이다. 각 교란이 손실을 얼마나 줄이는지를 ‘보상’으로 삼고, 집단(population) 전체에 걸쳐 보상 가중 평균을 내어 기울기를 근사한다. 이는 진화전략(Evolution Strategies, ES) 계열과 유사한 발상이지만 접근 방식이 다르다.

기존 ES 기법, 가령 Salimans et al.(2017)의 고전적 진화전략이나 최근 공개된 EGGROLL(Sarkar et al., 2025) 같은 방법은 가중치 공간에서 섭동을 만든다. 이 방식은 집단 크기를 키울수록 성능이 좋아지지만, 집단의 각 구성원을 실제로 메모리에 구현(materialize)하고 평가해야 하므로 연산·메모리 비용이 집단 크기에 비례해 급격히 늘어난다는 한계가 있었다.

Dust는 이 문제를 가상 집단(virtual population)이라는 개념으로 우회한다. 가중치 공간을 아예 건드리지 않고, 노드 섭동(node perturbation)이라는 오래된 아이디어처럼 활성화 값에 직접 노이즈를 주는 방식이다. 이렇게 하면 집단 구성원 하나하나를 별도로 구현할 필요가 없어, 집단을 키우는 데 드는 비용 자체를 줄일 수 있다는 것이 연구팀의 설명이다. 노드 섭동 개념은 Werfel et al.(2003), Widrow and Lehr(1990) 등 1990년대부터 존재해온 오래된 학습 이론에 뿌리를 두고 있으며, Dust는 이를 현대적인 트랜스포머 사전학습 규모로 확장하려는 시도로 볼 수 있다.

기존 진화전략·제로스-오더 방법과 다른 점

정리하면 Dust와 기존 ES 계열 방법의 차이는 “무엇을 교란하는가”에 있다. 가중치를 직접 흔드는 전통적 ES는 모델 크기가 커질수록, 또 집단 크기가 커질수록 계산 비용이 거의 선형 혹은 그 이상으로 증가한다. 반면 Dust는 활성화 공간에서 교란을 가하기 때문에 집단 규모를 늘릴 때 드는 추가 비용 구조가 다르다는 것이 핵심 주장이다. 다만 발췌된 원문만으로는 구체적인 성능 수치나 실제 학습된 모델의 벤치마크 결과까지는 확인되지 않으며, 이는 논문 본문과 공개된 코드를 통해 추가로 검증해야 할 부분이다.

또한 연구팀은 역전파가 미분 가능성이라는 제약 때문에 탐색 가능한 아키텍처의 범위를 제한한다고 지적한다. Dust처럼 탐색(search) 기반, 브루트포스 연산 기반의 학습 알고리즘이 자리 잡으면, 미분 불가능한 연산이 포함된 새로운 형태의 신경망 구조도 학습이 가능해질 수 있다는 가능성을 시사한다.

한국 개발자·연구자가 눈여겨볼 지점

당장 실무에 적용할 기술이라기보다는, 딥러닝의 기본 전제를 다시 검토하는 기초 연구에 가깝다. 다만 몇 가지 포인트는 짚어볼 만하다. 첫째, 연구팀이 코드를 공개(Code 링크 제공)한 만큼 관심 있는 개발자는 직접 구현을 들여다보고 소규모 모델로 재현 실험을 해볼 수 있다. 둘째, 제로스-오더 최적화는 역전파처럼 그래프 전체를 저장해 기울기를 계산할 필요가 없어 메모리 효율 측면에서 잠재적 이점이 거론되는 분야인데, Dust가 이 지점에서 실질적 이득을 보이는지는 후속 실험 결과를 지켜봐야 한다. 셋째, 이런 연구는 당장 상용 LLM 학습 파이프라인을 대체하기보다는, 연산량이 충분히 커졌을 때 역전파 기반 방법론을 넘어서는 대안이 될 수 있는지를 탐색하는 장기적 흐름의 일부로 이해하는 것이 맞다. 국내에서도 효율적인 학습 알고리즘에 대한 관심이 꾸준한 만큼, 이런 ‘역전파 바깥’의 시도들을 챙겨보는 것은 연구 트렌드를 앞서 파악하는 데 도움이 될 수 있다.

원문: Dust: Pretraining Transformers Without Backpropagation