중국 AI 기업 딥시크(DeepSeek)가 자사의 대규모 상용 서비스를 실제로 구동하는 추론 엔진 DeepInfer를 오픈소스로 공개했다. 그동안 딥시크는 모델 가중치를 공개해왔지만, 그 모델을 실제로 대규모 트래픽 환경에서 빠르고 안정적으로 서빙하는 내부 인프라 코드는 베일에 가려져 있었다. 이번 공개로 딥시크가 자사 모델을 어떤 방식으로 효율적으로 운영하는지 외부 개발자들도 직접 들여다보고 활용할 수 있게 됐다는 점에서 주목할 만하다.

DeepInfer는 무엇을 제공하는가

DeepInfer는 딥시크가 공식적으로 밝힌 대로 “딥시크의 대규모 프로덕션 서비스를 구동하는 고성능 추론 프레임워크”다. 다만 이번 오픈소스 릴리스는 전체 서비스 스택이 아니라 오프라인 추론(offline inference)에 초점을 맞춘 버전이다. 즉, 실시간 API 서빙에 필요한 로드밸런싱, 요청 큐잉, 오토스케일링 같은 운영 인프라 요소들은 이번 공개 범위에 포함되지 않았고, 대규모 서빙에 필요한 핵심 추론 기능만 먼저 공개한 형태로 보인다.

프로젝트 설명에 따르면 완전한 추론 서비스를 구성하려면 이번 릴리스에 포함되지 않은 추가 요소들이 필요하다고 명시돼 있다. 이는 DeepInfer가 “바로 가져다 쓰는 완제품 서버”라기보다는, 딥시크 모델을 고성능으로 돌리기 위한 핵심 엔진 부분을 먼저 공개한 것으로 해석할 수 있다.

기술적 뿌리: vLLM 기반에 SGLang·TensorRT-LLM 영감

딥시크는 DeepInfer가 “원래 vLLM을 기반으로 주로 구축됐으며, SGLang과 TensorRT-LLM에서도 추가적인 영감을 받았다”고 밝히며 해당 프로젝트 개발자들에게 감사를 표했다. vLLM, SGLang, TensorRT-LLM은 모두 대형 언어모델(LLM) 추론 속도를 높이기 위해 널리 쓰이는 오픈소스 프레임워크다. 각각 KV 캐시 관리, 배치 처리, GPU 커널 최적화 등에서 서로 다른 강점을 갖고 있는데, DeepInfer는 이런 기존 생태계의 장점을 흡수해 딥시크 모델 구조에 맞게 최적화한 결과물로 볼 수 있다.

이는 완전히 새로운 엔진을 처음부터 만든 것이 아니라, 검증된 오픈소스 추론 스택 위에서 딥시크 자체 모델(DeepSeek 시리즈)의 아키텍처 특성에 맞춰 튜닝한 것이라는 의미다. 딥시크 모델은 MoE(Mixture of Experts) 구조를 비롯해 독자적인 설계 요소가 많은 것으로 알려져 있어, 범용 추론 엔진만으로는 최대 성능을 끌어내기 어려운 부분이 있었을 것으로 추정된다. DeepInfer는 이런 간극을 메우기 위한 전용 최적화 레이어 성격이 강해 보인다.

기본 모델과 실행 환경

DeepInfer의 기본 체크포인트는 deepseek-ai/DeepSeek-V4.1-Flash-1017로 지정돼 있으며, 처음 실행 시 허깅페이스(Hugging Face) 캐시로 자동 다운로드된다. 로컬에 이미 모델 파일을 갖고 있다면 환경변수 DEEPINFER_HF_MODEL_DIR에 경로를 지정해 로컬 복사본으로 구동할 수도 있다. 빌드 전에는 비어 있는 Python 3.12 환경을 만들어 활성화해야 한다고 안내돼 있어, 의존성 충돌을 피하기 위한 권장 사항으로 보인다.

성능 벤치마크는 프리필(prefill) 단계에서 SM100 GPU 4장, 디코드(decode) 단계에서 64장을 각각 하나의 스케일업 도메인 내에서 측정한 것으로 명시돼 있다. 벤치마크 재현을 위한 스크립트(run_sweep.sh)도 함께 제공된다. 다만 구체적인 처리량(throughput)이나 지연시간(latency) 수치는 원문 발췌 내용에 포함돼 있지 않아, 실제 성능 수준은 공식 저장소의 벤치마크 결과를 직접 확인해야 한다.

한국 개발자 입장에서 살펴볼 점

국내에서 딥시크 모델을 자체 인프라에 올려 서비스하거나 연구용으로 대규모 추론을 돌리고 있는 개발자라면, DeepInfer는 참고할 만한 레퍼런스가 될 수 있다. 특히 vLLM을 이미 써본 팀이라면 비교적 익숙한 구조 위에서 딥시크 모델 전용 최적화가 어떻게 이뤄졌는지 코드 레벨에서 확인할 수 있다는 점이 유용하다.

다만 주의할 부분도 있다. 이번 공개는 오프라인 추론 기능 위주이며, 완전한 실시간 서비스를 만들려면 별도의 구성 요소를 직접 추가해야 한다. 또한 벤치마크가 SM100 GPU 다수를 하나의 스케일업 도메인으로 묶은 고사양 환경을 기준으로 측정된 만큼, 일반적인 온프레미스나 소규모 GPU 환경에서 동일한 성능이 나온다고 단정하기는 어렵다. 실제 도입을 검토한다면 자사 하드웨어 환경에서 직접 벤치마크를 재현해보는 과정이 필요하다.

라이선스는 Apache License 2.0으로, 상업적 활용을 포함해 비교적 자유로운 조건으로 코드를 가져다 쓸 수 있다는 점도 눈에 띈다.

원문: DeepInfer: High-performance inference framework for DeepSeek models