속보
딥시크, 실서비스 추론 엔진 '딥인퍼' 오픈소스 공개…화웨이 어센드도 지원
X 첫 글 1시간 전@deepseek_ai ♥ 3,474조회 9
중국 AI 기업 딥시크가 자사 서비스를 실제로 돌리는 대규모 추론 프레임워크 '딥인퍼(DeepInfer)'를 오픈소스로 공개했다.
20일 딥시크 공식 X 계정에 따르면 딥인퍼는 '딥시크-V4.1-플래시'를 대규모로 서비스하는 엔진이다. 딥시크는 "커뮤니티가 연산 비용과 에너지 사용을 줄이고 AI를 더 싸게 쓰도록 돕기 위해 운영 스택을 공유한다"고 밝혔다. 앞으로 나올 모델의 추론 코드도 이 저장소에 올리겠다고 덧붙였다.
깃허브 설명서를 보면 지원 하드웨어는 엔비디아 SM100 GPU와 화웨이 어센드 950 NPU 두 가지다. 초안 토큰으로 디코딩을 앞당기는 추측 디코딩, 배치 구성이 바뀌어도 결과가 같은 '배치 불변' 추론, JSON 스키마·정규식으로 출력을 묶는 구조화 출력이 들어 있다. 라이선스는 아파치 2.0이다. KV 캐시 시스템과 프리필·디코드 분리, 복제본 간 부하 분산은 이번 공개에서 빠졌다. 처음엔 vLLM을 바탕으로 만들었다고 밝혔다.
공식 API와 같은 방식으로 토큰을 처리하는 '딥시크-레시피(deepseek-recipe)'도 함께 풀었다. 발표 글은 한 시간 만에 '좋아요' 3천400개를 넘겼고 깃허브 저장소는 별 3천600개를 받았다. 답글에서는 "인류를 위해 열려 있어야 했던 오픈AI는 닫힌 채 남았다"는 글이 '좋아요'를 받았다.
전날 미국 정부는 연방 기관 시스템에서 딥시크 모델을 모두 빼라고 명령했다.
“🚀 Introducing DeepInfer, our in-house inference framework, now fully open source! Powering DeepSeek-V4.1-Flash at scale with high throughput and low latency.”
