TechFlow 10월 20일 소식에 따르면, DeepSeek는 내부 추론 프레임워크 DeepInfer를 전면 오픈소스화하고 프로덕션 수준의 토큰 인코딩·디코딩 컴포넌트 deepseek-recipe를 동시 공개하여 개발자와 기업들의 대규모 모델 추론 처리량, 지연 시간 및 배포 비용 최적화를 지원할 방침입니다.
DeepInfer는 고성능 오퍼레이터와 심층 최적화된 추론 엔진을 통합했으며, 분산 추론, 예측 디코딩, SWA Bounded Replay, 구조화 출력 등의 기능을 지원합니다. 또한 엔비디아와 훠얼웨이 샤오텅 플랫폼과 호환됩니다. DeepSeek에 따르면 현재 DeepInfer 기반으로 DeepSeek V4.1 Flash 모델의 고처리량·저지연 대규모 추론 서비스를 구현했으며, 향후 신규 모델의 추론 코드와 관련 지속 최적화 작업 역시 해당 프레임워크를 통해 계속 업데이트될 예정입니다。
또한 deepseek-recipe는 DeepSeek 공식 API의 처리 로직과 동일하게 설계되어, 커뮤니티 사용자가 실제 공식 배포 환경과 근접한 수준의 API 사용 경험을 얻을 수 있도록 구성되었습니다.





