중국 AI 기업 딥시크가 자사 서비스 운영에 실제로 쓰는 추론 프레임워크 ‘딥인퍼(DeepInfer)’를 오픈소스로 공개했다. 추론은 학습을 마친 AI 모델이 이용자 질문에 답을 생성하는 단계로, 대규모 AI 서비스 운영 비용의 상당 부분이 여기서 발생한다.

미국 IT 매체 실리콘앵글은 현지 시각 10월 20일 딥시크가 딥인퍼를 깃허브에 아파치 2.0 라이선스로 공개했다고 보도했다. 아파치 2.0은 상업적 이용과 수정을 폭넓게 허용하는 라이선스다. 딥시크는 대규모 서비스를 효율적이고 저렴하게 운영하는 일을 추론 프레임워크의 핵심 과제로 제시했다.

현재 딥인퍼가 지원하는 모델은 딥시크-V4.1-플래시 하나이며, 지난 주말 공개된 업데이트 버전을 기본으로 사용한다. 하드웨어는 엔비디아 블랙웰 계열 GPU와 화웨이 어센드 950 칩을 지원한다. 다만 같은 질문에 매번 같은 답을 내도록 하는 일부 기능은 엔비디아 칩에서만 작동하고, 공개된 성능 수치도 모두 엔비디아 칩에서 측정한 딥시크 자체 결과다.

딥시크는 작은 보조 모델이 다음에 나올 토큰 5개를 미리 제안하고 본 모델이 이를 확인하는 방식으로 처리 속도를 높였다. 토큰은 AI가 글을 처리하는 기본 단위다. 딥시크는 실제 서비스 부하에서 이 기법으로 처리량이 4~7% 오른다고 추산했다. 긴 질문을 읽어 들이는 단계의 연산량을 절반 가까이 줄이는 기법도 함께 공개했다.

딥시크에 따르면 클러스터 하나가 하루 155조 토큰을 처리하며, 할인 시간대 요금 기준으로 GPU 한 개가 1시간에 38달러(약 5만 원)의 매출을 낸다. 딥시크는 2025년 4월 내부 관리 도구와 연결돼 있다는 이유로 추론 엔진 전체 공개를 거절한 바 있다. 이번에도 메모리 관리와 부하 분산 코드는 내부 인프라와 밀접하다는 이유로 공개 대상에서 제외했으며, 앞으로 나올 모델의 추론 코드는 같은 저장소에 추가할 예정이다.

이번 공개는 미국 국토안보부가 연방 민간기관에 딥시크 제품 퇴출을 명령한 다음 날 이뤄졌다.

자세한 내용은 실리콘앵글과 딥시크 깃허브에서 확인할 수 있다.

이미지 출처: RoadMaster19 / Wikimedia Commons (CC BY 4.0)