음성 AI 기업 딥그램이 음성을 글로 바꾸는 AI 모델 ‘노바-3’를 아마존의 AI 전용 칩 트레이니엄2에서 실행하도록 옮긴 과정을 공개했다. 아마존웹서비스(AWS)는 10월 19일(현지 시각) 머신러닝 블로그에서 딥그램과 함께 진행한 작업을 소개했다.

딥그램은 고객센터 상담 녹음이나 병원 진료 기록처럼 쌓여 있는 음성 파일을 한꺼번에 글로 바꾸는 일도 맡는다. 처리할 음성이 많을수록 AI 칩 사용료가 비용에서 차지하는 비중이 커진다. 두 회사는 AI 개발 도구 파이토치로 작성된 노바-3를 아마존의 칩 개발 도구 뉴런에 맞게 옮겼다. 이 과정에서 아마존이 공개한 파이토치 연동 도구 ‘토치뉴런’을 사용했다.

작업은 세 단계로 진행됐다. 먼저 기존 코드를 트레이니엄2에서 그대로 실행해 결과가 같은지 확인했다. 다음으로 계산이 많이 몰리는 부분을 칩에 맞게 다시 작성해 속도를 높였다. 마지막으로 프로그래밍 언어 러스트로 실행 프로그램을 새로 작성해 서버 한 대에서 모델 8개를 동시에 돌리도록 했다. 받아쓰기 정확도는 단계마다 원래 모델과 같은지 점검했다.

AWS에 따르면 트레이니엄2 서버 한 대는 딥그램이 기존에 쓰던 서버보다 1달러당 11~70% 더 많은 음성을 처리했다. AWS가 공개한 결과는 쌓인 파일을 한꺼번에 처리하는 작업에서 평가 당시 서버 가격을 기준으로 잰 결과다. 통화처럼 음성을 실시간으로 받아쓰는 작업은 이번 비교에 포함되지 않았다.

자세한 내용은 AWS 머신러닝 블로그에서 확인할 수 있다.

▶︎ 관련 기사: 아마존, 트레이니엄 칩에서 파이토치 바로 쓰는 ‘토치뉴런’ 공개

이미지 출처: 딥그램