※ 인공지능이 세상을 바꿉니다. IT동아 기자들이 만난 최신 인공지능 서비스와 기능을 독자들도 쉽게 접하도록 풀어서 알려드립니다.

[IT동아 박귀임 기자] 해외 출장 미팅이나 여행 중 길 묻기, 그리고 외국인과의 통화까지. 언어가 다른 상대와 실시간으로 대화해야 하는 순간은 생각보다 자주 찾아 오지만 매끄러운 소통은 여전히 쉽지 않다. 전문 통역사를 부르기엔 부담스럽고, 일반 번역 앱을 쓰자니 상대의 말이 끝나기까지 기다렸다가 결과를 확인하는 과정이 반복되며 대화 흐름이 끊길 수밖에 없다.

글로벌 빅테크 기업 구글(Google)이 이 흐름을 바꾸는 번역 기능을 내놨다. 지난 6월 9일 공개된 '제미나이 3.5 라이브 트랜슬레이트(Gemini 3.5 Live Translate)'다. 기능명에 제미나이가 붙어 있어 구글의 AI 앱에서 쓰는 것으로 오해하기 쉽지만 일반 사용자가 접근할 수 있는 창구는 구글 번역 앱이다. 실제로 얼마나 유용한지 직접 테스트해봤다.

기존 주요 기능 셋

구글 번역 앱에는 주요 기능 세 가지가 있다. 텍스트 번역, 카메라 번역, 음성 번역 등이 대표적이다.

우선 텍스트 번역은 구글 번역의 핵심 기능이다. 입력창에 텍스트를 넣으면 250개 이상의 언어로 번역 결과를 즉시 보여준다. 지난해 12월부터 제미나이 모델이 기반 엔진으로 적용되면서 번역 품질 자체가 크게 향상됐다. 특히 문어체보다 구어체, 줄임말, 비격식 표현에서 개선 폭이 크다는 평가를 받고 있다.

카메라 번역도 빼놓을 수 없다. 스마트폰 카메라를 외국어 텍스트에 비추면 화면상에서 바로 번역된 내용을 보여주는 기능이다. 해외 여행 중 식당 메뉴판이나 안내판을 읽을 때 가장 많이 쓰인다. 별도 촬영 없이 카메라 뷰파인더 위에 번역이 오버레이 방식으로 표시된다.

음성 번역의 경우 마이크 버튼을 누르고 말하면 텍스트로 변환된 후 번역 결과가 화면에 표시되는 방식이다. 문장이 끝나야 번역이 시작되는 '순차 처리' 구조라 대화 흐름이 자주 끊긴다는 것이 단점이었다.

70개 이상 언어 자동 감지···세 가지 모드 제공

이번에 제미나이 3.5 라이브 트랜슬레이트로 새롭게 추가된 구글 번역 앱 기능은 실시간 번역 모드다. 기존 음성 번역이 말한 후 기다렸다가 결과를 확인하는 순차 처리 방식이었다면 라이브 트랜슬레이트는 상대방이 말하는 동안 실시간으로 번역을 출력한다.

구글에 따르면 제미나이 3.5 라이브 트랜슬레이트는 70개 이상 언어를 자동 감지한다. 별도 언어 설정 없이 말하더라도 감지부터 번역까지 자동으로 처리된다.

실시간 번역 모드는 ▲듣는 중 ▲대화 ▲텍스트 버전 등 세 가지 중에서 선택 가능하다. 듣는 중은 헤드폰이나 이어폰을 연결한 상태에서 상대방이 말하면 번역 음성이 내 귀에만 들린다. 헤드폰이나 이어폰을 연결하지 않으면 이 버튼은 활성화되지 않는다.

대화 모드는 휴대전화 스피커로 번역 음성이 출력된다. 두 사람이 번갈아가며 말하는 방식으로 쓸 수 있다. 텍스트 버전의 경우 번역 결과를 음성 대신 화면 텍스트로 보여준다. 소음이 심하거나 조용한 환경이 필요할 때 유용하다.

이외에 청취 모드도 새롭게 도입됐는데, 안드로이드 전용이다. 헤드폰 없이도 라이브 트랜슬레이트를 쓸 수 있도록 한다. 스마트폰을 귀에 가져다 대면 번역 음성이 이어피스(수화기 스피커)로만 출력된다.

동시통역 지연 시간, 상황·설정따라 다르다

구글이 공개한 제미나이 3.5 라이브 트랜슬레이트 소개 영상 초반 약 30초 분량의 영어 발화를 동일한 원문으로 텍스트 버전과 헤드폰 모드(듣는 중)로 각각 테스트했다.

원문은 'Hey everyone. Today we're excited to launch Gemini 3.5 Live Translate, our latest model built for seamless speech to speech translation. While it's already been powering experiences in Google Translate, we are now bringing this capability directly to developers via API. You can integrate real-time translation across 70 plus supported languages for both input and output. Starting today we're going to show you what it can do with two demos.'였다.

텍스트 버전의 번역 결과 '여러분 안녕하세요. 오늘 저희는 Gemini 3.5 실시간 번역을 출시하게 되어 기쁩니다. 원활한 음성 대 음성 번역을 위해 제작된 최신 모델입니다. 이미 Google 번역에서 경험을 제공하고 있지만, 이제 이 기능을 API를 통해 개발자에게 직접 제공하고 있습니다. 오늘부터 입력과 출력 모두 70개 이상의 지원 언어로 실시간 번역을 통합할 수 있습니다. 두 개의 데모로 이 기능을 보여 드리겠습니다.'라고 나왔다.

내용을 살펴보면 의미 손실 없이 전달된 것을 알 수 있다. 특히 영어 발화와 거의 동시에 텍스트가 출력됐다. 지연 시간은 체감상 거의 없는 수준이었다.

헤드폰 모드는 '안녕하세요 여러분. 오늘은 제미나이 3.5 라이브 번역을 출시하게 되어 기쁩니다. 끊김 없는 음성 번역을 위해 제작된 최신 모델입니다. 이미 구글 번역에서 경험을 제공하고 있지만, 이제 이 기능을 개발자들에게 직접 제공합니다. API를 통해 실시간 번역을 70개 이상의 지원 언어로 입력과 출력 모두에 통합할 수 있습니다. 오늘 두 가지 예시를 통해 보여드리겠습니다.'라고 번역해줬다.

지연 시간은 텍스트 버전보다 조금 더 있었다. 영어 발화가 끝난 직후 마지막 문장의 음성이 출력되는 수준으로, 실사용에서 대화 흐름을 끊을 만한 정도는 아니었다.

무엇보다 같은 원문을 번역했지만 텍스트 버전과 헤드폰 모드의 결과는 미묘하게 달랐다. 'seamless speech to speech translation'과 'two demos'에 대해 텍스트 버전은 '원활한 음성 대 음성 번역', '두 개의 데모'처럼 비교적 직역에 가까운 표현을 선택했다. 헤드폰 모드는 '끊김 없는 음성 번역'과 '두 가지 예시'로 각각 번역해줬다.

결과적으로 텍스트 버전은 직역에 가까운 표현을 선택하며 고유명사를 영문으로 유지한 반면, 헤드폰 모드는 귀에 더 잘 들어오는 구어체 표현을 선택하고 고유명사 역시 한글 발음으로 처리했다. 음성 출력이라는 특성을 감안해 번역 방식 자체가 다르게 최적화된 것으로 보인다.

실용적이지만 한계도 뚜렷

이처럼 제미나이 3.5 라이브 트랜슬레이트는 전반적으로 충실하고 자연스러운 번역을 해줬다. 다소 아쉬운 어휘 선택도 있었지만 실시간 번역이라는 점을 감안하면 만족할 만한 결과물이었다. 지연 시간 역시 구글의 설명처럼 화자보다 불과 몇 초 뒤처진 수준이라 실시간에 가까웠다.

다만 헤드폰 모드의 경우 2분 정도 번역 시간이 넘어가자 버벅이는 상황이 지속됐고, 덩달아 지연 시간도 점차 늘어났다. 제미나이 3.5 라이브 트랜슬레이트 소개 영상은 총 3분 28초 분량이었다. 결국 영상이 끝난 후에도 실시간 번역은 계속 이어졌다. 영상 종료 2분 후에 번역도 마무리 됐다. 영상에는 영어뿐만 아니라 힌디어, 일본어, 중국어, 독일어 등도 나왔다. 언어 감지를 선택했을 때 텍스트 버전은 언어 전환을 빠르게 인식하고 자동으로 번역을 이어갔지만, 헤드폰 모드는 문장을 반복해서 번역하거나 힌디어가 나와도 영어라고 나오는 등 오류가 많았다.

구글 딥마인드가 직접 공개한 모델 카드에도 한계가 명시돼 있다. 비원어민의 억양이 강하거나 유사 언어가 섞이면 언어 감지 정확도가 떨어질 수 있고, 여러 명이 빠르게 발언을 주고받는 상황에서는 번역 음성이 한 목소리로 고정되는 현상이 생길 수 있다. 대화 중 긴 침묵이 발생하면 이후 번역 음성의 톤이 달라지기도 한다. 1대1 대화에서는 충분히 실용적이지만 다자 회의에서는 아직 한계가 있다는 의미다.

MP3, WAV 등과 같은 오디오 및 동영상 파일 번역을 지원하지 않는 점도 알아둘 필요가 있다. 제미나이 3.5 라이브 트랜슬레이트를 포함한 음성 번역은 실시간 마이크 입력 기반이다. 녹음 파일을 번역하고 싶다면 별도 도구를 써야 한다.

여러분이 발견한, 혹은 관심이 가는 인공지능 서비스와 기능이 있으면 itdonga@itdonga.com으로 메일을 보내주세요. 써 본 후 IT동아 기자들이 이해하기 쉽고 자세하게 알리겠습니다.

IT동아 박귀임 기자(luckyim@itdonga.com)