※ 인공지능이 세상을 바꿉니다. IT동아 기자들이 만난 최신 인공지능 서비스와 기능을 독자들도 쉽게 접하도록 풀어서 알려드립니다.

[IT동아 박귀임 기자] 인공지능(AI)이 일상 깊숙이 들어오면서 텍스트로 묻고 답하던 챗봇 서비스도 음성 대화 기능을 갖추기 시작했다. 다만 대부분의 음성 대화 기능은 한계가 뚜렷했다. 겉보기에는 사람과 자연스럽게 대화하는 것처럼 보였지만 실제로는 순서를 엄격히 지키는 무전기에 가까웠기 때문이다.

글로벌 AI 기업 오픈AI(OpenAI)의 기존 고급 음성 모드(Advanced Voice Mode)도 예외는 아니었다. 출시 당시에는 파격적이라는 평가를 받았지만 사용자가 잠깐 생각을 정리하려고 말을 멈추면 AI는 그 침묵을 끝으로 오인해 불쑥 끼어들거나, 반대로 사용자의 말이 끝났는데도 한참을 더 듣고만 있는 어색한 순간들이 반복적으로 지적됐다.

오픈AI는 이 문제를 해소하기 위해 지난 7월 8일 차세대 음성 모델 GPT-라이브(GPT-Live)를 공개했다. GPT-라이브는 듣기와 말하기를 동시에 처리하는 풀 듀플렉스(full-duplex) 아키텍처를 도입한 것이 특징이다. 이에 따라 초당 여러 번 말할지, 들을지, 기다릴지를 판단해 전화 통화처럼 상대의 말 중간에도 자연스럽게 끼어들거나 반응할 수 있다. 복잡한 질문은 최신 모델 GPT-5.5에 위임해 처리한 후 결과를 다시 대화 속으로 자연스럽게 가져오는 것도 가능하다.

그렇다면 비용을 지불하지 않는 무료 사용자에게도 유효할까. GPT-라이브의 상위 모델인 GPT-라이브-1(GPT-Live-1)은 고(Go)·플러스(Plus)·프로(Pro) 유료 구독자에게 기본 제공되고, 무료 플랜에는 경량화된 GPT-라이브-1 미니(GPT-Live-1 mini)가 배정된다. 답변의 깊이를 조절하는 추론 수준 설정은 유료 플랜에서만 제공되는 만큼 끼어들기·위임 처리·번역 같은 핵심 기능이 무료 환경에서도 실제로 체감되는지, 어떤 상황에서 한계가 드러나는지를 직접 확인해봤다.

무엇이 달라졌나

GPT-라이브는 전화 통화에 가깝다. 상대가 말하는 도중에도 "어, 그래서?"라며 자연스럽게 끼어들 수 있기 때문이다. 오픈AI 측에 따르면 GPT-라이브는 동시에 듣고 말할 수 있어 챗GPT가 응답하는 중에도 말을 끊거나 계속 말할 수 있다. 다만 겹치는 음성이나 배경 소음, 네트워크 상태, 마이크 설정에 따라 인식 품질이 달라질 수 있다고도 안내한다. 즉 "말이 안 끊긴다"는 것이 절대적 보장이 아니라 환경에 따라 흔들릴 수 있는 조건부 기능이라는 점은 짚어둘 필요가 있다.

또 다른 변화는 작업 위임 구조다. 단순한 질문은 GPT-라이브가 직접 답하지만, 웹 검색이나 복잡한 추론이 필요한 질문은 백그라운드에서 최신 프론티어 모델(GPT-5.5)에 넘긴 뒤 처리가 끝나는 대로 대화에 자연스럽게 결과를 가져온다. 다만 오픈AI는 추론 수준(즉시·중간·High)이 높을수록, 특히 웹 검색이 동반될 때 응답 시간이 더 길어질 수 있다고 안내하고 있어 복잡한 질문일수록 체감 속도는 느려질 수 있다.

눈에 띄는 제약도 있다. GPT-라이브는 커스텀 GPT에서는 사용할 수 없다. 커스텀 GPT와의 음성 대화는 여전히 기존 고급 음성 모드로 진행된다. 이미지 생성·데이터 분석 같은 맞춤 작업도 음성 대화 중에는 쓸 수 없다. 아직은 기본적인 챗GPT 대화에 한정된 기능인 셈이다.

GPT-라이브의 리뷰에 앞서 실제 테스트 가능한 범위부터 확인했다. 오픈AI는 플랜별 GPT-라이브 사용 한도는 제각각이라고 설명한다. 월 200달러인 챗GPT 프로는 GPT-라이브-1을 무제한으로 쓸 수 있고, 월 100달러 프로의 경우 24시간 기준으로 즉시 추론 12시간, 중간·높음 추론 12시간, 미니는 24시간까지 이용 가능하다. 고·플러스는 24시간 기준으로 즉시 추론과 중간·높음 추론 각각 1시간, 미니는 2시간으로 줄어든다.

반면 무료 플랜에는 '제한적으로 액세스할 수 있다'고만 적혀 있을 뿐, 정확한 시간은 공개되지 않는다. 언제든 변경될 수 있다는 단서까지 붙어 있다. 유료 플랜은 시간 단위까지 명시했으나 무료 플랜만 제한적 액세스라는 모호한 표현에 그친다는 점이 아쉽다. 단일 GPT-라이브 대화는 플랜과 무관하게 최대 2시간까지 지속될 수 있으며 사용 한도나 세션 길이, 혹은 대화가 길어져 컨텍스트 한도에 도달하면 대화가 종료된다. 이때 챗GPT가 관련 알림을 표시한다.

끼어들기 매끄럽게, 번역도 가능

iOS 앱과 PC 버전 모두에서 음성 아이콘을 눌러 GPT-라이브를 시작했다. 9가지 음성 중 무난한 톤의 Cove를 선택한 후 끼어들기·반응 속도·위임 처리·번역·정보 카드 순으로 총 7가지 시나리오를 확인했다.

가장 먼저 확인한 건 GPT-라이브의 핵심 주장인 '끼어들기'였다. 사용자가 "GPT-라이브에 대해 설명해줘"라고 요청하자 GPT-라이브는 차근차근 설명을 시작했다. 설명을 이어가는 중에 "잠깐 방금 그거 다시 설명해줘"라고 끊어봤다. 답변은 그 즉시 멈췄고, "음, 다시 말씀드릴게요"라며 처음부터 다시 설명을 시작했다. 말을 끊는 순간 실제로 답변이 뚝 끊기고 재시작되는 걸 확인한 셈이다.

반대로 "요즘 나 고민 있는데 들어줄래"라고 운을 뗀 뒤 "음... 그러니까 내 말은..."이라며 일부러 말끝을 흐려봤다. GPT-라이브는 "말씀을 마무리하시면 그때 이어서 들어볼게요. 천천히 말씀해 주세요. 잘 듣고 있을게요"라며 끼어들지 않고 기다렸다. 이어 "응답하라고 할 때까지 기다려줘"라고 덧붙였는데 "네, 알겠습니다. 말씀하실 때까지 기다릴게요"라고 응답했다. 대기 요청도 실제로 작동한 것이다.

다만 리액션 자체는 다소 성급한 편이었다. 사용자가 "오늘 회사에 갔는데, 회의를 진행했단 말이야"라고 운을 떼자 "네. 회의요"라는 짧은 맞장구가 돌아왔다. 앞서 "그냥 들어줬으면 좋겠다"고 요청했는데도 상담사처럼 되묻는 패턴이 이어진 셈이라, 순수하게 듣기만 하는 모드는 아니라는 인상을 받았다.

응답 속도는 대체로 즉각적이었다. "오늘 날짜가 뭐야"에는 곧바로 "오늘은 2026년 7월 30일, 수요일입니다"라고 답했다. 실제 날짜는 7월 29일이었다. 이를 지적하자 "혼란을 드려 죄송해요, 제가 잘못 말씀드렸습니다. 오늘 날짜는 2026년 7월 29일 수요일이 맞습니다"라며 바로 정정했다. 이어 "지금 몇 시야"라고 묻자 화면에는 시계 위젯과 함께 "오전 10시 26분입니다"라는 음성이 나왔다. 또 "1부터 20까지 순서대로 말해줘" 이후 "거꾸로도 말해줘"는 막힘없이 이어졌지만, "한글 수로 다시 말해줘"라고 요청하자 19를 "열구"(고유어·한자어를 섞은 잘못된 표현), 16을 "열육" 등으로 잘못 읽는 오류가 나왔다. "열구라고 하지 않지, 십구라고 하지"라고 지적하니 "두 체계를 섞어서 말씀드려서 잘못 전달됐다"며 인정하고 정정했다. 숫자를 순서대로 나열하는 속도 자체는 빨랐지만, 정확도에서는 일부 실수가 있었다.

실시간 번역도 테스트해봤다. 다만 "이 문장 영어로 통역해줘 오늘 날씨가 정말 좋네요"처럼 지시문과 번역할 문장을 쉬지 않고 한 번에 말했을 때 문제가 드러났다. GPT-라이브는 "물론이죠. 어떤 문장을 영어로 번역해드릴까요?"라며 방금 말한 문장을 놓친 채 되물었다. "방금 말했는데 오늘 날씨가 정말 좋네요"라고 다시 말하자 비로소 "'The weather is really nice today'라고 하면 자연스럽습니다. 좀 더 캐주얼하게는 'It's such a nice day today'나 'What a beautiful day today'도 많이 씁니다"라며 정확한 번역과 대안 표현까지 제시했다. 지시와 내용을 한 문장에 붙여 말하면 인식이 흔들리지만, 문장을 분리해 말하면 번역 품질 자체는 나쁘지 않았다.

복잡한 질문은 GPT-5.5로

GPT-라이브의 또 다른 특징은 어려운 질문을 최신 모델 GPT-5.5에 위임하고, 결과를 대화에 자연스럽게 가져오는 구조다. 이를 확인하기 위해 "지금 삼성전자 주가랑 최근 실적 요약해줘"라며 웹 검색이 필요한 질문을 던졌고, "이 수학 문제 풀어줘: 어떤 수를 3배하고 7을 더한 다음 2로 나누면 15가 나와. 원래 수는 뭐야?"로 추론 능력도 함께 확인했다. "최근 일주일 AI 업계 주요 뉴스 정리해줘"라는 요청도 이어갔다.

질문 모두 대화가 끊기는 느낌 없이 매끄럽게 이어졌다. 삼성전자 질문에는 "보통주 28만 5000원이 표시됩니다(변동 가능). 최근 실적은 2026년 2분기 잠정 기준으로 매출 약 71조 원, 영업이익 약 8조 9000억 원"이라며 구체적인 숫자로 답했고, 수학 문제도 "원래 수를 x라고 하면 (3x+7)/2=15입니다. x=23/3, 즉 7과 3분의 2입니다"라며 풀이 과정과 함께 정확한 답을 내놨다. 실제 계산해봐도 맞는 답이다.

날씨나 스포츠 정보 등 일상적인 질문도 GPT-라이브에 해봤다. "이번 주 서울 날씨 알려줘"라는 질문에 "한낮 최고기온이 31도에서 36도까지 오르고···폭염과 열대야에 대비해 수분을 충분히 섭취하시고"라는 식으로 구체적인 수치와 대응 팁까지 답했다. "어제 프로야구 경기 결과 알려줘"에도 "삼성 라이온즈가 KIA 타이거즈를 12대5로 이겼고, KT 위즈는 NC 다이노스를 10대0으로 완봉승"이라며 구단별 스코어를 정확히 짚었다. 이어 "롯데 자이언츠 경기 자세히 알려줘"라고 물으니 "2회 초에 4점을 먼저 내면서 초반 분위기를 잡았고"라며 세부 흐름까지 풀어줬다. 다만 이 답변들에 화면 카드 UI가 뜨는 모습은 명확히 확인되지 않았다. 일부 답변 옆에는 뉴스 출처를 표시하는 '소스' 버튼이 작게 붙어 있어 실시간 검색을 거쳤음을 짐작할 수 있었다.

소음 환경·한국어 발음 등 한계도 명확

이번 테스트는 무료 플랜으로 앱과 웹 각각 1시간씩 사용해봤다. 사용 한도 알림에 걸리지는 않았지만, 1시간가량 대화를 이어가는 동안 훨씬 이전에 나눴던 이야기를 자연스럽게 연결하는 등 긴 세션 동안 맥락을 놓치지 않는 점은 인상적이었다.

가장 두드러진 문제는 따로 있었다. 약 1시간 동안 대화를 이어갔는데, 30분을 넘긴 시점에서 음성 속도가 갑자기 빨라졌다가 다시 정상으로 돌아오는 현상이 발생했다. 1시간을 넘긴 시점에도 같은 현상이 한 번 더 나타났다. 세션이 강제 종료되지는 않았지만, 일정 시간 간격으로 재연결이나 버퍼링이 일어나는 것으로 추정된다. 실제로 이 무렵 "왜 더 이상 말이 없어"라고 묻자 GPT-라이브 스스로 "죄송합니다. 가끔 음성 대화에서 잠시 말이 끊길 때가 있어요"라며 끊김을 인정하기도 했다.

특히 배경 소음에는 확실히 취약했다. 사람 소리와 잡음이 섞이는 카페에서 같은 테스트를 반복해보니 인식률이 현저하게 떨어졌다. 전혀 다른 문장으로 잘못 알아듣거나 "죄송한데 방금 말씀이 잘 이해가 안 됐어요. 한 번만 천천히 다시 말씀해 주시겠어요?"라고 되묻기도 했다. 짧고 정형화된 질문에는 강했지만, 배경 소음 속에서 길고 구어체적인 문장은 여러 번 되물어야 했다는 뜻이다. 이는 오픈AI 측이 '배경 소음이 인식 품질에 영향을 줄 수 있다'는 공식 안내와 정확히 일치하는 결과였다.

발음과 억양도 짚어볼 부분이다. GPT-라이브의 한국어 발화가 유창하다는 인상은 받지 못했다. 억양이 마치 교포가 한국어를 하는 듯한 느낌에 가까웠고, 일부 단어에서는 발음이 서툴게 들렸다. 오히려 같은 세션에서 영어로 대화했을 때가 훨씬 자연스러웠다. 이 역시 오픈AI가 '가장 많이 쓰이는 일부 언어에 최적화되어 있어, 일부 언어에서는 억양이 다르거나 유창함이 떨어질 수 있다'고 밝힌 내용과도 일치한다.

결과적으로 GPT-라이브는 손이 자유롭지 않을 때 실시간 대화를 원한다면 유용해 보인다. 영어 대화나 영한 번역도 자유로워 회화 공부에도 적합하다. 하지만 소음 환경에서는 인식률이 떨어지기 때문에 추천하지 않는다. 정확한 날짜나 통계가 중요한 작업에도 일부 오류가 있을 수 있기 때문에 신뢰하기 어렵다.

여러분이 발견한, 혹은 관심이 가는 인공지능 서비스와 기능이 있으면 itdonga@itdonga.com으로 메일을 보내주세요. 써 본 후 IT동아 기자들이 이해하기 쉽고 자세하게 알리겠습니다.

IT동아 박귀임 기자(luckyim@itdonga.com)