※ 인공지능이 세상을 바꿉니다. IT동아 기자들이 만난 최신 인공지능 서비스와 기능을 독자들도 쉽게 접하도록 풀어서 알려드립니다.

[IT동아 박귀임 기자] 설명서 없이 조립하다 막힌 가구, 원인 모를 에러 코드, 정리가 안 되는 서랍장. 이럴 때마다 우리는 검색창에 어떻게든 상황을 텍스트로 옮겨 적어야 했다. 글로벌 빅테크 기업 구글(Google)의 '제미나이 라이브(Gemini Live)'는 이 과정을 생략한다. 카메라를 켜고 "이거 봐줘"라고 말하는 것만으로 대화가 시작된다.

구글은 7월 22일 공식 블로그를 통해 "제미나이(Gemini) 앱을 사용하면 장황한 설명 없이도 지금 보고 있는 것을 그대로 전달할 수 있다"면서 "눈앞의 현실을 출발점 삼아 떠오르는 무엇이든 실시간으로 도움을 받아 보라"고 제미나이 라이브를 소개했다.

제미나이 라이브의 사용 방법은 어렵지 않다. 제미나이 앱을 실행한 후 '라이브(Live)' 아이콘을 선택하면 음성 대화가 즉시 시작된다. 카메라 아이콘을 추가로 누르면 지금 보고 있는 화면이나 사물을 실시간으로 인식시킬 수 있고, 화면 공유 기능으로 스마트폰의 다른 앱 사용법 안내 등도 받을 수 있다. 안드로이드와 iOS 모두 가능하다.

제미나이 라이브는 실제로도 유용할까. 일주일간 제미나이 무료 버전을 기준으로 5가지 시나리오에서 직접 사용해봤다.

사물 인식은 정확, 외국어 라벨 앞에선 주춤

구글은 제미나이 라이브의 공식 소개 글에서 "고장난 기기를 비추고 단계별 수리 방법을 물어보라"고 했다. 실제로 그 정도의 진단력을 보여주는지 확인해봤다.

우선 집에서 키우는 이레카야자 화분을 보여주며 "이 화분 식물 잎이 왜 이런 상태인지 봐줄 수 있어?"라고 물었다. 그 결과 제미나이는 잎 끝이 갈색으로 변한 부분을 정확히 짚어내며 과습·건조·저습도 중 하나가 원인일 수 있다고 답했다. 특히 당시 서울에 폭염이 이어지던 시점이었는데, 이 날씨 조건과 에어컨 사용으로 인한 실내 건조를 원인 후보로 자연스럽게 연결한 점이 인상적이었다.

이어 "물을 언제 줘야 할까"라고 질문했다. 제미나이는 물을 우유로 듣고 "식물에는 우유가 아니라 물을 주셔야 한다"고 정정한 뒤, 평소 급수 주기를 되물으며 대화를 이어갔다. "3주 정도 된 것 같다"고 하자 폭염 시기임을 다시 언급하며 즉시 급수를 권했다.

여기서 흥미로운 지점이 나왔다. "화분 안에 물이 좀 있는 것 같지 않냐"고 되묻자, 제미나이는 "겉모습만으로는 화분 속 흙 상태를 알기 어렵다"며 손가락이나 수분 측정기로 직접 확인해볼 것을 제안했다. 화면 너머 시각 정보의 한계를 스스로 인지하고, 무리하게 단정 짓지 않은 셈이다. 실제로 이름표 막대를 흙에 꽂아 꺼낸 사진을 다시 보여주자, 묻어나온 흙의 양과 건조 상태를 근거로 "많이 마른 상태가 맞다"고 최종 판단을 내렸다.

인식 정확도는 꽤 높은 수준이었다. 잎 끝 갈변이라는 미세한 시각적 단서를 정확히 포착했고, 현재 날씨(폭염)와 연결한 맞춤형 답변도 유용하게 느껴졌다. 여러 차례 이어지는 대화에서도 3주간 미급수, 폭염 등 이전 맥락을 계속 참조하며 답변했다. 근거 없는 단정을 피하고 확인을 유도하는 태도도 인상적이었다.

지인에게 선물 받은 일본 약품 위산제에 카메라를 비추고 "한 번에 얼마나 먹어야 돼?"라고 물었다. 그런데 첫 답변은 뜻밖에도 "제품 포장이나 설명서를 확인하시거나 약사에게 문의하시는 게 가장 정확해요"라는 원론적인 답이었다. 분명 카메라에 일본어 복용법이 선명하게 잡혀 있었는데도 이를 읽어 답하지 않은 것이다.

"일본어를 몰라서 물어보는 거잖아"라고 지적하자, 그제야 제미나이는 사과하며 박스에 적힌 실제 복용법("15세 이상 성인, 한 번에 1포씩 하루 세 번, 식사 후나 식간에")을 정확히 읽어 답했다. 이어진 "이 약은 언제 먹는 게 좋을까"라는 질문에는 곧바로 "과음·과식·속쓰림·위가 답답할 때"라고 라벨 내용을 반영해 답했다. 족욕 시트 제품에 대해서도 제품명과 사용법(샤워 후 취침 전, 피로한 부위에 부착)을 정확히 짚어냈다.

이 부분은 다소 아쉬웠다. 카메라로 명확한 정보가 보이는 상황에서도 처음엔 라벨을 읽지 않고 회피성 답변을 내놓았고, 사용자가 재차 요청해야 실제 정보를 반영했다. 일단 라벨을 읽기 시작하면 정확도는 높았지만, 첫 응답에서 "보여준 것을 실제로 봤는지"를 스스로 판단하지 못하는 인상을 준다는 점은 짚어둘 만하다.

화면 공유해도 보이는 것만 본다

'화면을 공유해 복잡한 앱 사용법을 안내받을 수 있다'는 것도 구글이 내세우는 대표 시나리오다. 화면 속 정보를 실제로 얼마나 정확히 읽어내는지 테스트했다.

'화면 방송' 기능으로 제미나이에 화면 공유 권한을 줬다. 공유 시작 시 '알림을 포함해 화면에 표시되는 모든 것이 기록된다'는 시스템 경고가 떴다. 배터리 설정 화면을 띄운 채로 "이 스마트폰 설정에서 배터리 사용량이 많은 앱을 찾아 알려줘"라고 물었다. 제미나이는 "기기 설정에 접근해서 배터리 사용량을 확인하는 기능은 지원하지 않는다"며 직접 확인하라고 안내했다.

캘린더 앱으로도 같은 실험을 반복했는데, 여기서 중요한 패턴이 드러났다. 10월 화면을 띄운 채로 "여행 가려면 언제가 적합할지 추천해줘"라고 묻자 제미나이는 10월 9일 한글날 연휴를 언급하며 답했다. 다만 이건 화면을 읽었다기보다 일반 상식(공휴일 지식)에 기반한 답변으로 보인다. 반면 11월 화면을 띄운 상태에서 "8월 13일에 어떤 미팅이 있는지 알려줘"라고 묻자, 제미나이는 "캘린더 앱에 현재 연결된 정보가 없어서 확인하기 어렵다"며 앱 설정에서 캘린더 연결을 다시 요구했다. 그런데 화면을 8월로 직접 넘긴 뒤 "이렇게 확인이 된다는 건가"라고 재차 묻자, 이번엔 "맞아요"라며 정확히 답했다.

결국 이 기능은 화면에 현재 보이는 범위의 정보만 읽을 수 있었다. 사전 연동된 캘린더 데이터베이스를 조회하는 것이 아니라, 화면에 실시간으로 보이는 내용만 참조하는 방식임을 보여준다. 다만 배터리 설정처럼 애초에 필요한 정보가 화면에 다 떠 있어도 거부한 사례와 스크롤·화면 전환으로 해결되는 캘린더 사례가 섞여 있어 어떤 화면 요소는 인식하고 어떤 요소는 인식하지 않는지 일관성이 부족했다. 화면 공유로 무언가를 물을 땐 "지금 보이는 화면에 뭐가 있어?"처럼 화면 범위를 벗어나지 않는 질문이 훨씬 잘 작동했다.

카메라 사용 여부에 따라 달라진 답변

어질러진 서랍을 정리하는 팁도 구글이 직접 예시로 드는 활용법이다. 실제 눈앞의 어수선한 공간을 보고 얼마나 맞춤형 조언을 주는지 확인했다.

먼저 카메라를 켜지 않은 상태에서 "이 서랍장 어떻게 정리하면 좋을지 알려줘"라고 텍스트성 질문을 던져봤다. 제미나이는 "어떤 물건들을 주로 보관하고 계신지 알려주시면 더 맞춤형 방법을 제안해 드릴 수 있다"고 되물었지만, 사용자의 답을 기다리지 않고 곧바로 "물건을 다 꺼내 분류하고, 자주 쓰는 건 위쪽에, 소품은 칸막이나 바구니로 구획하라"는 식의 원론적인 정리법을 이어서 답했다. 실제 서랍 내용물과 무관한, 어디서나 통용될 법한 조언이었다.

이후 실제로 카메라를 서랍 안(상비약, 파스, 일회용 밴드, 일본산 약품 등이 뒤섞인 모습)에 비춘 채로 "서랍장이 이렇게 되어 있어. 어떻게 정리하면 좋을까?"라고 다시 물었다. 이번엔 결과가 확연히 달랐다. 제미나이는 "이 서랍장은 주로 상비약이나 관리용품을 모아두는 곳이네요"라고 정확히 용도를 파악했다. 이어 유통기한이 지난 약이나 연고부터 확인해 버릴 것을 제안한 뒤, 내복약·연고·밴드·소독약처럼 실제 눈에 보이는 물건 종류를 기준으로 구체적인 분류 기준을 제시했다.

카메라를 대상에 제대로 비추고 질문했을 때는 상비약함이라는 용도까지 정확히 인식하고 유통기한 체크, 카테고리 분류 등 실무적으로 바로 적용 가능한 조언을 내놓았다. 다만 첫 시도처럼 카메라 없이(혹은 대상이 명확히 안 잡힌 채) 질문하면 일반론으로 답하는 경향이 있었다. 결국 "무엇을 보여주는지"가 답변의 구체성을 크게 좌우한다는 점이 이번 테스트에서도 재확인됐다.

취향은 반영해도 먼저 묻지 않는다

인테리어 아이디어를 브레인스토밍하거나 쇼핑 중 맞춤형 조언을 받을 수 있다는 것도 구글이 강조하는 창의적 활용법 중 하나다. 실제 취향 반영이 얼마나 유연한지 살펴봤다.

소파 위에 놓인 노란색 체크무늬 쿠션에 카메라를 비추고 "이 소파에 어울리는 쿠션 커버 색깔 추천해 줘"라고 물었다. 제미나이는 영상 속 소파와 노란 체크 쿠션 조합을 정확히 인식하고, 봄 분위기에 어울리는 파스텔 하늘색이나 연한 녹색을 추천했다.

여기서 "지금 여름인데"라고 계절 정보를 정정해봤다. 제미나이는 곧바로 "아, 맞아요! 지금은 여름이죠"라며 추천을 네이비 블루, 청량한 하늘색, 크리스피한 화이트 톤으로 바꿔 제시했다. 시각 정보(색상·소재)와 대화로 얻은 맥락 정보(계절)를 동시에 반영해 답변을 갱신한 셈이다.

사용자가 정정한 정보를 즉시 반영해 추천을 바꾸는 유연성은 돋보였지만, 색상 추천 자체는 "네이비·하늘색·화이트" 등 무난하고 예상 가능한 조합에 머물러 파격적이거나 개성 있는 제안까지는 아니었다. 더 아쉬운 건 최초 답변에서 계절을 고려하지 않고 "봄 분위기"를 임의로 전제했다는 점이다. 촬영 시점의 계절 같은 기본 맥락 정보를 스스로 활용하지 못하고 사용자가 정정해야 했다는 점에서, 테스트 1의 라벨 읽기 사례와 유사한 패턴이 이번에도 반복됐다.

대화는 안 끊기는데 세션은 조용히 종료

구글은 제미나이 라이브가 실시간 대화 중 말을 끊어도 자연스럽게 반응하는 인터럽트 기능을 지원한다고 안내한다. 이 주장이 실제로도 유효한지 확인했다.

"오늘 날씨 어때"라고 묻자 제미나이는 서울의 폭염 상황을 상세히 안내했다. 낮 최고기온이 화씨 100도(섭씨 약 37도 이상)까지 오를 것이라는 예보와 함께 밤에도 기온이 떨어지지 않는 열대야 우려, 온열질환 주의까지 이어서 설명했다. 다만 한국은 섭씨를 표준으로 쓰는 나라인데 굳이 화씨를 먼저 언급한 부분은 아쉬웠다. 위치 정보(서울)를 정확히 인식했으면서도 정작 온도 단위는 현지화되지 않은 셈이다.

또 설명이 한창 이어지는 도중 "폭염에는 어떤 것을 조심해야 할까"라는 질문으로 끼어들어봤다. 음성 인식이 매끄럽게 이어지지 못하고 일부 단어가 뭉개져 인식되는 모습을 보였다. 다만 완전히 무시하지는 않고, 곧이어 수분 섭취 관련 설명으로 자연스럽게 이어갔다. 정확한 인터럽트 성공 여부는 애매했지만, 최소한 대화가 끊기거나 멈추지는 않았다.

이후 날씨 설명이 끝나갈 즈음 완전히 다른 주제인 "오늘 저녁에 뭐 먹으면 좋을까"로 전환해봤다. 이번에는 전환이 자연스러웠을 뿐 아니라, 직전까지 나눈 폭염 대화 맥락을 그대로 반영해 "이런 더운 날씨엔 시원하고 가벼운 음식"이라는 전제로 국수·냉면·수박·오이 등을 추천했다. 완전히 새로운 질문임에도 직전 맥락을 답변에 녹여낸 점이 눈에 띄었다.

한 가지 예상치 못한 발견도 있었다. 식물 진단 테스트를 이어가던 중 한동안 응답 없이 화면을 보고만 있었더니, 라이브 세션이 자동으로 종료되며 일반 텍스트 채팅 모드로 전환됐다. 화면 상단에는 "여전히 라이브를 사용 중이신가요?"라는 문구와 함께 '재개' 버튼이 떴다. 즉 카메라를 계속 켜둔 채로 있어도 일정 시간 입력이 없으면 라이브 세션 자체가 텍스트 모드로 강등된다는 뜻이다.

종합해보면 완전히 다른 주제로 전환해도 이전 대화 맥락을 유지한 채 자연스럽게 답을 이어가는 능력은 상당히 인상적이었다. 반면 인터럽트(말 끊기) 대응은 매끄럽지 않은 순간이 있었지만, 적어도 대화 흐름 자체가 끊기지는 않았다. 무엇보다 실사용에서 챙겨야 할 부분은 세션 유지다. 일정 시간 무입력 시 라이브 세션이 자동으로 텍스트 모드로 전환되는 것을 실제로 확인한 만큼, 카메라를 켜둔 채 대상을 천천히 살펴보며 대화하려는 사용자는 이 제약을 염두에 둬야 한다.

실물엔 강하고, 화면엔 약하다

일주일간 5가지 시나리오로 제미나이 라이브를 사용해본 결과, 카메라를 실물에 비추고 대화하는 경험과 화면을 공유해 기기를 대신 조작·탐색하는 경험 사이에 뚜렷한 완성도 차이가 있었다. 전자는 상당히 성숙했지만, 후자는 아직 기대만큼의 실용성을 보여주지 못했다.

고장난 물건, 식물 상태, 정리가 필요한 공간, 외국어 제품 라벨 등 말로 설명하기 애매한 실물에 대해 빠르게 진단받고 싶은 이들에게는 유용하다. 다만 스마트폰 설정을 대신 탐색해주거나 캘린더·앱을 대리 조작해주는 비서 역할을 기대한다면 아직은 화면 공유보다 직접 조작이 더 빠를 수 있다.

여러분이 발견한, 혹은 관심이 가는 인공지능 서비스와 기능이 있으면 itdonga@itdonga.com으로 메일을 보내주세요. 써 본 후 IT동아 기자들이 이해하기 쉽고 자세하게 알리겠습니다.

IT동아 박귀임 기자(luckyim@itdonga.com)