차 안의 AI는 대답만 하지 않는다. 목적지를 바꾸고 전화를 걸고 창문을 연다. 포티투닷이 공개한 가드레일 기술 문서에는 그 차이를 다루는 방법이 적혀 있다.

현대자동차그룹의 글로벌 소프트웨어 센터 포티투닷(42dot)이 9월 11일 기술 블로그에 차량용 AI 에이전트의 안전 판단 모듈 ‘글레오 가드(Gleo Guard)’의 개발 과정을 공개했다. 글레오 가드는 지난 5월 신형 그랜저에 처음 적용된 차량용 AI 에이전트 ‘글레오 AI(Gleo AI)’의 앞단에서 이용자의 발화를 먼저 확인하는 모듈이다. 가드레일은 AI가 위험하거나 부적절한 요청을 실행하지 않도록 앞뒤에서 걸러 주는 안전장치를 말한다.

포티투닷이 문서에 함께 실은 내부 평가 결과에서 글레오 가드의 안전 판정 정확도는 98.26%로 나타났다. 같은 평가셋에서 오픈AI GPT-5.6-luna는 88.00%, GPT-5.5는 88.78%, 앤트로픽 클로드 소넷 5는 80.40%를 기록했다.

차량 AI와 챗봇의 안전 기준 차이

포티투닷은 차량 AI의 안전 기준이 일반 챗봇보다 넓어야 하는 이유를 실행 범위에서 찾았다. 일반 챗봇은 부적절한 답변을 만들지 않는 것이 주된 목표지만, 차량 AI는 이용자의 말 한마디가 목적지 검색, 전화 걸기, 메시지 전송, 차량 기능 실행으로 이어진다. 문서에는 글레오 가드가 “이 질문에 답해도 되는가”뿐 아니라 “이 요청을 차량 환경에서 실행해도 되는가”를 함께 판단해야 한다고 적혀 있다.

위험한 요청은 막아야 하지만 정상적인 차량 기능 요청까지 막으면 이용 경험이 나빠진다. 포티투닷은 음식점 이름에 민감한 단어가 들어간 장소를 검색하는 경우, 연락처 이름에 비속어가 들어 있는 경우를 예로 들었다. 반대로 표현은 평범해도 실제 의도가 불법 행위나 개인정보 침해, 프롬프트 탈취인 경우도 있다. 프롬프트 탈취는 AI에게 내려진 내부 지시문을 이용자가 빼내려 하는 시도를 말한다.

정책 두 가지로 허용과 제한을 분리

글레오 가드는 크리티컬(Critical) 정책과 코션(Caution) 정책을 함께 운용한다. 크리티컬 정책은 불법 행위, 자해, 혐오, 프롬프트 인젝션처럼 명확히 위험한 요청을 제한한다. 프롬프트 인젝션은 이용자가 입력한 문장에 명령을 숨겨 AI가 원래 지시를 무시하게 만드는 공격이다. 범죄 실행 방법이나 무기 제작법을 묻는 요청에는 정보를 제공하지 않고 예방과 신고, 안전 확보 같은 허용 범위의 정보만 안내한다.

코션 정책에는 맥락에 따라 다뤄야 하는 항목이 들어간다. 투자나 의료 조언은 차단만으로 해결되지 않으므로, 사실 기반 설명과 중립적 비교, 전문가 상담 권고처럼 허용 가능한 범위를 분리했다.

병원이나 약국을 찾는 요청은 의료 진단이 아니라 내비게이션 기능일 수 있다. 연락처 조회 요청도 개인정보 침해처럼 보이지만 연결된 휴대전화에 저장된 연락처를 확인하는 정상 기능일 수 있다. 차량이라는 사용 환경 때문에 생기는 예외다. 글레오가 지원하는 공개 기능이나 음성 명령을 묻는 것은 허용하되, 내부 지시문이나 비공개 도구 정의를 요구하면 제한한다.

정책을 학습 데이터로 바꾸는 방법

포티투닷은 문서로 정의한 안전 정책을 모델이 학습할 수 있는 데이터로 바꾸기 위해 ‘LLM-as-an-attacker’ 방식을 썼다. 별도의 대규모 언어 모델이 적대적 이용자 역할을 맡아 정책을 공격하는 요청을 생성하고, 그 과정에서 가드레일의 취약한 판단 경계를 찾는 방법이다. 포티투닷은 여기에 정상 요청이 과도하게 차단되는 사례까지 함께 생성하도록 범위를 확장했다.

먼저 각 정책을 허용 규칙과 제한 규칙, 기대 행동, 예외 조건으로 구조화한 정책 카드를 만들었다. 이어 각 정책 카드에서 적용 정책과 이용자 의도, 기대 응답 방식, 차량 기능 실행과의 연관성 같은 생성 조건을 구성했다. 그다음 그 조건에 따라 실제 요청과 대화 사례를 생성했다. 위험 표현을 피하면서 부적절한 답변을 유도하는 요청, 일상적인 표현으로 제한된 기능 실행을 요청하는 사례, 여러 대화 턴에 걸쳐 의도를 조금씩 드러내는 사례가 여기에 포함된다. 마지막으로 별도 검증기를 통해 적용된 정책이 맞는지, 개인정보나 지나치게 구체적인 실행 정보가 섞이지 않았는지 확인했다.

차량 기능 실행과 관련된 사례는 액션 어웨어(Action-Aware) 데이터로 구성했다. 전화 걸기, 메시지 전송, 목적지 검색, 연락처 조회, 일정 등록, 차량 기능 제어 같은 실행 후보 행동을 추상적으로 표현하고 허용·차단·추가 확인 여부를 함께 정의했다. 실제 전화번호나 주소, 메시지 원문은 데이터에 넣지 않고 행동 유형과 대상 유형만 담았다.

지도 미세조정과 강화학습 적용

지도 미세조정(SFT)은 입력과 기대 출력이 짝을 이룬 데이터를 주고 모델이 목표 출력을 생성하도록 추가 학습하는 방법이다. 글레오 가드는 이 단계에서 이용자 발화와 대화 맥락을 입력으로 받아 해당 요청이 어떤 정책에 해당하는지, 어떻게 응답해야 하는지를 학습했다.

이어진 강화학습(RL) 단계에서는 GRPO(Group Relative Policy Optimization)를 적용했다. 하나의 입력에 여러 응답을 생성한 뒤 각 응답의 보상을 그룹 안에서 상대적으로 비교해 정책을 갱신하는 방식으로, 별도의 가치 모델 없이 학습할 수 있다. 포티투닷은 이 단계에서 사람이 검수한 신호를 활용했다. 지도 미세조정만으로는 비속어가 들어간 요청을 모두 위험하다고 판단할 수 있는데, 강화학습을 거치면 “비속어가 포함돼 있어도 저장된 연락처에 전화를 거는 정상 요청”처럼 표현상의 위험 신호와 실제 의도를 구분한다고 설명했다.

내부 평가 결과와 비교 모델

평가 지표로는 매크로 정확도(Macro Accuracy)를 썼다. 안전 요청과 위험 요청 각각을 올바르게 분류한 비율을 구한 뒤 같은 비중으로 평균한 값으로, 두 부류의 데이터 수가 달라도 한쪽에 치우치지 않는다.

GPT-5.6-luna와 비교하면 위험한 요청을 안전하다고 잘못 판단한 비율은 7.50%에서 1.66%로, 정상 요청을 위험하다고 과도하게 차단한 비율은 16.50%에서 1.82%로 낮아졌다. 매크로 정확도는 88.00%에서 98.26%로 10.26%p 높아졌다.

다만 이 수치는 포티투닷이 자체적으로 구축한 평가셋에서 측정한 결과다. 포티투닷도 문서에 실제 서비스 환경에서의 성능은 이용 환경과 데이터 특성, 시스템 운영 조건에 따라 달라질 수 있다고 적었다. 외부 기관의 독립 검증 결과는 아직 공개되지 않았다.

최종 응답 기준 안전성 측정

포티투닷은 입력 분류 성능과 별개로 글레오가 실제로 생성한 최종 답변이 안전한지도 측정했다. 테스트케이스 1만 5,010건에 대해 글레오 AI의 답변을 생성한 뒤, 카카오의 공개 안전성 모델 카나나 세이프가드 8B를 심판으로 세워 질문과 답변 쌍을 다시 판정하는 LLM-as-a-Judge 방식을 썼다. 다른 대규모 언어 모델이 평가자 역할을 맡아 정책 준수 여부를 판정하는 방법이다.

기존에 안전하다고 분류된 답변이 다시 실행했을 때 위험으로 바뀌는 누출률도 약 3%에서 0.91%로 낮아졌다. 포티투닷은 개선된 사례가 나빠진 사례보다 4.2배 많았다는 점을 근거로 재생성 과정의 우연이 아니라 글레오 가드의 효과로 해석했다.

신형 그랜저 탑재와 처리 구조

글레오 AI는 지난 5월 공개돼 신형 그랜저에 먼저 적용됐다. 정해진 명령어에 반응하는 기존 음성 인식과 달리 대화 맥락과 주행 상황, 차 안에서 말한 사람의 좌석 위치까지 파악해 응답을 생성한다. 이용자가 목적지를 설정하거나 공조를 조절하고 미디어를 조작할 수 있으며, 좌석 위치와 차량 상태에 따라 다른 기능을 실행한다.

안전과 직결되는 차량 제어는 지연을 줄이기 위해 기기 안에서 처리하고, 연산량이 큰 작업은 클라우드 서버로 보낸다. 포티투닷은 주행 환경에 맞춘 음성 기술도 자체 개발했다. 대규모 언어 모델 기반 음성 합성, 음성 전처리, 다국어 음성 인식이 여기에 들어간다.

향후 계획

포티투닷은 차량 위치에 따라 다른 윤리 기준을 적용하는 작업을 다음 과제로 제시했다. 같은 요청이라도 차량이 있는 국가와 언어, 법·제도, 사회적 정서에 따라 다르게 해석될 수 있으므로 차량의 지역 설정과 관할권, 언어 설정을 반영하겠다는 계획이다. 레드티밍 자동화도 함께 추진한다. 지금은 전문가가 직접 글레오의 반응을 보며 취약한 패턴을 찾는데, 앞으로는 정책 카드와 서비스 기록에서 시나리오를 생성하고 실패 사례를 다시 학습 데이터 생성 과정에 재투입하는 구조를 구축한다.

차량용 AI 에이전트는 완성차 업계가 소프트웨어 중심 차량(SDV) 경쟁에서 내세우는 항목이다. 인포테인먼트에 더해 차량 제어와 개인화 서비스를 연결하기 때문이다. 현대차그룹은 자율주행과 AI, SDV 조직을 포티투닷 산하로 통합했고, 무선 업데이트로 글레오 AI를 계속 개선하겠다고 밝혔다.

차량 AI의 안전 문제는 답변 검열이 아니라 실행 통제의 문제로 다뤄지고 있다. 포티투닷은 파라미터가 더 작은 자체 모델로 상용 API 모델보다 높은 정확도를 기록했다고 밝혔으나, 그 근거는 자체 평가셋이다. 글레오 AI가 탑재된 차량이 늘어나면 실제 주행 환경에서의 판정 성능이 함께 확인될 것으로 보인다.

자세한 내용은 포티투닷 기술 블로그에서 확인할 수 있다.

이미지 출처: 포티투닷