사람의 얼굴에는 생각보다 훨씬 많은 정보가 담겨 있다. 기쁨과 슬픔 같은 감정뿐 아니라 졸음 여부, 심지어 혈중 알코올 농도까지 얼굴 영상만으로 감지할 수 있다는 연구 결과가 나왔다. 에디스 코완 대학교(Edith Cowan University)와 버밍엄 시티 대학교(Birmingham City University) 공동 연구팀이 발표한 논문은 하나의 AI 모델로 표정 인식, 운전자 졸음 감지, 음주 상태 추정을 모두 처리하는 통합 네트워크를 제안하며 각 분야에서 최고 수준의 성능을 기록했다.

기존 AI의 한계, 하나의 모델이 하나의 임무만 수행한다

얼굴 분석 분야의 인공지능 연구는 그동안 각각의 임무에 특화된 별도 모델을 만드는 방식으로 발전해 왔다. 표정 인식용 모델, 졸음 감지용 모델, 음주 탐지용 모델이 따로 존재했으며, 각 모델은 특정 데이터셋에서만 잘 작동하도록 설계됐다. 또한 최근에는 카메라 영상에 음성, 텍스트, 웨어러블 센서 데이터를 결합하는 다중 모달(multimodal, 여러 종류의 입력을 함께 사용하는 방식) 접근법이 성능 향상을 위해 활발히 사용됐다. 그러나 이 방식은 구조가 복잡해지고 특정 환경이나 센서에 의존하게 되는 문제가 있었다. 연구팀은 이 한계를 극복하기 위해 카메라 영상만으로 여러 얼굴 분석 임무를 동시에 처리할 수 있는 단일 3D 시공간 네트워크(3D spatio-temporal network)를 설계했다. 시공간 네트워크란 영상의 각 프레임뿐 아니라 프레임이 시간에 따라 변하는 흐름까지 함께 학습하는 구조를 말한다.

두 가지 핵심 모듈이 얼굴의 세부 정보와 전체 맥락을 동시에 포착한다

연구팀이 제안한 네트워크의 핵심은 두 가지 독자 개발 모듈에 있다. 첫 번째는 콘애드브-이엘씨에이(ConAdv-ELCA, Contrastive Adversarial Efficient Local Channel Attention)로, 눈가의 미세한 떨림이나 입 주변의 근육 움직임처럼 얼굴의 국소적인 세부 특징을 추출하고 정리하는 역할을 한다. 이 모듈은 대립적 학습(adversarial training)과 대조적 학습(contrastive learning)을 결합해 모델이 노이즈에 강하고 다양한 상황에 일반화될 수 있도록 설계됐다. 대립적 학습이란 AI가 의도적으로 방해받은 데이터를 학습해 실제 환경의 불확실성에 강해지는 훈련 방식이다. 두 번째는 이지씨에이(EGCA, Efficient Global Channel Attention)로, 얼굴 전체의 장거리 맥락 관계를 효율적으로 포착한다. 이를테면 눈과 입의 움직임이 어떻게 연관되는지, 얼굴 전체의 전반적인 상태가 어떤지를 파악하는 역할이다. 두 모듈의 협력 덕분에 모델은 세부 정보와 전체 맥락을 균형 있게 학습할 수 있었고, 이것이 다양한 임무에서 높은 성능을 내는 핵심 요인이 됐다.

운전자 졸음 감지 95%, 혈중 알코올 농도 추정 90% 이상 정확도 달성

연구팀은 다섯 개의 공개 벤치마크 데이터셋을 활용해 성능을 검증했다. 운전자 졸음 감지에서는 NTHU-DDD 데이터셋 기준 95.04%의 정확도를 기록하며 기존 최고 성능 모델인 아이소에스에스엘-모코(IsoSSL-MoCo)를 약 1.3%포인트 앞섰다. 혈중 알코올 농도 추정에서는 혈중 알코올 농도 0.08g/dL 기준 이진 분류에서 93%의 수신자 조작 특성 곡선 아래 면적(AUROC, 모델의 분류 능력을 0에서 1 사이로 나타내는 지표)을 달성했다. 표정 인식에서는 DFEW, FERV39K, AFEW 세 개 데이터셋 모두에서 기존 단일 모달 방식을 능가했으며, 특히 DFEW에서는 비가중 평균 재현율(UAR) 60.89%, 가중 평균 재현율(WAR) 71.98%로 최고 성능을 기록했다. 모델의 파라미터 수는 약 2,387만 개로, 최대 8,800만 개에 달하는 경쟁 모델들과 비교해 훨씬 가볍고 빠른 처리 속도를 유지했다.

한 번 학습으로 전혀 다른 임무도 해낸다, 일반화 능력의 증명

이 연구에서 특히 주목할 만한 결과는 교차 임무 일반화 실험이다. 연구팀은 표정 인식 데이터셋인 DFEW만으로 학습한 모델을 졸음 감지와 음주 감지 데이터에 그대로 적용했다. 이 두 임무는 학습 과정에서 전혀 노출되지 않은 완전히 새로운 영역이었다. 그럼에도 티-에스엔이(t-SNE, 고차원 데이터를 2차원으로 시각화하는 기법) 분석 결과, 모델이 졸음 상태와 음주 상태를 의미 있는 군집으로 분류해냈다. 이는 모델이 특정 임무의 정답 레이블에 의존하는 것이 아니라, 얼굴에서 공통으로 나타나는 근본적인 패턴을 학습했음을 의미한다. 연구팀은 이 결과가 단일 모델로 다양한 실세계 응용이 가능함을 보여준다고 강조하며, 향후 더 많은 대형 언어 모델과의 비교 연구 및 다양한 도메인으로의 확장을 계획하고 있다고 밝혔다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. 이 기술은 실생활에서 어떻게 활용될 수 있나요? 이 기술은 운전 중 졸음이나 음주 상태를 실시간으로 감지해 교통사고를 예방하거나, 표정 분석을 통한 정신 건강 모니터링, 인간과 로봇 간 상호작용 개선 등 다양한 분야에 활용될 수 있습니다.

Q. 카메라 영상만으로 혈중 알코올 농도를 알 수 있나요? 이 연구는 얼굴 영상에서 포착되는 미세한 생리적 변화를 분석해 혈중 알코올 농도를 추정합니다. 별도의 센서 없이 일반 카메라만으로 90% 이상의 정확도를 달성했으며, 음주 측정 보조 수단으로 활용 가능성이 높습니다.

Q. 기존 AI와 비교해 무엇이 다른가요? 기존 AI는 하나의 임무만 처리하는 별도 모델이 필요했고, 여러 데이터를 함께 사용하는 복잡한 구조가 많았습니다. 이 연구의 모델은 카메라 영상 하나만으로 표정 인식, 졸음 감지, 음주 상태 추정을 동시에 처리하며, 크기도 훨씬 작아 실제 장치에 적용하기 유리합니다.

기사에 인용된 리포트 원문은 Birmingham City University Open Access Repository에서 확인할 수 있다.

리포트명: Jack of many Faces: A Step Towards Facial Expression and Physiological State Analysis with a Single Network

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.