생성형 AI의 작동 원리와 특성

미국 식품의약국(FDA)가 생성형 AI(GenAI)는 입력 데이터의 구조와 특성을 모방하여 파생된 합성 콘텐츠를 생성하는 AI 모델의 한 종류라고 정의했다. 생성형 AI는 기존의 비생성형 AI/ML과 달리 학습한 데이터와 유사한 새로운 데이터를 생성하는 것이 주목적이며, 훈련 데이터에서 명시적으로 보지 못한 내용에 대해서도 맥락에 맞는 출력을 생성할 수 있다. 이는 이미지, 비디오, 오디오, 텍스트 등 다양한 형태를 포함한다.

파운데이션 모델의 특성과 의미

생성형 AI 모델은 일반적으로 개발자들이 데이터셋의 모든 내용을 파악하기 어려울 정도로 방대한 데이터로 학습된다. 이러한 모델은 특정 작업에 최적화되지 않고 의도적으로 광범위하게 개발되어 여러 작업에 적용될 수 있는 기초 모델(foundation model)의 형태를 취한다. 파운데이션 모델은 일반적으로 개별 제품을 위해 만들어지지 않으며, FDA의 의료기기 규제 대상으로 의도되지도 않는다. 애플리케이션 개발자들은 이러한 파운데이션 모델을 특정 용도에 맞게 조정하여 의료기기 정의에 부합하는 제품을 만들 수 있다.

의료분야 생성형 AI 적용 현황

FDA는 의료분야에서의 생성형 AI 적용이 매우 광범위하게 이루어지고 있다고 분석했다. 의료분야에서 생성형 AI는 임상 문서 작성과 보험 사전 승인과 같은 행정 업무를 지원하고 있으며, 실시간으로 적응하는 현실적인 환자 시뮬레이션을 통해 의료 교육에도 활용되고 있다. 또한 임상 진단을 생성하거나 정신건강 상태를 진단하고 치료하기 위한 챗봇으로도 활용되고 있다.

FDA의 생성형 AI 의료기기 규제 접근법

FDA는 연방 식품의약품화장품법(FD&C Act) 201(h)항에 따른 의료기기 정의에 부합하는 생성형 AI 제품을 규제 대상으로 정했다. FDA는 이러한 의료기기에 대해 세 가지 규제 경로를 제시했다:

시판 전 승인(Premarket Approval, PMA)은 고위험 의료기기에 적용되며, 데 노보 분류 요청(De Novo Classification Request)은 저위험 또는 중등도 위험이면서 기존의 적절한 예시 기기가 없는 경우에 적용된다. 시판 전 신고[510(k)]는 저위험 또는 중등도 위험이면서 기존의 적절한 예시 기기가 있는 경우에 해당한다.

생성형 AI 의료기기의 주요 과제

FDA는 생성형 AI 의료기기와 관련하여 두 가지 주요 과제를 제시했다. 첫째로 위험 기반 접근법 적용 및 규제 요구사항 결정의 어려움이 있다. 이는 생성형 AI의 '새로운 정보 생성' 특성으로 인한 불확실성, 환각 현상 발생 가능성, 그리고 기초 모델에 대한 제한된 정보와 통제 가능성 때문이다. 둘째로 전주기에 걸친 안전성과 유효성 평가를 위한 과학적 증거 확보가 어렵다는 점이다. 이는 기존 평가 방법의 한계와 새로운 평가 방법론 개발의 필요성을 수반한다.

시판 전 평가 요구사항

FDA는 시판 전 단계에서 기기의 설계 사양, 데이터 관리, 모델 개발 정보 등에 대한 포괄적인 이해가 필요하다고 밝혔다. 생성형 AI 의료기기의 경우 특히 다음 사항들이 중요하다:

설계 상세 정보(주의 메커니즘, 모델 병합 등), 모델 매개변수, 내장된 프롬프팅 전략, 최종 사용자에게 제공되는 프롬프팅 기능 등이 포함된다. 또한 초기 파운데이션 모델에 대한 데이터 관리와 모델 개발 정보도 필요하다.

새로운 평가 방법론과 관련하여, FDA는 일부 생성형 AI 의료기기에는 현재의 성능 평가 방법론이 여전히 적용 가능하다고 보았다. 그러나 프롬프트 엔지니어링, 입출력 유형에 대한 품질 관리, 주제별 파운데이션 모델 사용 등 새로운 방법론도 개발될 필요가 있다고 지적했다.

위험 기반 접근법과 디바이스 분류

FDA는 생성형 AI의 고유한 특성이 기존의 위험 기반 접근법 적용에 새로운 도전을 제기한다고 보았다. 특히 환각 현상으로 인한 불확실성과 파운데이션 모델의 불투명성이 주요 과제로 지적되었다.

디바이스 분류와 관련하여, FDA는 생성형 AI의 기술적 특성이 때로는 새롭거나 다른 위험을 도입할 수 있어 기기의 분류나 시판 전 경로에 영향을 미칠 수 있다고 설명했다. 특히 510(k) 프로그램에서 실질적 동등성 판단 시 이러한 특성들이 중요한 고려사항이 된다.

시판 후 모니터링 중요성

FDA는 생성형 AI 의료기기가 현장 데이터, 사용자 상호작용, 환경 변화에 따라 지속적으로 조정될 수 있음을 강조했다. 특히 파운데이션 모델을 사용하는 경우, 제조업체의 제한된 통제와 가시성으로 인해 더욱 철저한 모니터링이 필요하다.

제조업체들은 기기의 정확성, 관련성, 신뢰성을 유지하기 위한 효과적인 평가와 모니터링 방법을 개발해야 하며, 필요한 경우 파운데이션 모델에 대한 모니터링 전략도 고려해야 한다.

전주기적 관리 접근법의 중요성

FDA는 생성형 AI 의료기기의 안전성과 유효성을 보장하기 위해 전주기적 제품 수명주기(TPLC) 접근법이 필수적이라고 강조했다. 이 접근법은 계획 및 설계에서 시작하여 데이터 수집 및 관리, 모델 구축 및 튜닝을 거쳐 검증 및 확인 단계를 진행한다. 이후 모델 배포와 운영 및 모니터링을 통해 실제 성능을 평가하는 과정으로 이어진다.

이 보고서는 FDA가 의료분야에서 생성형 AI의 안전하고 효과적인 사용을 위한 규제 프레임워크를 구축하는 초기 단계임을 보여준다. 특히 기존 AI/ML 의료기기 규제와는 다른 새로운 도전과제들이 존재하며, 이에 대한 적절한 평가 방법과 규제 요구사항이 개발되어야 함을 강조하고 있다.

기사에 인용된 리포트의 원문은 FDA에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.