병원에서 사용하는 인공지능(AI)의 개발 과정을 처음부터 끝까지 기록하는 시스템이 개발됐다. 터키 SRDC 소프트웨어 연구개발 컨설팅, 암스테르담 대학교 의료센터, 바르셀로나 대학교 등 유럽 9개 기관 공동 연구팀이 개발한 이 시스템은 유럽과 미국이 의료 AI에 대한 규제를 강화하는 상황에서 개발자들이 실제로 사용할 수 있는 무료 도구로 공개됐다.

심장병 연구에서 시작된 'AI 이력 관리 시스템'

해당 연구 논문에 따르면, 이 시스템의 이름은 'AI 제품 여권'이다. 유럽연합이 지원하는 심부전 예방 연구 프로젝트 'AI4HF'에서 만들었다. 여권처럼 AI의 신원과 이력을 상세히 기록한다는 의미다. 시스템은 AI가 만들어지는 5단계를 모두 기록한다. 처음 연구 계획을 세울 때부터 환자 데이터를 준비하고, AI를 학습시키고, 성능을 평가하고, 실제 병원에 설치하기까지 전 과정이 문서로 남는다. 마지막으로 이 모든 기록을 모아 '여권' 문서를 만든다.

21명의 전문가가 리스본에서 열린 워크숍에 참여해 실시간 설문으로 의견을 냈다. 의사, 기술자, 환자 대표 등 다양한 사람들이 시스템 개선에 참여했다. 누구나 웹사이트에서 무료로 사용할 수 있다.

의사에겐 성능 정보, 개발자에겐 기술 정보

이 시스템의 가장 큰 특징은 보는 사람에 따라 다른 내용을 보여준다는 점이다. 의사에게는 'AI가 무엇을 하는지, 얼마나 정확한지' 같은 정보를 주로 보여준다. 개발자에게는 '어떻게 학습했는지, 어떤 설정을 사용했는지' 같은 기술 내용을 제공한다. 정부 담당자에게는 '법규를 지켰는지, 윤리 문제는 없는지' 같은 규정 관련 정보를 강조한다.

역할별로 접근 권한도 나뉜다. 연구 책임자는 전체 연구를 설계하고, 데이터 담당자는 환자 정보를 입력하고, AI 개발자는 학습 과정을 기록하고, 운영 담당자는 병원 시스템 설치 환경을 문서화한다. 품질 관리자가 최종적으로 모든 기록을 검토해서 여권 문서를 완성한다. 예를 들어 심장병 위험을 예측하는 AI의 여권에는 이런 정보가 담긴다. 모델 이름, 버전, 주요 용도, 사용한 환자 수, 분석한 항목(나이, 혈압, 당뇨 여부 등), 정확도, 설치된 병원 서버 정보 등이다.

신뢰할 수 있는 AI를 위한 6가지 원칙

연구팀은 신뢰할 수 있는 의료 AI를 위한 'FUTURE-AI 가이드라인'의 6가지 원칙을 지켰다.

첫째, 공정성이다. 학습 데이터 구성을 투명하게 공개해서 특정 집단에 편향되지 않았는지 확인할 수 있다. 둘째, 보편성이다. 의사든 프로그래머든 자신의 수준에 맞는 정보를 선택해서 볼 수 있다. 셋째, 추적성이다. 연구 계획부터 실제 운영까지 모든 단계를 기록해서 나중에 문제가 생기면 원인을 찾을 수 있다.

넷째, 사용 편의성이다. 복잡한 기술을 모르는 사람도 간단한 조작으로 문서를 만들고 내려받을 수 있다. 다섯째, 견고성이다. 어떤 조건에서 학습했는지, 어떤 환경에서 작동하는지 명확히 기록해서 성능 변화 원인을 파악할 수 있다. 여섯째, 설명 가능성이다. AI가 어떤 정보를 받아 어떤 과정을 거쳐 결과를 내놓는지 문서로 설명한다.

무료 공개, 자동 기록 기능도 제공

전체 코드가 깃허브라는 온라인 저장소에 무료로 공개됐다. 누구나 내려받아 사용할 수 있고, 자기 병원 환경에 맞게 수정할 수도 있다. 특히 파이썬 프로그래밍 도구를 제공한다. AI 개발자가 모델을 학습시키는 코드에 몇 줄만 추가하면 학습 과정이 자동으로 기록된다. 예를 들어 학습이 끝나면 '정확도 83%, 학습 데이터 500건' 같은 정보가 자동으로 저장되는 식이다. 개발자가 따로 문서를 작성할 필요가 없다. 완성된 여권 문서에는 디지털 서명을 붙여 위조를 방지할 수 있다.

국제 표준 연결, 정보 공유 확대 예정

연구팀은 앞으로 과학 데이터 관리 기준인 'FAIR 원칙'을 적용할 계획이다. 다른 연구자들이 AI 여권 정보를 쉽게 찾고 접근하고 활용할 수 있게 만든다는 의미다. 각 AI 모델에 학술 논문처럼 고유 번호를 부여할 예정이다. 그러면 전 세계 어디서든 그 번호로 해당 AI 정보를 찾을 수 있다. 다른 프로그램들이 자동으로 여권 정보를 읽어갈 수 있는 표준 방식도 지원한다. 의료 정보 표준인 'HL7 FHIR'과의 연결도 준비 중이다. 원본 환자 기록에서 AI용 데이터로 변환하는 중간 과정까지 모두 기록할 계획이다. 이렇게 하면 투명성이 더욱 높아진다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. AI 제품 여권은 왜 필요한가요?

A. 병원에서 사용하는 AI는 환자의 생명과 직결됩니다. 그런데 AI가 어떻게 만들어졌는지, 얼마나 정확한지 알기 어려웠습니다. 유럽과 미국은 의료 AI의 투명성을 법으로 요구하기 시작했는데, AI 제품 여권은 개발 전 과정을 체계적으로 기록해서 이런 요구를 충족시킵니다.

Q. 일반 환자에게는 어떤 도움이 되나요?

A. 환자나 보호자가 직접 여권을 볼 기회는 많지 않지만, 이 시스템 덕분에 병원이 사용하는 AI가 검증된 방식으로 개발됐는지 확인할 수 있습니다. 의사들도 AI 정보를 명확히 알 수 있어 더 신뢰하고 사용할 수 있게 됩니다.

Q. 다른 나라 병원에서도 사용할 수 있나요?

A. 네, 무료로 공개됐기 때문에 전 세계 어느 병원이나 연구소에서도 내려받아 사용할 수 있습니다. 각 나라 규정에 맞게 수정해서 쓸 수도 있습니다. 향후에는 국제 표준과 연결돼 다른 나라 AI 정보도 쉽게 공유할 수 있게 됩니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Enhancing Transparency and Traceability in Healthcare AI: The AI Product Passport

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.