이탈리아 볼로냐 대학교 연구진이 사람의 기억 방식을 따라 하는 AI를 만들어서 TV 드라마의 복잡한 이야기 줄거리를 자동으로 분석하는 데 성공했다. 이 AI는 사람이 기억을 저장하고 불러오는 방식과 비슷하게 드라마의 여러 스토리를 파악하고 정리한다.

연구팀은 GPT-4o라는 AI 모델을 사람의 일반 지식 역할로, 벡터 데이터베이스를 특정 사건을 기억하는 역할로 사용했다. 마치 사람이 "의사 드라마는 보통 이런 식으로 전개된다"는 일반적 지식과 "어제 본 에피소드에서 이런 일이 있었다"는 구체적 기억을 모두 활용하는 것과 같다.

그레이 아나토미 시즌 1로 테스트한 결과, 이 AI는 세 종류의 이야기 패턴을 성공적으로 구분했다. 한 회로 끝나는 완결형 이야기, 등장인물들의 관계에 초점을 맞춘 이야기, 그리고 의료진의 전문적 갈등을 다룬 이야기였다. 이렇게 분류된 스토리들은 컴퓨터에 저장되어 나중에 비교하고 분석할 수 있게 되었다.

9개 AI가 팀워크로 드라마 분석한다

이 시스템의 핵심은 각자 다른 일을 맡은 9개의 AI가 차례차례 협력하는 방식이다.

첫 번째 AI는 이전 회차에서 이어지는 이야기가 있는지 찾고, 두 번째와 세 번째 AI는 각각 다른 종류의 스토리를 골라낸다. 네 번째 AI는 중복되는 이야기를 정리하고 전체적인 일관성을 맞추는 중요한 역할을 한다. 이후에는 같은 내용이 중복되지 않도록 점검하고, 세부 내용을 보강하며, 진행 상황을 검증하는 단계를 거친다. 마지막에는 최종 검토 AI가 모든 이야기가 논리적으로 연결되는지 확인한다.

특히 흥미로운 점은 각 AI가 과거에 저장된 비슷한 이야기를 찾아서 지금 분석하는 내용이 기존 스토리의 연속인지 아니면 새로운 이야기인지 판단한다는 것이다. 이는 사람이 새로운 정보를 접할 때 과거 경험과 비교해서 이해하는 과정과 매우 비슷하다.

캐릭터 62명 찾고, 완결형 스토리는 89.3% 정확도

그레이 아나토미 시즌 1 테스트에서 이 AI는 놀라운 결과를 보여줬다. 드라마에 나오는 인물 62명을 찾아냈는데 이 중 61명이 정확했다. 한 명만 잘못 찾은 이유는 원래 자료에서 같은 인물을 다른 이름으로 부른 경우였다.

스토리 분석에서는 한 회로 끝나는 완결형 이야기 찾기에서 89.3%의 정확도를 달성했다. 28개 중 25개를 정확히 찾아낸 것이다. 완결형 이야기는 한 회 안에서 시작되고 끝나기 때문에 경계가 명확해서 찾기가 상대적으로 쉬웠다.

하지만 여러 회에 걸쳐 이어지는 복잡한 이야기들에서는 어려움을 겪었다. 예를 들어 이지 스티븐스라는 인물의 "과거 극복과 성장" 이야기와 "개인 생활과 직업 균형" 이야기를 AI는 서로 다른 것으로 봤지만, 사람이 보기에는 하나로 연결된 이야기였다.

사람이 직접 수정할 수 있는 화면 만들어

연구진은 AI만으로는 한계가 있다는 걸 알고 사람이 직접 결과를 보고 수정할 수 있는 화면을 만들었다. 이 화면은 크게 세 부분으로 나뉜다. 스토리가 시간 순서대로 어떻게 진행되는지 보여주는 부분, AI가 저장한 정보들을 3차원으로 시각화해서 보여주는 부분, 그리고 등장인물들을 관리하는 부분이다.

사용자는 이 화면을 통해 스토리를 눈으로 확인하고, 잘못된 부분을 고치거나, 빠진 내용을 추가할 수 있다. 또한 중복되는 스토리를 합치거나, 잘못 분류된 인물들을 정리할 수도 있다. 이런 방식으로 AI가 만든 결과를 사람이 다시 점검하고 개선하는 협업 방법은 복잡한 드라마 분석에서 사람과 컴퓨터가 함께 일할 때의 장점을 잘 보여줬다.

FAQ

Q: 이 AI가 기존 분석 도구와 뭐가 다른가요?

A: 기존 도구들은 단순히 패턴만 찾았다면, 이 AI는 사람의 기억 방식(구체적 경험 기억, 일반 지식, 임시 처리 과정)을 따라 해서 더 종합적으로 드라마를 이해합니다. 9개의 전문 AI가 협력해서 복잡한 스토리를 체계적으로 분석합니다.

Q: 왜 드라마 분석에 이렇게 복잡한 시스템이 필요한가요?

A: TV 연속극은 여러 회와 시즌에 걸쳐 복잡한 이야기들이 얽혀있어서 기존 방법으로는 제대로 분석하기 어려웠습니다. 이 시스템은 시청자가 긴 드라마를 보면서 기억하고 이해하는 방식과 비슷하게 정보를 저장하고 연결해서 더 정확한 분석을 가능하게 합니다.

Q: 이 기술을 다른 곳에도 쓸 수 있나요?

A: 네, 특히 연재 소설이나 웹소설, 웹툰 같은 연속적인 이야기 콘텐츠 분석에 매우 유용할 것으로 예상됩니다. 모든 내용이 글로 되어 있는 형태에서는 영상이나 소리 같은 다른 요소들을 고려할 필요가 없어서 시스템이 더 잘 작동할 수 있습니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문 명: Narrative Memory in Machines: Multi-Agent Arc Extraction in Serialized TV

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.