우리가 친구들과 카톡이나 디스코드에서 채팅할 때 자주 쓰는 게 바로 밈(짤방)이다. 웃긴 이미지나 움짤로 내 감정을 표현하거나 분위기를 바꿀 수 있어서 정말 유용하다. 그런데 가끔 어떤 짤을 보낼지 고민되거나, 상황에 안 맞는 짤을 보내서 어색해진 경험이 있을 것이다.

중국 우한대학교 연구팀이 이런 고민을 해결해줄 수 있는 AI를 만들었다. 이 AI는 단순히 "ㅋㅋㅋ"라는 글자를 보고 웃긴 짤을 추천하는 수준이 아니다. 지금까지의 대화 전체를 읽고 분석해서 "아, 지금 이런 분위기구나. 그럼 이 짤이 딱 맞겠네!"라고 판단할 수 있다. 마치 눈치 빠른 친구가 상황파악을 잘해서 딱 맞는 밈을 보내는 것처럼 말이다.

6천 개가 넘는 밈을 하나하나 분석해서 데이터베이스 구축

이 AI가 똑똑한 이유는 엄청난 양의 밈을 공부했기 때문이다. 연구팀은 6,023개의 중국어 밈을 모아서 각각에 대해 자세한 정보를 입력했다. 예를 들어 "이 짤은 언제 쓰면 좋을까?", "이 짤은 언제 쓰면 안 될까?", "이 짤이 표현하는 감정은 뭘까?", "사람들이 왜 이 짤을 보내고 싶어 할까?" 같은 질문들에 대한 답을 AI가 스스로 만들어냈다.

이렇게 만들어진 밈 도서관에는 우리가 일상에서 느끼는 다양한 감정들이 담겨있다. 단순히 "웃김", "슬픔" 같은 기본 감정뿐만 아니라 "어색함을 피하고 싶음", "오해를 풀고 싶음" 같은 복잡하고 미묘한 감정까지 포함되어 있다. 마치 우리가 실제로 친구들과 대화할 때 느끼는 그런 미묘한 감정들을 AI도 이해할 수 있게 된 것이다.

두 명의 AI가 번갈아 가며 34,758번의 대화 연습

이 연구에서 재미있는 점은 AI 두 명이 서로 대화 연습을 엄청 많이 했다는 것이다. 마치 연극 연습을 하듯이 AI A와 AI B가 번갈아 가면서 대화를 하고, 그 과정에서 언제 어떤 밈을 보내는 게 자연스러운지 학습했다. 총 34,758번의 대화 턴을 만들어냈는데, 이는 정말 어마어마한 양이다.

대화를 시작할 때는 뉴스나 특정 상황 설정을 기반으로 한다. 예를 들어 "오늘 새로운 게임이 출시됐다는 뉴스"나 "선생님과 학생" 같은 역할 설정으로 시작해서 자연스럽게 대화가 이어지도록 했다. 그리고 매 턴마다 "지금 상황에 밈을 보내는 게 자연스러운가?", "보낸다면 어떤 밈이 좋을까?"를 판단하도록 학습시켰다.

특히 중요한 건 밈을 너무 자주 보내지 않도록 조절하는 기능이다. 실제로 우리도 매 문장마다 짤을 보내지는 않잖아? AI도 마찬가지로 적절한 타이밍을 기다렸다가 정말 필요한 순간에만 밈을 추천하도록 만들어졌다.

무작위 선택보다 최대 5점 가까이 더 높은 성능 입증

연구팀은 이 AI가 정말 잘 작동하는지 확인하기 위해 두 가지 방법으로 테스트했다. 첫 번째는 GPT-4라는 똑똑한 AI에게 "이 밈이 이 상황에 얼마나 잘 맞는지 0점부터 100점까지 점수를 매겨봐"라고 부탁하는 방식이다. 두 번째는 밈 이미지와 그다음에 오는 대화 내용이 얼마나 비슷한 의미인지 계산하는 방식이다.

테스트 결과가 정말 놀라웠다. 그냥 아무 밈이나 무작위로 선택하는 방식과 비교했을 때, 새로운 AI 시스템이 모든 면에서 훨씬 좋은 점수를 받았다. 특히 어떤 테스트에서는 무작위 선택보다 거의 5점 가까이 더 높은 점수를 받기도 했다. 이는 AI가 정말로 상황을 이해하고 적절한 밈을 선택할 수 있다는 것을 증명한다.

FAQ

Q: 이 AI 기술이 우리가 쓰는 카톡이나 디스코드에도 적용될 수 있나요?

A: 네! 이 연구는 실제 채팅 앱에서 밈 추천 기능으로 활용할 수 있도록 설계되었습니다. 미래에는 우리가 채팅할 때 AI가 상황에 딱 맞는 짤을 추천해 줄 수도 있어요.

Q: 6천 개가 넘는 밈은 어떻게 모았나요?

A: 연구팀이 인터넷에서 중국어 밈들을 수집한 다음, AI가 각 밈의 특징과 사용법을 자동으로 분석해서 정리했습니다. 마치 도서관 사서가 책들을 분류하는 것처럼요.

Q: 한국어로도 이런 시스템을 만들 수 있나요?

A: 충분히 가능합니다! 같은 방법으로 한국어 밈들을 모아서 분석하면 한국 상황에 맞는 밈 추천 AI를 만들 수 있을 거예요.

해당 기사에 인용된 논문 원문은 arxiv에서 확인 가능하다.

논문 명: MemeCMD: An Automatically Generated Chinese Multi-turn Dialogue Dataset with Contextually Retrieved Memes

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.