Training-Free Consistent Text-to-Image Generation

AI가 그리는 이야기, 더 일관되고 빠르게!

우리는 이제 AI를 이용해 텍스트만으로 이미지를 생성할 수 있는 시대에 살고 있다. 예를 들어, "초록색 모자를 쓴 강아지가 공원에서 놀고 있는 모습"이라고 입력하면, AI는 그에 맞는 이미지를 만들어낸다. 하지만 같은 강아지를 다른 상황에서 표현하려면? 예를 들어, "강아지가 집 안에서 신문을 읽는 모습"이나 "자동차 창문 밖으로 머리를 내미는 모습"을 생성하려면, AI가 이 강아지를 일관되게 표현하기가 쉽지 않다.

컨시스토리(ConsiStory)는 바로 이 문제를 해결하기 위해 등장했다. 놀라운 점은, 이 기술이 AI 모델을 새로 훈련시키거나 수정할 필요 없이, 주제를 일관되게 그릴 수 있다는 것이다.

훈련 없이 캐릭터 일관성 확보한 새로운 이미지 생성 기술

엔비디아(NVIDIA)와 텔아비브 대학교가 협력하여 개발한 '컨시스토리'의 연구논문에 따르면, 해당 모델은 텍스트 기반 이미지 생성에서 캐릭터의 일관성을 유지하는 혁신적인 기술을 선보였다. 기존 AI 모델의 재학습 없이도 동일한 캐릭터를 다양한 상황에서 일관되게 표현할 수 있는 것이 특징이다. 연구진이 개발한 '주제 중심 공유 주의(Subject-centric Shared Attention)' 기술을 통해 이미지 생성 시간을 13분에서 30초로 대폭 단축했다.

컨시스토리는 사전 훈련된 AI 모델의 내부 작동 방식을 활용해 텍스트로 설명된 주제의 일관성을 유지한다. 특히 하나의 캐릭터를 여러 장면에서 표현할 때도 동일한 특징을 유지하며, 다양한 배경과 스타일에서도 주제의 일관성을 잃지 않는다. 더불어 여러 캐릭터가 등장하는 복잡한 장면에서도 각 주제의 특징을 안정적으로 표현할 수 있다.

콘텐츠 제작 효율성 대폭 향상

컨시스토리는 기존의 이미지 생성 방식과는 다르게 AI 모델을 새로 학습시키지 않는다. 대신, 사전 훈련된 AI 모델의 내부 작동 방식을 활용해, 텍스트로 설명된 주제를 일관되게 유지한다. 이 기술은 특히 다음과 같은 장점을 가지고 있다:

1. 일관성 있는 이미지 생성
컨시스토리는 같은 강아지가 다른 상황에서도 동일한 모습으로 표현되도록 AI의 내부 정보를 공유한다. 이를 통해 다양한 장면에서도 동일한 캐릭터를 유지할 수 있다.

2. 다양한 배경과 스타일
"강아지가 공원에서 뛰어노는 모습"과 "집 안에서 신문을 읽는 모습"처럼 주제는 동일하지만 배경이 완전히 다른 이미지를 생성할 때도, 일관성을 잃지 않는다. 배경과 주제를 분리해 AI가 더 창의적으로 이미지를 생성하도록 했다.

3. 다중 주제도 문제없다
예를 들어, "소년과 그의 강아지가 함께 산책하는 모습" 같은 다중 주제 이미지도 컨시스토리를 사용하면 두 주제가 모두 일관되게 표현된다. 기존 기술은 한 주제를 일관되게 표현하는 데 초점이 맞춰졌지만, 컨시스토리는 여러 주제를 동시에 다룰 수 있다.

AI 그림 속도 20배 업! 컨시스토리의 놀라운 효율성

기존 이미지 생성 기술이 하나의 주제를 학습하는 데 수 시간에서 며칠까지 소요된 것과 달리, 컨시스토리는 별도 훈련 없이 즉시 결과물을 만들어낸다. 기존 기술보다 약 20배 빠르게 이미지를 생성하며, 창작자들에게 시간을 절약할 뿐 아니라 컴퓨팅 자원을 아끼는 데도 큰 도움을 준다.

이는 그래픽 노블, 동화책, 게임 개발 등 캐릭터의 일관성이 중요한 분야에서 제작 효율을 크게 높일 것으로 기대된다. 또한 유명 AI 모델과의 통합이 가능해 사용자가 원하는 포즈나 설정을 더 정교하게 지정할 수 있다. 뿐만 아니라, 컨시스토리는 특별한 훈련 없이도 기존의 유명 AI 모델과 통합되어 사용될 수 있다. 사용자는 특정 포즈나 설정을 더 디테일하게 지정할 수 있어, 원하는 이미지를 더 정교하게 제작할 수 있다.

한계는 있지만, 가능성은 무궁무진

컨시스토리는 기존 AI 기술의 한계를 넘어섰지만, 아직 완벽하지는 않다. 특정 스타일에서는 주제를 완벽히 구분하지 못하거나, AI가 기존 데이터에 편향되어 특정한 외형을 더 자주 생성하는 경우도 있다. 그러나 이는 모델의 개선과 사용자의 세부 설정을 통해 점진적으로 해결될 수 있는 문제다.

컨시스토리는 AI를 활용한 이미지 생성의 새로운 장을 열었다. 별도의 학습 없이도 텍스트만으로 창의적이고 일관된 이미지를 생성할 수 있는 이 기술은, 앞으로 디지털 콘텐츠 제작과 예술 창작에서 점점 더 큰 역할을 할 것이다. AI를 활용해 더 빠르고, 더 나은 창작을 꿈꾸는 모두에게 컨시스토리는 강력한 도구가 될 것이다.

해당 논문의 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.