현지 시각 8월 31일 런웨이(Runway)가 솔라리스(Solaris)를 공개했다. 런웨이는 솔라리스를 인터페이스 월드 모델이라고 이름 붙인 새 계열의 첫 모델로 소개했다. 코드를 작성하지 않고 화면 자체를 프레임 단위로 생성하며, 이용자의 조작에 실시간으로 반응한다.

런웨이는 기존 시스템을 두 갈래로 정리했다. 검색 엔진과 AI 비서처럼 정보를 아는 시스템은 텍스트나 이미지 같은 정적인 내용으로 답하고, 자바스크립트와 게임 엔진처럼 실시간으로 반응하는 시스템은 풍부한 상호작용을 제공하지만 이용자의 제품이나 과제를 알지 못한다. 인터페이스 월드 모델은 이 두 가지를 동시에 해내는 시스템으로 정의됐다.

솔라리스는 영상 생성 모델 Gen-4.5를 상호작용 이해와 실시간 응답에 맞춰 개조해 구축했다. 범용 월드 모델 GWM-1에서 이어진 계열이다. 월드 모델은 세계가 어떻게 움직이는지를 학습해 다음 장면을 예측하는 모델을 말한다.

작동 방식은 두 모델의 분업이다. 언어 모델이 이용자 요청을 해석해 지금 화면을 수정할지 새 장면으로 전환할지 판단하고 동작을 정의하면, 솔라리스가 그 상태를 프레임 단위로 렌더링한다. 클릭과 드래그 같은 입력은 텍스트나 이미지와 마찬가지로 다음 프레임을 생성하는 조건으로 쓰인다. 이미 일어난 조작만 관찰하므로 모델은 행동과 시각적 결과의 관계를 학습한다. 중간 표현을 거치지 않아 변환 과정에서 정보가 사라지지 않고, 화면 전체가 그대로 인터페이스가 된다.

런웨이는 실시간 상호작용과 세션 전체의 일관성, 720p 화질 유지를 개발 초점으로 삼았다. 지연이 0.5초 정도에 이르면 상호작용으로 느껴지지 않는다는 기준을 제시했다. 영상 확산 모델이 한 편을 생성하는 데 수 초에서 수 분이 걸려 인터페이스에는 너무 느리다는 판단이다. 이를 해결하려고 여러 단계에 걸친 노이즈 제거 과정을 몇 단계로 증류했다. 증류는 큰 모델의 처리 과정을 작고 빠른 모델이 따라 하도록 압축하는 기법이다. 같은 작업 덕에 표준 영상 확산 모델보다 실행 비용이 몇 자릿수 낮아졌다.

평가는 두가지 방향으로 진행됐다. 첫 번째는 스크린샷 한 장으로 웹 인터페이스를 재현하는 과제로, 간단한 웹페이지부터 이미지가 많은 페이지와 자연 이미지까지 인터페이스 30종을 대상으로 삼았다. 지표는 두 가지를 썼다. 구조적 유사도(SSIM)는 재현한 화면을 원본과 같은 자리에서 비교해 시각적 외형이 얼마나 충실히 재현됐는지 재고, DINOv3 특징 비교는 원본의 각 영역을 재현물 어디에서든 가장 비슷한 영역과 맞춰 보며 요소가 움직이거나 배치가 바뀌어도 시각 내용이 남아 있는지 측정한다.

런웨이는 GPT-4o와 제미나이 2.5 프로, 페이블 5를 비교 대상으로 삼았다. 그 결과 모든 언어 모델이 재현 과정에서 정보를 잃었고, 시각 복잡도가 커질수록 재현 품질이 떨어졌다고 밝혔다. 풍부한 시각 정보를 언어로 정확히 표현할 수 없어 자연 이미지가 가장 큰 영향을 받았다는 설명이다.

두 번째는 이용자 선호도 비교다. 클로드 오퍼스 5로 만든 코드 기반 화면과 솔라리스를 같은 이미지에서 출발시켜 같은 조작 요청을 줬다. 참가자 250명이 상호작용 예시 30개를 놓고 약 7,500건을 쌍대 비교했다. 지시를 더 잘 따른 쪽으로는 솔라리스가 61%, 코드 결과가 24%, 동등이 13%를 기록했다. 장면 안에서 더 자연스럽게 움직인 쪽으로는 솔라리스 71%, 코드 웹사이트 21%, 동등 6%였다. 런웨이는 코드로 만든 화면이 요청받은 변경을 재현할 수는 있어도 조작을 화면의 개별 업데이트로 처리하는 반면, 월드 모델은 물체와 재질, 환경이 어떻게 움직이는지 이미 이해하고 있어 장면과 어울리는 상호작용을 생성한다고 설명했다.

런웨이가 제시한 사례에는 가상 의류 매장이 있다. 매장 자체가 인터페이스가 되고, 이용자가 자기 사진 한 장을 레퍼런스로 두면 옷걸이에서 셔츠를 집어 자기 몸에 끌어다 입어 보거나 진열을 재배치할 수 있다. 가구 배치에서는 “테이블을 옮겨서 어떻게 보이는지 보여 줘”나 “소파 색을 바꿔 줘” 같은 요청이 통한다. 재료를 그릇에 끌어다 넣으면 샐러드가 완성되고, 연소 실험을 상호작용 데모로 생성해 재료를 바꿔 가며 반응을 관찰할 수도 있다. 런웨이는 계속 달라지는 화면과 한 번도 존재하지 않았던 배치를 상대로 에이전트를 훈련하는 환경으로도 쓸 수 있다고 밝혔다.

한계도 함께 제시했다. 안정적이고 읽히는 텍스트 생성이 영상 생성에서 가장 어려운 문제인데 인터페이스는 텍스트 의존도가 특히 높다. 런웨이는 짧은 멈춤이 허용되는 화면은 이미지 모델이 텍스트를 렌더링하고 연속 상호작용은 영상 모델이 담당하는 혼합 방식을 실용적 경로로 제시했으며, 완전한 실시간 텍스트 생성은 미해결 과제로 남겨 뒀다. 교육이나 상업 목적에서는 그럴듯한 오답이 무응답보다 나쁘다는 신뢰 문제도 지적했다. 긴 세션에서 시각적·의미적 일관성을 유지하는 것과, 화면 낭독기 같은 접근성 기술과의 통합도 남은 과제로 꼽았다.

런웨이는 주요 협력사와 함께 공개를 준비하며 얼리 액세스 신청을 받고 있다고 밝혔다. 일반 공개는 아직 이뤄지지 않았고, 공개 일정과 가격도 밝히지 않았다.

자세한 내용은 런웨이에서 확인할 수 있다.

이미지 출처: 런웨이