오픈웨이트 모델의 안전장치를 제거한 버전을 상업적으로 판매하는 회사가 등장했다고 테크크런치가 현지 시각 9월 3일 보도했다. 회사 이름은 어블리터레이션 AI이며, 사명이 된 어블리터레이션은 모델이 유해한 요청을 거부하는 성향을 제거하는 기법을 말한다. 오픈웨이트는 모델 내부 수치인 가중치를 공개해 누구나 내려받아 고칠 수 있게 한 방식을 말한다.

현재 호스팅하는 모델에는 Z.ai가 최근 공개한 오픈웨이트 모델 GLM-5.3의 거부 기능 제거 버전이 포함된다. 테크크런치는 계정을 빠르게 생성해 무료로 브라우저에서 질의할 수 있었다고 전했다. 회사 사이트 기준 요금제는 월 20달러부터 200달러까지 세 단계이며, 100만 토큰당 실효 단가는 약 3달러라고 안내하고 있다. 토큰은 모델이 언어를 처리하는 최소 단위를 말한다.

테크크런치는 크롬에 저장된 비밀번호를 훔치는 파이썬 프로그램과 위험한 병원체를 집에서 배양하는 상세 절차를 요청했고, 모델이 곧바로 응답했다고 밝혔다. 다만 자살 관련 지시는 차단됐다. 공동창업자 데번은 폭력 관련 차단을 추가로 구현 중이라고 말했다. 그는 다른 회사에 재직 중이라는 이유로 성을 공개하지 않았다.

회사는 고객이 결제에 쓴 카드를 기록하는 것 외에 별도 신원 확인 절차를 두지 않았다. 데번은 “누군가 이상한 짓을 하는 데 책임지는 사람이 되고 싶지는 않다. 기업으로서 책임의 선을 어디에 그을지 아직 정하는 중”이라고 말했다. 회사는 지난해 말 시작해 올해 3월 법인을 등록했고, 벤처 투자를 받은 적이 없으며 현재 논의 중이다.

AI 안전 비영리 단체 시브AI의 앤드루 윤 연구총괄은 어블리터레이션을 두고 “모델을 소시오패스가 되도록 개조하는 것”이라고 말했다. 그는 “여기에는 말 그대로 무엇이든 입력할 수 있고 모델은 그대로 따른다”며 “가까운 시일 안에 편집된 모델이 실제 피해에 쓰이는 사례가 나올 것으로 예상한다”고 덧붙였다. 반론도 있다. 파브릭스 최고경영자 아메드 알리는 어블리터레이션이 모델의 지식과 능력 일부를 함께 제거하기 때문에 “실제로 사이버나 생물학 분야에서 해를 끼치려 한다면 그만큼 효과적이지 않을 것”이라고 말했다. 허깅페이스에는 이미 거부 기능을 제거한 모델 수천 개가 올라와 있고, 어블리터레이션 AI는 이를 상업 서비스로 제공한다는 점에서 다르다.

자세한 내용은 테크크런치에서 확인할 수 있다.

이미지 출처: 어블리터레이션 AI