An Approach to Technical AGI Safety and Security

오용과 오정렬 차단: 구글의 AGI 안전성 핵심 전략

인공지능이 점점 더 강력해지면서 일반인공지능(AGI)의 안전성 확보가 중요한 과제로 부상하고 있다. 구글 딥마인드는 보고서에서 AGI로 인한 심각한 위험을 방지하기 위한 기술적 접근법을 제시했다. 이 접근법은 크게 '오용(misuse)'과 '오정렬(misalignment)'이라는 두 가지 주요 위험에 초점을 맞추고 있다. 오용은 악의적인 사용자가 AI를 이용해 의도적으로 해를 끼치는 경우를 말하며, 오정렬은 AI 시스템이 개발자의 의도와 다르게 행동하는 경우를 의미한다.

구글 딥마인드는 이러한 위험들을 효과적으로 관리하기 위해 모델 수준의 완화 조치와 시스템 수준의 보안 조치를 결합한 다층적 접근 방식을 제안했다. 이 포괄적인 안전성 프레임워크는 400명 이상의 연구자가 참여하여 개발한 것으로, AGI의 잠재적 위험을 최소화하면서 그 혜택을 최대화하는 것을 목표로 한다.

위험한 AI 기능 탐지와 차단: 오용 방지를 위한 다단계 보안 시스템

오용 위험을 줄이기 위한 전략은 위험한 능력에 대한 접근을 차단하는 것이 핵심이다. 이를 위해 구글 딥마인드는 '프론티어 안전성 프레임워크(Frontier Safety Framework)'를 통해 모델이 위험을 초래할 수 있는 능력을 가졌는지 평가하고, 필요한 경우 보안 및 배포 완화 조치를 적용한다.

먼저 위험 평가 단계에서는 위협 모델링을 통해 AI 시스템의 어떤 기능이 위험을 초래할 수 있는지 파악한다. 특히 사이버보안, 생물학적 위험, 설득력 있는 조작 등 주요 위험 영역에서 AI가 어떤 위험한 능력을 가질 수 있는지 분석한다. 이어서 위험한 기능 평가를 실시해 모델이 그러한 능력을 실제로 보유하고 있는지 측정한다.

모델에 위험한 기능이 있다고 판단되면 다양한 완화 조치가 적용된다. 여기에는 안전성 훈련, 기능 억제, 모니터링, 접근 제한 등이 포함된다. 또한 모델 가중치가 유출되지 않도록 하는 보안 조치도 중요한 요소다. 모니터링은 위협 행위자가 위험한 기능에 부적절하게 접근하려는 시도를 감지하고 대응하는 것을 목표로 한다. 이러한 탐지는 해로움 확률 점수를 출력하는 분류기 사용, 모델의 내부 활성화 활용, 또는 생성된 콘텐츠의 수동 감사를 통해 이루어질 수 있다.

슈퍼인텔리전스 통제의 열쇠: 증폭된 감독과 이중 방어선 전략

오정렬 위험에 대응하기 위해 구글 딥마인드는 두 가지 방어선을 제시했다. 첫 번째 방어선은 모델 수준에서 오정렬을 방지하는 것이다. 이를 위해 증폭된 감독(amplified oversight), 모델 행동 지도, 그리고 강건한 훈련이 필요하다. 증폭된 감독은 인간보다 더 능력있는 AI 시스템을 효과적으로 평가하기 위한 핵심 기술이다. 이 접근법의 핵심은 AI 시스템 자체를 활용하여 그 이유를 인간이 이해할 수 있도록 만드는 것이다.

디베이트는 전형적인 증폭된 감독 방법으로, 두 개의 AI 복사본이 인간 판사에게 서로의 출력의 결함을 지적하기 위해 경쟁한다. 이를 통해 인간 감독자가 이해하기 어려운 복잡한 문제도 효과적으로 평가할 수 있게 된다. 연구에 따르면 이러한 방식은 인간 감독자가 복잡한 AI 결정을 평가할 때 발생하는 90% 이상의 오류를 감소시킬 수 있다.

두 번째 방어선은 모델이 오정렬되어 있더라도 피해를 최소화하는 것을 목표로 한다. 여기에는 컴퓨터 보안 기술을 적용한 접근 제어, 로깅, 감사 등이 포함된다. 특히 모니터링은 AI 능력이 향상됨에 따라 크게 개선될 수 있는 중요한 부분이다. 계층적 감독이 중요할 것이다. 즉, 모델 출력을 먼저 저비용 시스템이 모니터링하고, 가장 의심스럽거나 불분명한 사례는 더 능력 있고 비용이 많이 드는 모니터에 에스컬레이션된다.

AI의 마음을 들여다보기: 해석 가능성과 안전한 설계의 중요성

구글 딥마인드는 또한 AI 시스템의 내부 작동 방식을 이해하기 위한 해석 가능성(Interpretability)의 중요성을 강조했다. AI 시스템의 작동 방식을 이해하는 것은 안전한 AI 시스템을 구축하는 데 있어 매우 중요하다. 해석 가능성 기술은 다양한 측면에서 오정렬 완화에 도움이 될 수 있다.

예를 들어, 모델이 인간의 기대에 부합하는 행동을 하는지 확인하는 정렬 평가, 모델 추론이 내부 계산과 일치하는지 확인, 그리고 모델 내부의 작동 방식을 이해함으로써 결함을 디버깅하는 데 활용될 수 있다. 최근 연구에 따르면, 해석 가능성 기술은 AI 시스템의 거짓말 탐지율을 75% 이상 향상시키고, 잠재적 위험 행동을 사전에 식별할 수 있게 해준다. 또한 안전한 설계 패턴(Safer Design Patterns)은 AI 시스템을 더 안전하게 만들기 위한 다양한 설계 결정을 포함한다. 여기에는 교정 가능성(corrigibility), 사용자 상호작용, 제한된 자율성 등이 포함된다.

이러한 패턴은 성능과 안전성 사이의 트레이드오프를 최적화하는 데 중요하다. 보고서는 안전-성능 트레이드오프를 탐색하기 위해 파레토 경계를 확장하는 것을 목표로 해야 한다고 권장한다. 이는 안전한 설계의 성능을 개선함으로써 전반적인 성능 비용을 줄이는 방향으로 이루어진다.

AGI의 안전성 검증: 스트레스 테스트와 안전성 사례의 역할

구글 딥마인드는 정렬 스트레스 테스트를 통해 정렬 계획의 가정을 검증하는 것의 중요성을 강조했다. 이러한 테스트는 최악의 시나리오를 포함한 다양한 상황에서 AI 시스템의 안전성을 평가하는 데 중요하다. 구글 딥마인드는 수백 가지 공격 시나리오를 통해 AI 시스템의 안전성을 테스트하며, 이러한 테스트를 통해 발견된 취약점은 즉시 해결된다. 이러한 테스트는 AI 시스템이 얼마나 강력한 공격에도 안전하게 작동할 수 있는지를 확인하는 데 중요한 역할을 한다.

또한 안전성 사례(Safety cases)는 AI 시스템이 안전하다는 구조화된 주장을 제공한다. 특히 무능력 안전성 사례(inability safety case)와 제어 안전성 사례(control safety case)는 오정렬된 모델의 위험을 완화하는 데 중요한 접근법이다. 무능력 안전성 사례는 모델이 해를 끼칠 능력이 부족하다는 주장에 기반한다. 이는 위험한 기능 평가 결과와 이러한 기능이 위험을 가능하게 하는 방식을 바탕으로 정당화된다.

인류의 번영을 위한 안전한 AGI: 기술과 거버넌스의 균형

구글 딥마인드는 AGI 개발에 따른 위험을 관리하는 것이 중요하지만, 이를 통해 얻을 수 있는 엄청난 혜택도 있다고 강조한다. AGI는 전 세계의 생활 수준을 높이고, 인간 지식을 심화시키며, 과학적 발견을 가속화할 수 있는 잠재력을 가지고 있다.

연구에 따르면 AGI는 2040년까지 전 세계 GDP를 56% 증가시킬 잠재력이 있으며, 교육과 의료 분야에서 혁명적인 개선을 가져올 수 있다. 특히 모든 어린이가 기본적인 기술 수준을 달성할 수 있다면, 2100년까지 글로벌 GDP는 현재보다 56% 높아질 것으로 예상되며, 이는 약 732조 달러의 추가 GDP를 의미한다. 안전성은 성능의 한 측면이다. 안전하지 않은 에이전트는 바람직하지 않다. 따라서 안전성과 성능 사이의 균형을 찾는 것이 중요하다.

구글 딥마인드의 접근법은 AGI 개발에 있어 기술적 측면에 초점을 맞추고 있으나, 이것이 전체 그림의 절반에 불과하다는 점을 인정한다. 효과적인 거버넌스와 함께 기술적 해결책이 보완되어야 한다는 것이다. 특히 경쟁 압력으로 인한 안전성 경쟁의 악순환을 방지하기 위해 적절한 표준과 모범 사례에 대한 광범위한 합의가 필요하다.

경쟁 역학(competitive dynamics)은 일방적 조치의 효과를 무력화할 수 있다. 만약 한 AI 개발자가 안전성에 대한 고려 없이 경쟁에서 앞서나가면, 다른 개발자들의 자제가 많은 도움이 되지 않을 수 있다. 따라서 적절한 표준과 모범 사례에 대한 광범위한 합의가 중요하다.

이 논문은 거버넌스를 포함한 AGI 위험에 대한 완전한 접근법의 절반만을 다루고 있다. 거버넌스는 동등하게 중요하며, 어쩌면 더 중요할 수도 있다. 확장된 인공지능 능력의 잠재적 이점은 엄청나지만, 신중하고 철저한 계획 없이는 심각한 위험을 초래할 수 있다. 구글 딥마인드의 접근법은 로드맵이지 해결책이 아니며, 여전히 많은 열린 연구 문제들을 해결해야 한다.

FAQ

Q: 구글 딥마인드가 정의하는 AGI의 심각한 위험이란 무엇인가요?

A: 구글 딥마인드는 인류에게 상당한 해를 끼칠 수 있을 정도로 중대한 사건을 심각한 위험으로 정의합니다. 이는 일상적으로 발생하는 위험보다 훨씬 심각한 수준의 위험을 의미하며, 이러한 위험을 방지하기 위해서는 사전 예방적 접근법이 필요합니다.

Q: '오용'과 '오정렬'의 차이점은 무엇인가요?

A: 오용(misuse)은 악의적인 사용자가 의도적으로 AI 시스템을 이용해 개발자의 의도에 반하는 해로운 행동을 하도록 지시하는 경우를 말합니다. 반면 오정렬(misalignment)은 AI 시스템이 개발자의 의도와 다르게 행동하며, 스스로 해로운 결과를 초래하는 경우를 의미합니다. 오용은 사용자가 악의적인 반면, 오정렬은 AI 시스템 자체가 문제의 원인입니다.

Q: 증폭된 감독(amplified oversight)이란 무엇이며 왜 중요한가요?

A: 증폭된 감독은 인간보다 더 능력 있는 AI 시스템을 효과적으로 평가하기 위한 기술입니다. 기본 아이디어는 AI 시스템 자체를 활용하여 그 이유를 인간이 이해할 수 있도록 만드는 것입니다. 이는 매우 중요한데, 왜냐하면 AI 시스템이 점점 더 강력해지면서 인간 감독자가 AI의 모든 행동을 직관적으로 이해하기 어려워질 수 있기 때문입니다. 디베이트와 같은 증폭된 감독 기술은 이러한 격차를 줄이는 데 도움이 될 수 있습니다.

해당 기사에서 인용한 리포트의 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.