비교하고 잘 사는, 다나와 : 가격비교 사이트

다나와 앱
다나와 앱 서비스 목록
다나와 APP
다나와 가격비교 No.1 가격비교사이트 다나와 앱으로
간편하게 최저가를 확인하세요.
- -
QR코드
빈 이미지
다나와 앱 서비스 목록 닫기

마이크로소프트가 밝힌 AI 안전성의 현주소...인간의 판단이 더욱 중요해진다

2025.01.15. 13:07:20
조회 수
183
6

공유하기

레이어 닫기

지금 보는 페이지가 마음에 든다면
공유하기를 통해 지인에게 소개해 주세요.

로그인 유저에게는 공유 활동에 따라
다나와 포인트가 지급됩니다.

자세히 >

URL이 복사되었습니다.
원하는 곳에 붙여넣기(Ctrl+V)하세요.

레이어 닫기

Lessons from red teaming 100 generative AI products



AI 레드팀이 발견한 8가지 핵심 교훈

마이크로소프트 AI 레드팀(AIRT)이 100개 이상의 생성형 AI 제품을 테스트한 결과를 담은 보고서에 따르면, AI 시스템의 안전성과 보안성 평가를 위해서는 시스템의 기능과 적용 범위에 대한 이해가 선행되어야 한다. 연구팀은 AI 시스템 테스트를 통해 얻은 8가지 주요 교훈을 공개했다. 여기에는 AI 시스템의 기능과 적용 범위 이해, 단순한 기법의 효과성, 보안 벤치마크와의 차별성, 자동화의 중요성, 인간 요소의 필수성, RAI(Responsible AI) 위험의 만연성과 측정의 어려움, LLM이 보안 위험을 증폭시키는 특성, 그리고 AI 시스템 보안의 지속적인 발전 필요성이 포함됐다.

급변하는 AI 보안 위험 지형도

보고서는 AI 보안 테스트의 양상이 크게 변화했음을 보여준다. 2021년에는 보안 취약점 평가가 80%를 차지했으나, 2024년에는 안전성 평가가 80%까지 증가했다. 특히 챗GPT 출시 이후 등장한 AI 코파일럿은 LLM을 다른 소프트웨어 구성 요소와 연결하는 새로운 패러다임을 가져왔다. 현재 AI 레드팀은 모델(24%), 코파일럿(15%), 플러그인(16%), 앱 및 기능(45%) 등 다양한 형태의 AI 제품을 테스트하고 있다.

자동화와 인간 전문성의 조화

연구팀은 복잡해진 위험 평가를 위해 PyRIT이라는 오픈소스 프레임워크를 개발했다. 이 도구는 프롬프트 데이터셋, 자동화된 공격 전략, 다중모달 출력 평가 등 다양한 기능을 제공한다. 그러나 의학, 사이버보안, CBRN(화생방) 등 전문 분야에서는 자동화된 평가만으로는 불충분하며, 해당 분야 전문가의 직접적인 평가가 필수적이라고 강조했다.

실제 사례로 본 AI 시스템의 취약점

연구팀은 여러 실제 사례를 통해 AI 시스템의 취약점을 입증했다. 비전 언어 모델(VLM)에서 이미지를 통한 제어 우회, 텍스트 생성 모델의 성별 편향성, 영상 처리 AI의 SSRF 취약점 등이 발견됐다. 특히 음성합성(TTS)과 결합된 LLM이 사용자를 속이는 시나리오를 시연했는데, 이는 금전적 손실이나 신분 도용으로 이어질 수 있다고 경고했다.



RAI와 보안의 새로운 도전과제

보고서는 RAI 관련 위험이 보안 취약점과 달리 주관적이고 측정이 어렵다는 점을 지적했다. 특히 의도적인 공격자뿐만 아니라 선의의 사용자도 의도치 않게 유해한 콘텐츠를 생성할 수 있다는 점이 강조됐다. 또한 대부분의 AI 연구가 서구 문화권에서 이루어지고 있어, 다른 문화권에서의 위험성 평가를 위해서는 다양한 배경을 가진 전문가들의 협력이 필요하다고 제언했다.

AI 시스템 보안의 미래 과제

연구팀은 AI 시스템의 완벽한 보안은 불가능하며, 대신 공격 비용을 높이는 것이 현실적인 목표라고 제시했다. 이를 위해 '파괴-수정' 주기를 통한 지속적인 개선, 보안 관행 강화를 위한 규제, 방어 중심 설계 등이 필요하다고 강조했다. 현재의 프롬프트 주입 공격이 초기 버퍼 오버플로우처럼 궁극적으로는 광범위하게 완화될 것으로 전망했다.

해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.

기사는 클로드 3.5 Sonnet과 챗GPT-4o를 활용해 작성되었습니다.





AI Matters 뉴스레터 구독하기

공감/비공감

공감/비공감안내도움말 보기
유용하고 재미있는 정보인가요?
공감이 된다면 공감 버튼을, 그렇지 않다면 비공감 버튼을 눌러 주세요!
공감이나 비공감을 선택 하는 경우 다나와 포인트를 적립해 드립니다. ※ 공감 버튼의 총 선택 횟수는 전체 공개입니다. 비공감 버튼의 선택 여부는 선택한 본인만 알 수 있습니다.
최신 일반뉴스 전체 둘러보기
1/1
김주형, PGA 제네시스 인비테이셔널 첫날 1오버파 공동 20위 연합뉴스
에그타르트, '메탈슈츠' PC와 콘솔 멀티플랫폼으로 글로벌 출시 게임동아
컴투스홀딩스. 2024년 '매출 1,493억' 기록 게임동아
“PC 최초 한글화 버전”, 스토브 ‘환일의 요하네’ 정식 출시! 게임동아
넥슨, 2024년 게임사 최초 매출 4조 달성 게임동아
“게임이면 충분하다” 다가오는 밸런타인을 위한 초콜릿 소재 게임들! 게임동아
네오위즈 'P의 거짓' DLC '서곡' 올 여름 온다 게임동아
엔씨소프트 ‘쓰론 앤 리버티’에도 밸런타인데이 이벤트가 찾아왔다! 게임동아
위메이드, '레전드 오브 이미르'의 특별한 매력 주화 경제 시스템 게임동아
넷마블, 4분기 영업이익 352억 원...연간 매출 2조 6,638억 원 달성 게임동아
법원, ‘다크 앤 다커’ 저작권 침해 판결 1심서 "손해배상 금액 85억 인정" 게임동아
‘마비노기 모바일’은 어떤 소통과 감성 보여줄까? 게임동아
유튜버 화제게임 ‘더 스트롱기스트 두부’ 토모조 프로듀서, “스위치 버전, 정식 한글화도 기대해 주세요!” 게임동아
인텔 공인대리점 '별이 된 당신을 기억합니다’ 인텔 정품 CPU 퀴즈 프로모션 (1) 다나와
크로스오버존, 32형 QHD 180Hz 지원 전문가 모니터 무결점 업그레이드 이벤트 다나와
LPGA 투어, 6초만 넘겨도 벌타 주는 새 규정 내달 시행 연합뉴스
PGA 투어 7번 홀 흰색 깃발…우즈 어머니 기리는 조기 연합뉴스
이소미, 유럽여자골프 첫날 7언더파 선두…윤이나는 3언더파 연합뉴스
김성현, KPGA 윈터투어 1회 대회 1라운드 단독 선두 연합뉴스
김아현, KLPGA 드림투어 필리핀 대회 2R 1타 차 단독 선두 연합뉴스
이 시간 HOT 댓글!
1/4