AI와의 대화에서 원하는 답을 얻지 못해 같은 질문을 몇 번이고 반복한 경험이 있는가. 중국 후이저우 대학교(Huizhou University) 컴퓨터과학과 펑강(Peng Gang) 교수 연구팀이 이 문제를 정면으로 다룬 논문을 발표했다. 연구팀은 언론인이 사건을 취재할 때 쓰는 5W3H(무엇을·왜·누가·언제·어디서·어떻게·얼마나·어떤 감정으로) 틀을 AI 프롬프트에 적용하면 사용자가 원하는 결과를 훨씬 빠르게 얻을 수 있다는 사실을 실험으로 입증했다. 논문은 2026년 3월 아카이브(arXiv)에 공개됐다.

'의도 전달 손실', AI 대화의 근본적 한계

사용자가 AI에게 무언가를 요청할 때, 머릿속의 의도가 텍스트로 완벽하게 전달되지 않는 현상을 연구팀은 '의도 전달 손실(Intent Transmission Loss)'이라고 명명했다. 이 문제는 세 가지 방식으로 나타난다.

첫째, 같은 내용을 다른 말로 표현하면 AI의 답변이 크게 달라지는 재현 불가능성이다.

둘째, 한 AI 모델에 최적화된 질문이 다른 모델에서는 엉뚱한 결과를 낳는 모델 간 불일치다.

셋째, 의료·법률·과학처럼 전문적인 분야에서 비전문가가 질문을 제대로 구성하기 어렵다는 전문적 접근성 문제다. 연구팀은 수억 명이 AI를 사용하게 된 지금, 사용자는 자연어로 말하지만 AI는 정밀하게 구성된 지시에 더 잘 반응한다는 근본적인 불일치가 이 문제의 핵심이라고 설명한다.

5W3H로 만든 프롬프트 규격서, PPS의 설계 원리

연구팀이 제안한 해법은 PPS(Prompt Protocol Specification, 프롬프트 규약 명세서)다. PPS는 사용자의 의도를 여덟 개 항목으로 구조화한다. 무엇을(What) 해야 하는지, 왜(Why) 필요한지, 누구를(Who) 위한 것인지, 언제(When)의 정보가 필요한지, 어디서(Where) 사용할 것인지, 어떻게(How-to-do) 접근할지, 얼마나(How-much) 구체적으로 쓸지, 어떤 감정과 문체(How-feel)로 전달할지가 그것이다.

예컨대 "중국 전기차 시장을 분석해줘"라는 단순한 질문 대신, PPS를 적용하면 "자동차 업계 임원을 위한 전략적 의사결정 목적으로, 중국 시장만을 대상으로, 2024년 데이터 기준, 포터의 5가지 경쟁 요인(Porter's Five Forces) 방법론을 활용해, 2,000단어 분량의 전문적이고 데이터 중심적인 분석 보고서를 작성해줘"와 같이 구체화된다.

이렇게 구성된 PPS 문서는 기계가 읽을 수 있는 제이슨(JSON) 형식으로 저장되며, 이를 자연스러운 문장으로 변환하는 렌더링 계층을 통해 현재 AI 모델에 전달된다.

자연어로 변환된 PPS, 팔로업 질문 66% 줄여

연구팀은 PPS의 효과를 측정하기 위해 세 가지 조건을 비교하는 대조 실험을 설계했다. 조건 A는 짧은 자연어 질문, 조건 B는 PPS를 제이슨 형식 그대로 입력, 조건 C는 PPS를 자연스러운 문장으로 변환해 입력하는 방식이다. 비즈니스·기술·여행 세 분야에서 60개 과제를 선정하고, 딥시크-V3(DeepSeek-V3)·큰맥스(Qwen-Max)·키미(Kimi) 세 가지 AI 모델에 각각 제출해 총 540개의 답변을 수집했다.

평가 기준으로는 기존의 과제 완수도·구조·구체성·제약 준수·전반적 품질 다섯 항목 외에, 연구팀이 새로 도입한 '목표 정렬도(goal_alignment)'를 추가했다. 목표 정렬도란 AI의 답변이 사용자의 실제 의도에 얼마나 잘 부합하는지를 측정하는 지표다.

그 결과, 자연어로 변환된 PPS(조건 C)는 단순 질문(조건 A)에 비해 목표 정렬도에서 통계적으로 유의미한 우위를 보였다(p=0.006, 효과 크기 d=0.374). 조건 C에서 목표 정렬도 3점 이하를 받은 비율은 2.8%에 불과했지만, 조건 A에서는 22.8%에 달했다. 20명을 대상으로 한 소규모 사후 설문에서는, 5W3H 시스템 도입 전 평균 3.33회였던 팔로업 질문 횟수가 도입 후 평균 1.13회로 66.1% 줄었다.

구조화 프롬프트가 빛나는 순간, 그리고 역효과가 나는 순간

연구에서 가장 눈에 띄는 발견 중 하나는 PPS의 효과가 과제의 성격에 따라 크게 달라진다는 점이다. 비즈니스 분석처럼 의도가 모호한 영역에서는 조건 C가 조건 A를 큰 폭으로 앞질렀다(효과 크기 d=0.895). "온라인 교육 시장을 분석해줘"라는 질문 하나가 다섯 줄짜리 개요부터 1만 단어 투자 분석 보고서까지 어떤 답변으로도 해석될 수 있기 때문이다. PPS의 '누구를 위한' 항목이 청중을 투자자·학생·운영자로 특정하고, '왜'가 시장 진입 결정 또는 학술 조사인지를 명시함으로써 이 모호함을 크게 줄여준다.

반면 여행 계획처럼 의도가 이미 명확한 영역에서는 오히려 역효과가 나타났다(효과 크기 d=−0.547). "도쿄 여행 일정 짜줘"는 대부분의 사람이 비슷한 의도로 사용하는 표현이라 PPS가 추가한 세부 조건이 오히려 AI의 답변을 채점할 때 불리하게 작용했다. 또한 제이슨 형식의 PPS를 그대로 입력한 조건 B는 대부분의 경우 단순 질문보다도 낮은 성능을 보였다.

모델이 낯선 제이슨 구조를 파싱하는 과정에서 오류가 발생하거나, 지시를 따르는 대신 제이슨 형식으로 답변을 반환하는 문제가 생겼기 때문이다. 이는 구조화된 의도를 자연어로 변환하는 렌더링 계층이 현재의 AI와 소통하는 데 필수적임을 보여준다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q. PPS나 5W3H 방식은 일반 사용자도 쉽게 사용할 수 있나요? A. 네, 연구팀은 사용자가 핵심 요청(무엇을)만 입력하면 나머지 일곱 가지 항목을 AI가 자동으로 채워주는 의도 확장 알고리즘을 구현했습니다. 사용자는 AI가 작성한 초안을 검토하고 필요한 부분만 수정하면 됩니다. 설문 응답자의 85%가 AI가 자동 생성한 8가지 항목 초안을 '정확하다' 또는 '매우 정확하다'고 평가했습니다.

Q. 구조화 프롬프트가 모든 종류의 AI 질문에 효과적인가요? A. 그렇지 않습니다. 이번 연구에 따르면 비즈니스 분석이나 기술 설명처럼 의도 해석의 여지가 넓은 복잡한 과제에서 효과가 크게 나타납니다. 반면 여행 일정 작성이나 단순 번역처럼 의도가 명확한 과제에서는 오히려 성능이 낮아질 수 있어, 선택적으로 사용하는 것이 권장됩니다.

Q. AI 평가에서 '제약 준수 점수'가 높다고 좋은 답변을 의미하나요? A. 반드시 그렇지는 않습니다. 이번 연구는 제약 조건이 없는 단순한 질문의 경우 제약을 어길 것 자체가 없어 제약 준수 점수가 자동으로 만점이 된다는 '측정 비대칭' 문제를 지적했습니다. 진정한 답변 품질은 사용자의 실제 의도에 얼마나 부합하는지를 기준으로 평가해야 하며, 연구팀이 새로 도입한 '목표 정렬도' 지표가 이를 더 잘 반영합니다.

기사에 인용된 리포트 원문은 아카이브(arXiv)에서 확인할 수 있다.

리포트명: Evaluating 5W3H Structured Prompting for Intent Alignment in Human-AI Interaction

이미지 출처: AI 생성 콘텐츠

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.