핀란드 탐페레 대학교와 오스트리아 포스트, 노르웨이 신테프 등 14개 기관의 연구진이 스위스에서 열린 XP2025 학회에서 AI와 소프트웨어 개발 방법론 융합의 현실적 문제점들을 조사했다. 이번 연구는 30명 이상의 학계 연구자와 업계 전문가들이 하루 종일 진행한 워크숍을 통해 이뤄졌다.

너무 많은 AI 도구, 개발자 10명 중 7명이 "뭘 써야 할지 모르겠다"

워크숍에서 가장 큰 문제로 지적된 것은 AI 도구 선택의 어려움이었다. 참가자의 73.3%가 "AI 도구가 너무 많아서 어떤 것을 사용해야 할지 명확하지 않다"고 답했다. 연구진은 이 문제의 원인을 시장 경쟁이 너무 치열해서 비슷한 기능의 도구들이 계속 쏟아져 나오고 있기 때문이라고 분석했다. 또한 AI 모델이 자주 업데이트되면서 개발자들의 작업 흐름이 자꾸 바뀌고, 회사에서 특정 도구만 쓰도록 강제하는 경우도 문제가 되고 있다고 밝혔다.

개발자들은 여러 도구 사이를 오가며 작업해야 해서 집중력이 떨어지고 생산성이 오히려 떨어진다고 호소했다. 연구진은 이를 해결하기 위해 도구별 특징을 정리한 가이드를 만들고, 상황에 맞는 도구 선택 방법을 제시할 계획이라고 말했다.

AI와 대화하는 방법 모르는 개발자가 78.6%

가장 높은 득표를 받은 문제는 AI와 효과적으로 소통하는 방법을 모른다는 것이었다. 참가자의 78.6%가 "AI에게 원하는 결과를 얻기 위해 어떻게 질문해야 하는지 모르겠다"고 답했다. 연구진은 AI와 대화하는 것을 "사람 말로 컴퓨터 명령어를 작성하는 것"이라고 표현했지만, 대부분의 회사가 이런 기술을 체계적으로 가르치지 않고 있다고 지적했다.

해결책으로 "그림자 도우미" 개념을 제안했다. 이는 회의나 계획 세우기 과정에서 방해하지 않으면서 조용히 지켜보다가, 나중에 더 나은 방법을 제안해 주는 AI를 의미한다. 이런 도우미가 팀의 목표와 과거 경험을 바탕으로 유용한 조언을 해줄 수 있다고 설명했다.

개인정보와 회사 기밀 유출 우려로 도입 꺼려

참가자의 53.3%가 AI 도구 사용 시 개인정보 보호와 회사 기밀 유출을 가장 큰 걱정거리로 꼽았다. 개발자들은 "AI 서비스 약관에 동의할 때 우리 데이터가 어떻게 처리되는지 정확히 알 수 없다"며 불안감을 표했다. 특히 유럽의 개인정보 보호법인 GDPR과 최근 만들어진 EU AI 법안을 지켜야 하는데, 어떤 것이 위반인지 명확하지 않아 AI 도입을 미루는 회사들이 많다고 조사됐다.

연구진은 이 문제를 해결하기 위해 가짜 데이터나 개인정보를 제거한 데이터로 AI를 안전하게 테스트할 수 있는 환경을 만들 필요가 있다고 제안했다. 또한 AI 관련 법규 준수를 전담하는 직원이 개발팀에 포함되는 경우가 늘고 있다고 밝혔다.

AI가 틀린 답 내놔도 구별 못 하는 개발자 66.7%

AI의 신뢰성 문제도 심각한 것으로 나타났다. 참가자의 66.7%가 "신뢰할 수 없는 출력"을 가장 큰 문제로 지목했다. 할루시네이션(AI가 그럴듯한 거짓 정보를 생성하는 현상), 오래된 컨텍스트 윈도우, 일관성 없는 데이터 스키마가 AI 출력에 대한 신뢰를 훼손하고 있다고 분석됐다.

다른 참가자들은 실시간으로 응답 품질을 판단하는 어려움을 호소했다. 팀들은 결과를 검증하고 교차 확인할 메커니즘 없이는 "여러 LLM에 투자하는 것에 대한 두려움"을 표현했다. 이런 문제들은 소프트웨어 개발의 핵심 원칙인 지속 가능한 속도, 투명성, 고객 중심 가치 제공에 직접적인 위협이 된다고 연구진은 분석했다.

FAQ (※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1: 소프트웨어 개발에 AI 도구를 도입할 때 어떤 기준으로 선택해야 하나요?

A: 어떤 작업을 하는지, 팀이 어떻게 협업하는지, 회사 규정은 무엇인지, 개인정보 보호 규칙은 어떤지를 종합적으로 따져봐야 합니다. 특정 도구 사용법보다는 AI와 대화하는 기본 원리를 익히는 것이 더 중요합니다.

Q2: AI 도구를 쓸 때 회사 기밀이 새 나갈 위험을 어떻게 막을 수 있나요?

A: 실제 고객 데이터 대신 가짜 데이터나 개인정보를 지운 데이터로 먼저 테스트해 보는 것이 좋습니다. 또한 개인정보 보호법에 맞는 데이터 처리 방법을 확실히 하고, 어떤 정보가 어떻게 기록되는지 투명하게 관리해야 합니다.

Q3: AI가 창의적이지 못하다는 문제는 어떻게 해결할 수 있나요?

A: AI는 과거 자료로 학습하기 때문에 평범한 아이디어만 내놓는 경향이 있습니다. 이를 해결하려면 사람과 AI가 함께 작업하는 방식을 만들고, 글자뿐만 아니라 그림이나 코드를 함께 만드는 여러 가지 도구를 조합해서 사용하는 것이 효과적입니다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: AI and Agile Software Development: A Research Roadmap from the XP2025 Workshop

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.