Navigating the Jagged Technological Frontier: Field Experimental Evidence of the Effects of AI on Knowledge Worker Productivity and Quality

AI의 양날의 검: 생산성 25% 향상, 잘못 사용 시 정확도 19% 하락

대규모 언어 모델(LLM) 기술의 공개 이후, 인간이 인공지능(AI)을 어떻게 활용하여 다양한 작업을 수행할 것인지에 대한 관심이 폭발적으로 증가했다. 하버드 비즈니스 스쿨과 글로벌 경영 컨설팅 회사인 보스턴 컨설팅 그룹(BCG)이 공동으로 수행한 이번 연구는 현실적이고 복잡한 지식 집약적 작업에서 AI가 성과에 미치는 영향을 조사했다. 사전 등록된 이 실험에는 BCG의 개인 컨설턴트 중 약 7%에 해당하는 758명의 컨설턴트가 참여했다.

연구진은 유사한 작업에서의 기준 성과를 확립한 후, 참가자들을 세 가지 조건 중 하나에 무작위로 배정했다: AI 접근 없음, GPT-4 AI 접근, 또는 프롬프트 엔지니어링 개요와 함께 GPT-4 AI 접근. 연구진은 AI의 능력이 "들쭉날쭉한 기술적 경계선"을 만든다고 제안했다. 이 경계선에서는 일부 작업은 AI가 쉽게 수행할 수 있지만, 난이도가 비슷해 보이는 다른 작업은 현재 AI의 능력 범위 밖에 있다.

AI 능력 경계선 내에 있는 18개의 현실적인 컨설팅 작업에서, AI를 사용한 컨설턴트들은 생산성이 크게 향상되었다. 그들은 평균적으로 12.2% 더 많은 작업을 완료했고, 작업을 25.1% 더 빨리 완료했다. 또한 대조군에 비해 40% 이상 높은 품질의 결과물을 만들어냈다. 기술 분포 전반에 걸쳐 모든 컨설턴트가 AI 보강으로부터 상당한 혜택을 받았는데, 평균 성과 임계값 이하의 컨설턴트는 43%, 이상인 컨설턴트는 17% 향상된 성과를 보였다.

그러나 경계선 밖에 있도록 선택된 작업의 경우, AI를 사용한 컨설턴트는 AI 없이 작업한 컨설턴트에 비해 정확한 솔루션을 생성할 가능성이 19% 포인트 낮았다. 이는 AI가 인간의 작업 성과를 향상시키는 동시에, 잘못 활용될 경우 성과를 저하시킬 수도 있음을 보여준다.

인간-AI 협업의 두 가지 패턴: '센토르'는 작업 분배, '사이보그'는 완전 통합

분석 결과는 인간-AI 통합 스펙트럼을 따라 성공적인 AI 사용의 두 가지 독특한 패턴이 등장했음을 보여준다. 이 패턴은 '센토르(Centaur)'와 '사이보그(Cyborg)'라는 개념으로 설명된다.

'센토르'는 그리스 신화에 나오는 반인반마 생물처럼, 작업을 AI와 자신에게 분배하고 위임하는 방식으로 작업한다. 이들은 AI와 인간의 상대적 강점을 인식하고, 이에 따라 작업을 나눠 수행한다. 예를 들어, 글쓰기나 아이디어 생성과 같은 작업은 AI에게 맡기고, 분석이나 전략적 판단이 필요한 작업은 스스로 수행하는 방식이다.

반면, '사이보그'는 과학 소설에 나오는 인간-기계 혼합체처럼, AI와 완전히 통합된 작업 흐름을 보이며 기술과 지속적으로 상호작용한다. 이들은 AI와 작업을 명확하게 구분하지 않고, 세부 작업 수준에서도 AI와 긴밀하게 협력한다. 예를 들어, 문장을 시작하고 AI에게 완성을 요청하거나, AI와 함께 작업하는 방식으로 나타난다.

모든 실력 수준에서 효과: 평균 이하 43%, 평균 이상 17% 성과 향상

연구 결과에 따르면, AI 경계선 내에 있는 작업에서 AI는 지식 노동자의 성과를 크게 향상시켰다. AI를 사용한 집단은 대조군보다 평균 40% 이상 높은 품질의 결과물을 생성했으며, 생산성도 크게 향상되었다. 또한 AI는 컨설턴트들이 12.2% 더 많은 작업을 완료하도록 도왔다.

특히 주목할 점은 AI가 모든 기술 수준의 컨설턴트에게 혜택을 주었다는 것이다. 평균 성과 미만인 컨설턴트들은 43%의 성과 향상을, 평균 이상인 컨설턴트들도 17%의 성과 향상을 경험했다. 이는 AI가 기술 격차를 줄이는 동시에 모든 수준의 작업자 성과를 향상시킬 수 있음을 시사한다.

AI의 맹점: '판단의 포기'가 성과를 저하시키는 비결

그러나 AI 능력 범위를 벗어난 작업에서는 AI가 오히려 성과를 저하시킬 수 있음이 밝혀졌다. 경계선 외부에 있는 작업에서 AI를 사용한 컨설턴트는 정확한 솔루션을 제공할 가능성이 AI 없이 작업한 컨설턴트보다 19% 포인트 낮았다. 이는 AI가 모든 종류의 작업에 무조건적으로 도움이 되는 것은 아니며, 잘못된 상황에서 사용될 경우 오히려 성과를 저하시킬 수 있음을 보여준다.

특히 참가자들 중 일부는 AI 출력을 비판적으로 평가하지 않고 그대로 수용하는 경향을 보였으며, 이런 '판단의 포기' 현상은 AI의 오류를 증폭시킬 수 있다는 점이 드러났다. 이는 AI를 사용할 때 인간의 판단과 전문성이 여전히 중요하다는 것을 강조한다.

아이디어 품질은 높아지고 다양성은 감소: AI 활용의 양면성

연구팀은 또한 AI 사용이 아이디어의 다양성에 미치는 영향을 분석했다. 그 결과, AI를 사용한 참가자들은 더 높은 품질의 아이디어를 생성했지만, 아이디어 간의 의미론적 유사성이 높아져 다양성이 감소하는 경향이 있었다. 이는 AI가 창의적 작업의 품질은 향상시키지만, 집단 차원에서 아이디어의 다양성을 감소시킬 수 있음을 시사한다.

이러한 발견은 조직이 혁신을 추구할 때 중요한 함의를 지닌다. AI가 개인의 생산성과 작업 품질을 향상시키는 긍정적 영향이 있지만, 동시에 아이디어의 동질화를 초래할 수 있어 조직 차원에서는 적절한 균형을 찾는 것이 중요할 수 있다.

FAQ

Q: AI는 지식 노동자의 모든 업무 성과를 향상시킬까요?

A: 아니요, AI는 그 능력 '경계선' 내에 있는 작업에서는 성과를 크게 향상시키지만, 경계선 외부의 작업에서는 오히려 성과를 저하시킬 수 있습니다. 연구 결과에 따르면, AI를 사용한 컨설턴트들은 AI 능력 범위 내의 작업에서는 40% 이상 높은 품질의 결과를 보였지만, 범위 외의 작업에서는 정확한 솔루션을 제공할 가능성이 19% 포인트 감소했습니다.

Q: '센토르'와 '사이보그' 방식의 AI 활용이 무엇인가요?

A: '센토르' 방식은 인간이 AI와 자신의 강점에 따라 작업을 분배하는 방식입니다. 예를 들어, 글쓰기는 AI에게, 분석은 인간이 수행하는 식이죠. '사이보그' 방식은 인간과 AI가 세부 수준에서 완전히 통합되어 작업하는 방식으로, 지속적인 상호작용을 통해 결과물을 만들어냅니다. 두 방식 모두 AI를 효과적으로 활용하는 전략이지만, 작업의 성격과 개인의 스타일에 따라 효과가 달라질 수 있습니다.

Q: AI 사용이 아이디어의 다양성에 어떤 영향을 미치나요?

A: 연구 결과, AI를 사용한 참가자들은 더 높은 품질의 아이디어를 생성했지만, 아이디어들 간의 의미론적 유사성이 증가해 다양성이 감소하는 경향이 있었습니다. 이는 AI가 개인의 성과는 향상시키지만, 조직 전체의 아이디어 다양성에는 부정적인 영향을 미칠 수 있음을 시사합니다. 따라서 조직은 AI 사용이 가져올 품질 향상과 다양성 감소 사이의 균형을 고려해야 합니다.

해당 기사에서 인용한 리포트 원문은 링크에서 확인할 수 있다.

이미지 출처: 이디오그램 생성

기사는 클로드와 챗GPT를 활용해 작성되었습니다.