챗GPT 같은 AI가 사람과 똑같이 생각하고 판단할 수 있을까? 과학계량학 연구를 통해 AI와 인간의 사고방식이 근본적으로 다르다는 사실이 밝혀지고 있다. AI는 어떤 일은 사람보다 잘하지만, 깊이 있는 이해나 창의적 판단에서는 한계를 보인다는 것이다.

AI는 글쓰기 천재, 하지만 진짜 의미는 모른다

스위스-덴마크 공동연구팀이 발표한 논문에 따르면, AI와 인간의 가장 큰 차이는 언어를 다루는 방식에 있다. 연구에 따르면 AI는 세 가지 언어 능력에서 서로 다른 수준을 보인다.

첫 번째는 언어 생성 능력이다. AI는 문법적으로 완벽하고 자연스러운 문장을 만드는 데 뛰어나다. 코즐로프스키 연구팀이 GPT-4로 실험한 결과, 연구 주제에 적절한 제목을 붙이는 일에서 정확하고 일관된 결과를 보였다. 이는 AI가 엄청난 양의 텍스트를 학습해서 어떤 단어들이 함께 쓰이는지 패턴을 잘 알고 있기 때문이다.

하지만 두 번째인 의미 이해 능력에서는 문제가 나타난다. AI는 단어의 진짜 뜻을 파악하는 데 한계가 있다. 니시카와와 코시바의 연구에서 GPT가 논문 인용의 목적을 분류하는 실험을 했더니, 겉으로는 일관성 있는 결과를 만들었지만 실제 정확도는 낮았다. AI가 그럴듯한 답을 만들어내지만 실제 의미는 제대로 이해하지 못한다는 뜻이다.

세 번째인 실용적 판단 능력에서 AI의 한계가 가장 크게 드러난다. 텔월과 야기의 연구에서 여러 학술지의 동료심사 점수를 예측하는 실험을 했는데, 결과가 상황에 따라 완전히 달랐다. 어떤 곳에서는 잘 맞췄지만 다른 곳에서는 거의 맞추지 못했다. 이는 AI가 복잡한 상황에서 일관된 판단을 내리기 어렵다는 것을 보여준다.

확률 계산기 vs 창의적 사고자, 근본적 차이 드러나

AI와 인간이 정보를 처리하는 방식도 완전히 다르다. 논문에 따르면 AI는 "분포 가설"이라는 원리로 작동한다. 이는 수많은 텍스트에서 단어들이 어떻게 분포되어 있는지를 분석해서 의미를 추측하는 방식이다. 쉽게 말해 AI는 거대한 확률 계산기처럼 작동한다.

반면 인간 전문가들은 경험을 통해 "직관과 기본 원칙"을 만들어낸다. 그래서 말이 안 되는 주장을 걸러내고 새로운 아이디어를 평가할 수 있다. 이런 차이는 실제 연구 결과에서도 명확히 나타났다.

드 윈터의 연구에서 챗GPT가 논문의 인용 횟수를 예측하는 실험을 했는데, 흥미로운 결과가 나왔다. AI는 과학적 정확성보다는 글의 명확성과 읽기 쉬움을 더 중요하게 봤다. 이는 AI가 내용의 깊이보다는 표면적인 언어 패턴에 더 의존한다는 것을 보여준다.

더 중요한 발견은 AI가 새로운 것을 창조하는 능력이 제한적이라는 점이다. 연구에 따르면 AI는 "기존 데이터의 합의를 바탕으로 결과를 만드는 데는 뛰어나지만, 새로움을 창조하고 가정적 상황을 다루는 성능은 낮다"고 밝혀졌다.

기억은 완벽하지만 실수도 많이 하는 AI

AI의 또 다른 특징은 "할루시네이션"이라는 현상이다. 이는 AI가 그럴듯하지만 틀린 정보를 만들어내는 것을 말한다. 왈터스와 와일더의 연구에서 초기 GPT 모델이 가짜 논문 참고문헌을 55%나 만들어냈다고 발견했다. 최신 버전에서는 18%로 줄어들었지만 여전히 상당한 수준이다.

보른만 연구팀이 천체물리학 분야에서 혁신적인 연구를 찾는 실험을 했을 때도 비슷한 문제가 나타났다. 챗GPT가 중요한 연구들을 어느 정도 찾아냈지만, 동시에 틀린 정보도 만들어내고 같은 질문을 반복해도 다른 답을 주는 불안정성을 보였다.

이런 현상은 AI가 정보를 "암기"하는 방식과 인간이 정보를 "이해"하는 방식의 차이에서 나온다. 인간은 경험과 논리를 통해 말이 안 되는 것을 걸러낼 수 있지만, AI는 확률적 계산에 의존하기 때문에 때로는 그럴듯하지만 잘못된 답을 만들어낸다.

똑똑한 앵무새일 뿐? 인간의 고유 영역은 여전히 존재

연구자들은 AI가 단순한 "확률적 앵무새"를 넘어설 수 있는지에 대해 의문을 제기하고 있다. 산드네스의 연구에서 챗GPT가 유명한 교수들을 얼마나 알아보는지 테스트했더니, 잘 알려지고 많이 인용되는 학자들임에도 불구하고 3분의 1도 제대로 찾지 못했다.

이는 AI가 단순히 패턴을 인식하는 것과 실제로 "아는" 것 사이에 큰 차이가 있음을 보여준다. AI는 텍스트에서 패턴을 찾아내는 데는 뛰어나지만, 그 정보가 실제 세계에서 무엇을 의미하는지는 제대로 파악하지 못한다.

알가바 연구팀의 발견도 흥미롭다. 챗GPT가 논문을 추천할 때 이미 많이 인용된 유명한 연구들을 더 자주 추천하는 경향을 보였다. 이는 AI가 새로운 발견보다는 기존의 인기 있는 정보를 반복하는 경향이 있다는 것을 의미한다.

AI가 바꾸는 학술 글쓰기, 인간의 창의성은 어떻게 될까?

AI의 등장은 학술 글쓰기 자체도 바꾸고 있다. 리앙 연구팀에 따르면 AI가 작성하거나 수정한 문장이 1년 사이에 수학 분야에서 5%, 컴퓨터 과학에서 20%까지 늘어났다.

흥미로운 점은 AI가 "언어적 평등화" 역할을 한다는 것이다. 린 연구팀의 발견에 따르면, 영어가 모국어가 아닌 연구자들이 AI를 사용해서 더 복잡하고 세련된 글을 쓸 수 있게 되었다. 이는 언어 장벽을 줄이는 긍정적인 효과가 있다.

하지만 동시에 우려도 있다. 알수다이스의 연구에서 AI가 만든 글이 더 복잡하지만 읽기 어렵다는 것을 발견했다. 또한 모든 글이 비슷한 스타일로 변할 수 있다는 걱정도 제기되고 있다. 이런 변화는 인간의 고유한 창의성과 비판적 사고가 더욱 중요해졌다는 것을 의미한다. AI는 강력한 도구이지만, 깊이 있는 이해와 창조적 판단은 여전히 인간의 영역으로 남아있다.

FAQ

Q: AI가 사람처럼 생각할 수 있나요?

A: 현재 연구 결과로는 제한적입니다. AI는 글쓰기나 패턴 인식에서는 뛰어나지만, 진짜 의미를 이해하거나 창의적 판단을 내리는 데는 한계가 있습니다. AI는 확률 계산을 기반으로 작동하는 반면, 인간은 경험과 직관을 통해 새로운 아이디어를 만들어낼 수 있습니다.

Q: AI가 만드는 가짜 정보(할루시네이션)는 얼마나 심각한가요?

A: 상당히 개선되고 있지만 여전히 문제입니다. 초기 AI 모델은 가짜 논문 참고문헌을 55%나 만들어냈지만, 최신 버전에서는 18%로 줄어들었습니다. 하지만 여전히 AI가 만든 정보는 반드시 사람이 확인해야 합니다.

Q: AI 때문에 인간의 창의성이 사라질까요?

A: 오히려 인간의 고유한 능력이 더 중요해질 것 같습니다. AI는 반복적인 작업이나 패턴 인식에 뛰어나지만, 깊이 있는 사고와 창조적 판단은 여전히 인간만이 할 수 있는 영역입니다. AI는 도구로 활용하되, 비판적 사고와 창의성은 인간이 담당해야 할 부분입니다.

해당 기사에 인용된 논문 원문은 arxiv에서 확인 가능하다.

논문 명: Generative AI and the future of scientometrics: current topics and future questions

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.