세계 최대 AI 연구소인 오픈 AI가 최근 공개한 AI 모델인 GPT-3.5의 대화형 AI 서비스 'Chat GPT'가 화제다.
Chat GPT는 이용자와 실시간으로 대화할 수 있는 AI 챗봇 서비스 중 하나다.
동시에 GPT-3의 방대한 데이터 처리 능력을 바탕으로 기존 AI 챗봇을 압도하는 성능을 보여준다. 여기에다 GPT-3의 단점으로 지적되던 '기계스러움'을 벗어던지는데 성공했다. 성능 자체는 기존 GPT-3와 큰 차이가 없지만 사람과 자연스러운 대화가 가능하다. 실제로 Chat GPT를 이용한 대화를 보면 AI의 대답이라고 생각하기 힘든 결과물이 많다.
해외에선 Chat GPT가 사람 수준의 농담을 하거나(GPT-3는 농담을 거의 하지 못 했다), 개발자가 만든 코드의 오류를 순식간에 잡아내는 사례도 올라오고 있다.
IT 업계에선 Chat GPT가 보여주는 수준이면 구글 같은 검색 서비스를 대체할 가능성이 있다고 평가한다. 지금 AI 챗봇으로도 필요한 정보를 확인할 수 있지만, 검색 포털 서비스를 대체할 정도는 아니다. 하지만 Chat GPT처럼 자연스러운 대화가 가능한 AI 서비스라면 검색을 대체할 수 있겠다는 평가다. Chat GPT의 데이터 처리나 학습이 이전 버전과 어떻게 다르기에 이런 결과물이 나왔는지 원리와 함께 살펴보자.
문장을 생성하는 AI GPT
GPT는 '사전 학습형 문장 생성 변환기(Generative Pre-trained Transformer)'의 약자로
미국 OpenAI가 자연어 처리를 위해 개발한 심층 학습 모형 Transformer에게 사전 학습을 제공해 자연스러운 문장을 산출하도록 튜닝한 인공지능 언어 모형이다. 2018년 처음 공개된 GPT-1은 매개변수 1억 1700만 개를 활용했으며, 2019년 공개된 GPT-2는 15억 개, 2020년 공개된 GPT-3는 1750억 개를 활용했다. 매개변수의 수가 늘수록 인공지능의 성능은 크게 향상된다.
문장을 생성하는 AI는 '질문에 답하기', '대화하기', '자연스러운 문장 만들기' 같은 다양한 목표를 추구한다.
GPT는 그중 '자연스러운 문장 만들기'를 연구 목표로 삼았다. 예를 들어 약 45TB의 대규모 텍스트 데이터를 사전 학습한 GPT-3는 '내일 날씨는'이라는 단어열이 주어질 경우, 다음에 오는 단어의 확률은 맑음:40%, 흐림:30%, 비:15%, 밝은:5%, 기쁜:5%, 맛있는:3% 이므로 ‘내일 날씨는' 뒤에 '맑음', '흐림', '비'가 들어갈 확률은 높지만, '밝다', '기쁘다', '맛있다', 는 확률이 낮다고 추론한다. GPT-3는 이렇게 어떤 단어 다음에 오는 단어를 높은 정확도로 예측해 나가 자동으로 문장을 완성한다.
간단한 대화나 질문이라면 몰라도, 일정 수준 이상의 복잡한 문장을 만들려면 해당 내용에 관한 지식이나 상식이 어느 정도 필요하다. 적절한 지식이 없으면 문법적으로 자연스럽지만 의미없는 문장을 나열하는데만 그친다.
GPT-3는 방대한 데이터베이스를 효율적으로 다룰 수 있는 학습 모델 '트랜스포머(Transformer)'로 이 문제를 해결했다.
트랜스포머의 핵심 기술은 신경망 알고리즘 '어텐션(Attention)'이다. 영어로 '주의'를 의미하는 Attention은 인공지능이 '어디에 주목해야 하는가'에 관여하는 알고리즘으로 각 '단어'나 '문장'중 어디가 중요하고, 어떤 관계성에 중점을 둬야 하는지 살핀다. 종래의 문장 생성 인공지능은 제공받은 문장을 순서대로 읽고 학습해 모든 단어와 문장을 살펴본 후, 단어와 문장의 전체적인 관계를 파악하는 식으로 작동했다. 그러나 이러한 방식은 원리적으로는 결함이 없지만, 방대한 지식과 데이터 양을 처리하기에 적합하지 않아 실용적인 수준에 도달할 수 없었다.
어텐션 알고리즘은 문장의 '요점'을 구분하는 식으로 방대한 데이터를 종래의 방식보다 빠르고 정확하게 학습할 수 있다. 트랜스포머는 어텐션의 도움을 받아 사용자에게 입력받은 문장 각 성분의 중요성을 평가하고, 중요한 부분에 더 많은 가중치를 부여해 다양한 길이의 문장을 효과적으로 처리한다. Chat GPT는 문구와 핵심 단어, 가치 같은 문장의 구성 요소를 동시에 주목하는 '멀티 어텐션' 기능을 강화해 다른 유형의 정보를 빠르게 파악할 수 있게 됐다.
사진3. Transformer 알고리즘이 작동하는 방식. (출처: arXiv)
Chat GPT는 당신의 문장을 이해하지 못한다
새롭게 도입된 멀티 어텐션과 강화된 트랜스포머는 Chat GPT를 구성하는 중요한 요소이자 자연어 처리 분야를 크게 발전시킨 획기적인 아이디어다. 그러나 이 기술들은 '언어 처리를 효율적으로 해낼 가능성'을 열어줬을 뿐, AI에 의한 자연어 처리의 기본 원리는 신경망에 의한 자연어 처리 연구를 시작하던 무렵에 제안했던 '단어의 벡터화(Word to Vector)'와 크게 다르지 않다.
'단어의 벡터화'는 모든 단어를 수치 매개변수로 나타낸 후, 단어가 모인 문장을 변수 사이의 통계적 관계성 문제로 대체해 신경망으로 처리하면 아무리 복잡한 문장이라도 처리할 수 있다는 아이디어다. GPT-3는 트랜스포머로 '단어의 벡터화'를 효율적으로 행하고, 종래 학습 모델보다 방대한 파라미터를 사용해 능력을 실용적으로 활용할 수 있을 정도까지 끌어올렸다.
그중 Chat GPT는 GPT-3의 여러 기능 중 채팅 기능을 강화한 특수판에 해당하며, 학습 도중에는 인간의 도움을 받는다. 실험자가 주어진 질문에 대한 모범 답안을 작성하면, 그들을 학습해 몇 가지 응답 후보를 만든다. 각각의 응답에 실험자가 점수를 매기면, 이를 토대로 더 나은 대답과 그렇지 않은 대답을 구분하는 식으로 채팅 능력을 강화한다.
이처럼 Chat GPT는 기본적으로 모든 문장을 문장 성분의 관계성으로 이해하기 때문에, 단어나 문장의 의미, 지식을 다루는 방법은 고려하지 않는다. 단순히 '오늘 날씨가 좋네요.'라는 문장을 입력하면, 이와
관계성이 깊은 문장을 찾고 그 다음에 이어질 확률이 높은 단어를 나열한다. 단순하지만 그 단순성 덕분에 어떠한 질문에도 자연스럽게 답할 수 있고 응용도 간단하다.
이 방식은 때때로 말의 의미를 이해하고 지식이 있는 사람이라면 '부자연스럽다'고 느낄 문장을 생산할 수 있다. 하지만 얼마 안 가 Chat GPT는 우리의 도움을 받아 점점 더 자연스러운 문장을 만들 수 있을 것이다. Chat GPT를 사용하려면 OpenAI 사가 요구하는 약정에 동의해야 하는데,
약정에는 Chat GPT와 주고받는 대화를 인공지능의 학습에 활용할 수 있다는 문구가 들어있다. 연구팀은 문화적 배경이나 고도의 문맥적인 이해를 필요로 하는 복잡한 상황이라도 Chat GPT가 사람과 대화를 주고받으면서 충분히 축적한 데이터 덕에 자연스러운 문장을 만들어 낼 수 있으리라 기대한다.
글: 이형석 과학칼럼니스트/ 일러스트: 유진성 작가
<저작권자 ⓒ 과학향기(http://scent.ndsl.kr) 무단전재 및 재배포금지>
