[IT동아 남시현 기자] “지금 현재 GPU 활용의 10%~20%가 학습에 쓰이고, 나머지는 모두 추론에 할당됩니다. 컴퓨팅 자원으로 AI 모델을 생성하는 과정이 학습이고, 만들어진 모델에게 질의를 보내고 응답을 받는 과정이 추론입니다. 프렌들리AI는 추론을 효율적으로 처리하는 기술을 갖췄으며, 이를 가장 깊게 다루는 글로벌 기업이라 말할 수 있습니다”

2025년 8월 기준, 허깅페이스에 등록된 AI 모델 숫자는 193만 3683개에 달한다. 전 세계의 모든 오픈소스 기반 AI 모델과 데이터셋이 허깅페이스를 거쳐 공유됩니다. 이 과정에서 사용자가 AI 모델을 배포하기 위해서는 추론 인프라 제공 기업을 선택해야 하는데, 어떤 업체를 고르는지에 따라 최종 서비스 효율과 요금이 모두 다르다. 그중에서도 가장 주목받는 추론 서비스 제공자가 바로 프렌들리AI(FriendliAI)다.

지난 1월에는 스타트업인 프렌들리AI가 허깅페이스와 전략적 파트너십을 맺고 공식 배포 옵션으로 추가되었으며, 3월에는 프렌들리AI가 멀티모달 AI를 지원하며 도입 범위를 한층 넓히기도 했다. 현재 프렌들리AI가 지원하는 AI 모델은 190여만 개 중 41만 8000개에 달한다. 그 만큼 기업의 중요성과 인지도는 높아지고 있다. 전병곤 프렌들리AI 대표를 만나 프렌들리AI의 주요 목표와 방향성, 그리고 스타트업으로서의 프렌들리AI에 대해 이야기를 나누어 보았다.

“서비스의 핵심은 자체 최적화 기술, 컨티뉴어스 배칭”

전병곤 프렌들리AI 대표는 2013년부터 서울대학교 컴퓨터공학부 교수로 재직하면서, 2021년 1월 교원창업으로 프렌들리AI를 설립했다. 그는 서울대학교 전자공학과를 졸업한 뒤 스탠퍼드 대학교, UC 버클리에서 컴퓨터 과학 석사 및 박사를 취득했고, 이후 인텔, 야후 리서치, 마이크로소프트 등 AI 관련 요직을 거친 뒤 다시 한국으로 돌아왔다. 전병곤 대표는 “2013년부터 인공지능 소프트웨어 관련 연구를 해왔고, 연구소를 벗어나 현실적으로 쓸 수 있는 연구 주제에 관심을 갖고 도전했다. 프렌들리AI도 연구결과를 사업화한 좋은 사례”라고 소개했다.

창업 계기로는 “학계에서 할 수 있는 것, 기업에서 할 수 있는 것은 명확하게 다르다. 학교에서 연구하고 논문을 써서 알리는 것 정도의 파급력도 좋지만, 논문에서 그치지 않고 제품으로 만들어 세상에 더 큰 영향을 미치고 싶다는 목표를 잡았다. 오늘날 프렌들리AI의 미션은 가속화된 추론을 누구나 접근할 수 있게 하자는 것이며, 창업을 통해 그런 목적을 꾸준히 달성하고 있다”라고 소개했다.

프렌들리AI가 추론 분야를 선도하며 최초로 개발한 핵심 기술은 요청된 작업을 처리할 때 끊임없이 데이터를 처리하는 '컨티뉴어스 배칭(Continuous Batching)'이다. 전병곤 대표는 "우리가 발표한 논문 중에서 AI 추론의 가장 중심에 자리한 기술이 컨티뉴어스 배칭이다. 컨티뉴어스 배칭은 LLM 추론 산업의 시작점이라고 말할 수 있으며, 업계에서는 이 기술의 등장 이전과 이후로 나눌 만큼 그 중요도가 높다. LLM용 오픈소스 코드인 vLLM도 컨티뉴어스 배칭 기술 덕분에 탄생했다. LLM 분야에서는 표준 규격화 되었다”라고 덧붙였다

이어서 “프렌들리AI의 경쟁력은 GPU에서 수행하는 코드를 최적화한 자체 커널 라이브러리나 동적으로 변하는 텐서의 효율적 처리, 양자화와 멀티모달 캐싱과 관련된 고유의 최적화 기법 등 독자적인 기술력을 바탕으로 한다. 파이어웍스 등의 경쟁사는 vLLM을 수정해서 쓰는 편이나, 프렌들리AI는 독자적인 런타임을 사용하므로 근본적으로 우위에 있을 수 밖에 없다. 지금은 시장을 선도하는 기업이지만 이 기세를 이어나가기 위해 꾸준히 연구개발과 고도화를 하고 있다”라고 답했다.

기술 생태계 확보를 위한 프렌들리AI의 노력들

올해부터 이들은 AI 생태계에 기여할 새로운 프로젝트를 시작했다. 대표적인 사례가 지난 6일 공개된 AI 평가 플랫폼 '와바(World Best AI, WBA)'다. 와바는 다양한 오픈소스 언어 모델을 블라인드 테스트하는 서비스로, 누구나 접속하여 대형언어모델의 성능을 직접 평가할 수 있다. 사용자는 동일한 질문에 대한 두 AI의 답변을 비교해 어느 쪽이 더 우수한지, 또는 비슷한 수준인지 선택한다. 선택 후에는 각각 어떤 모델인지 공개된다.

현재 대부분의 AI 성능은 정해진 문제를 해결하는 벤치마크로만 평가되고 있다. 벤치마크 점수가 높은 AI도 실제로 활용해보면 체감 성능이 떨어지는 경우가 발생한다. 와바를 활용한 블라인드 평가는 실제 사용 환경에서 특정 AI 모델이 다른 모델과 비교해 얼마나 우수한 사용성을 갖췄는지 직관적으로 파악할 수 있는 접근법이다.

기술적 혁신도 계속되고 있다. 지난 7월 말에는 온라인 양자화(Online Quantization) 기능을 서비스에서 쓸 수 있게 공개했고, 지난주에도 N-그램 추측 디코딩(N-gram Speculative Decoding) 기능도 서비스에 출시했다. 양자화는 AI 모델의 정밀도를 낮춰 메모리와 작업 효율을 끌어올리는 기법인데, 일반적으로 AI 모델을 빠르게 처리하기 위해서는 사전에 양자화 처리를 거쳐 업로드해야 하지만, 프렌들리AI 고유의 기술을 통해 엔드포인트에서 바로 모델 품질을 유지하면서 빠르게 수행하는 양자화를 할 수 있다. N-그램 추측 디코딩은 텍스트를 고정된 길이의 조각으로 나누는 ‘N-gram’ 패턴을 활용해 모델 변경 없이 추론 속도를 높이는 기술이다.

이처럼 프렌들리AI는 빠르게 발전하는 AI 시장의 흐름에 발맞춰 꾸준히 신기술을 시장에 내놓고 있고, 이것이 다른 경쟁사 대비 우위를 유지할 수 있는 핵심 요인이다.

일류 AI 기업들 고객사지만 마케팅부터 연구개발에 지속

허깅페이스를 비롯한 많은 기업들의 러브콜을 받고 있지만, 전병곤 대표는 초심을 잃지 않은 모습이다. 전병곤 대표는 “사업을 처음 시작했을 때는 맨손으로 실리콘 밸리로 건너가 고군분투했다. 그때 느낀 점은 AI 생태계 안에서 함께 성장하며 중요한 역할을 해내야 한다는 것이었고, AI 추론과 관련해 가장 효과적인 경로가 무엇일까 고민하다가 허깅페이스와 손을 잡았다. 그렇게 생태계 안으로 들어가서 핵심 기업으로 떠올랐고, 인지도를 올려 지금에 이르렀다”라고 답했다.

그러면서 “해외 영업, 비즈니스 모델 고도화를 위한 고용을 계속하고 마케팅도 꾸준히 하고 있다. 인바운드 마케팅은 허깅페이스나 구글 광고, 링크드인 등으로 유입되는 편이다. 아웃바운드는 이제 실리콘밸리 콘퍼런스나 초대를 많이 받고 있다. 6월에도 웨이츠앤드바이어시스(W&B)의 풀리 커넥티드(Fully connected), 어라이즈AI(Arize AI)의 옵서브 2025에 참가해 발표를 진행했다. 해커톤이나 커뮤니티 빌딩 등 효과가 발생적인 행사에 참가하는 중”이라고 답했다.

국내에서도 수많은 AI 기업들이 프렌들리AI와 협력 관계다. 전병곤 대표는 “주요 고객사로는 SK텔레콤이나 KT, 업스테이지, LG AI연구원, 트웰브랩스, 스캐터랩 등을 먼저 말씀 드릴 수 있다. 예를 들어 업스테이지가 고객사에게 솔라 LLM 추론 기능을 서비스할 때 우리가 이 과정을 돕는다. 최근에 발표된 LG AI연구원의 엑사원 4.0도 우리 플랫폼을 통해 GPT 대비 10분의 1 가격으로 서비스된다”면서, “10분의 1이 가능한 이유는 모델 자체도 경량이고, 타사 대비 빠르고 효율적으로 GPU를 활용하는 덕분”이라고 답했다.

하나의 목표에 집중하고, 솔직하고 협력하는 기업 문화 만들어

화제를 바꿔 기술 기업이 아닌 스타트업으로서 프렌들리AI의 조직 문화란 어떤지 질문했다. 전병곤 대표는 “스타트업은 변화가 많은 환경이다. 목적을 설정하고 가더라도 시장에서 새로운 신호가 포착되면 경로를 수정하거나 새로운 목표를 잡아야 한다. 또한 변하는 환경에서 새로운 것들을 빠르게 습득하려면 기술에 대한 탐구정신을 잘 갖춰야 한다”라고 설명을 시작했다.

또한 “스타트업에서는 각자에게 할당된 일도 중요하지만, 그렇지 않은 것도 스스로 정의하고 찾아서 수행하는 자세도 필요하다. 개인적인 성취를 넘어서 다 함께 만들어내는 결과를 중시하는 팀 협업도 중요하다. 내부적으로 체계가 갖춰져 있으면 좋겠으나 시장 상황이 워낙 빠르다 보니 잘 적응하고, 잘 정의해서 업무를 수행하는 마음가짐이 필요한 상황”라고 덧붙였다.

현재 조직 구성과 관련해서는 “기존에도 뛰어난 개발 경력자가 많았는데, 최근에는 AI 모델 수행 최적화 관련한 경력자들도 합류하고 있다. 24시간 내내 서비스가 안정적으로 수행될 수 있도록 하는 인프라 엔지니어들도 있고, 시스템 디자인이나 사용자 경험 부문 멤버들도 있다. 개발자들이 직관적이고 쉽고, 쓰기 편한 것을 선호하다 보니 이런 부분을 강조한다. 최근에는 미국에서도 구인 중”이라고 설명했다.

전병곤 대표는 “프렌들리AI는 각자의 멤버들이 자신만의 목표에 집중할 수 있도록 돕고, 자기 주도성의 가치를 믿는 문화다. 그리고 서로에게 솔직하게 얘기하는 것, 할 수 있는 것과 어려운 것들을 모두가 함께 해결하는 것을 미덕으로 삼는다. 서로 소통하고 협력해서 성공하자는 게 우리의 목표”라고 설명했다.

올 4분기 ‘프렌들리 에이전트’ 공개할 것··· 투자 라운드도 생각

프렌들리AI의 다음 목표는 AI 에이전트이며, 그 다음 방향까지 윤곽이 잡혀있다. 전병곤 대표는 “현재 매출은 안정적이고, 사업 규모를 확대하기 위한 준비가 필요하다. 프렌들리스위트를 시장에 널리 알리는 게 계획이며, 올해 4분기 중에는 우리 역시 AI 에이전트도 출시할 예정이다. 이 모델은 에이전트 레이어에서 추론 기능을 제공할 예정이다. 또한 새로운 형태의 GPU를 지원할 예정이며, 제품 측면에서도 출시를 준비하고 있는 게 많다. 북미 시장에서의 매출 목표도 달성하고, 내년에는 그다음 투자 라운드도 돌입할 생각”이라고 답했다.

마지막으로 전병곤 대표는 프렌들리AI를 ‘태풍의 눈 속에 있는 기업’이라 지칭했다. 전병곤 대표는 “프렌들리AI는 인공지능이라는 세계적 소용돌이에서 중심에 있는 기업 중 하나다. 국내에서는 가장 중심지에 맞닿아 있는 기업이라 생각한다. 태풍의 눈은 그 중심은 고요하지만 멈춰있다면 휩쓸리기 마련이다. 그렇지 않기 위해서 태풍이 움직이는 방향을 잘 따라가면서, 끝까지 살아남아서 AI 시장의 모든 퍼즐을 맞추는 데 필요한 기업이 되겠다는 마음가짐으로 프렌들리AI를 이끌겠다”는 각오를 밝혔다.

IT동아 남시현 기자 (sh@itdonga.com)