지난해 생성형 AI가 전 세계를 뜨겁게 달구면서, 전 세계 빅테크 기업들이 AI 개발에 집중하고 있다. 마이크로소프트는 오픈AI를 인수한 뒤 ‘코파일럿’ 등을 공개하는 등 생성형 AI 대중화에 나섰고, 구글은 생성형 AI 바드에 이어 범용 생성형 AI 모델 ‘제미나이’를 선보이는 등 시장 공략에 집중하고 있다. 두 기업의 매출과 실적은 선방했으나, 시장에서는 생성형 AI를 비롯한 AI 산업의 가치와 가능성에 더 큰 역할을 주문하고 있다.

글로벌 대세 된 AI 개발, 빅테크 기업 현황은?

현재 AI 산업의 중심에는 엔비디아가 있다. 엔비디아는 주력 제품인 그래픽 카드로 서버용 AI 하드웨어 시장에서 70% 이상의 점유율을 갖고 있으며, 올해에는 성능을 더 높인 H200 및 GH200을 통해 시장지배력을 더 강화한다. 하지만 엔비디아 제품의 품귀 현상으로 인해 가격대 성능비가 떨어지고, 또 GPU의 구조적 한계로 인한 낮은 와트당 성능으로 인해 기업들은 AI 가속기를 자체 제작하는 상황이다.

마이크로소프트는 지난해 1월 Arm 아키텍처를 기반으로 한 자체 AI 칩 ‘마이아100’을 공개했고, 구글도 주문형 반도체인 TPU v5e를 자사 클라우드에 탑재하기 시작했다. 클라우드 1위 사업자인 AWS 역시 트레이니엄과 인퍼런시아, 그래비톤 등을 여러 세대에 걸쳐서 업그레이드하고 있으며, LLM 시장에 주력하고 있는 메타 역시 메타 트레이닝 및 추론 가속기(MTIA)로 엔비디아 칩 대체에 나선다.

AI 개발 및 수요가 많은 기업이 자체 반도체를 만드는 이유는 자사 서비스에 최적화된 반도체를 만드는 것은 물론, 도입 단가를 낮춰 가격대 성능비를 끌어올리기 위함이다. 하지만 자체 개발 및 도입 용도다 보니 판매는 고려하지 않는 경우가 많고, 이로 인해 일반 AI 개발 기업들은 비싼 값에 엔비디아 제품을 쓰거나 혹은 대체재의 등장을 기대하고 있다. 2024년, 전 세계 각국의 AI 반도체 스타트업과 상황을 면밀히 살펴본다.

미국 빅테크 사이에서도 우뚝 선 ‘셀레브라스’

미국은 AWS, 구글, 마이크로소프트 등 클라우드 기업은 물론 인텔, AMD 등 반도체 기업들도 AI 하드웨어 시장에 뛰어든 상황이다. 그런데 AI 스타트업도 세계 최고 수준이다. 이미 엣지 AI 분야에서 크네론(Kneron), 생성형 AI 반도체를 만드는 디-매트릭스(d-Matrix), 임베디드 엣지용 머신러닝 시스템을 개발하는 시마ai(SiMa.ai) 등 다양한 기업들이 선전하고 있고, 그중에서도 가장 주목도가 높은 기업은 셀레브라스 시스템즈(Cerebras Systems)다.

셀레브라스는 GPU 기반의 AI 서버, 슈퍼 컴퓨터를 대체하기 위한 하이퍼 스케일 시스템을 주력으로 한다. 제품은 2조 6천억 개의 트랜지스터를 내장한 초대형 반도체인 WSE-2가 핵심이다. WSE-2는 면적이 4만6225mm²에 달하며, 85만 개의 코어가 단일 프로세서에 담겨있다. 온칩 메모리는 엔비디아 A100에 비해 1000배, 메모리대역폭은 1만2733배에 달하고, WSE-2를 탑재한 CS-2 AI 가속기는 단일 시스템으로 최대 200억 개의 매개변수를 훈련할 수 있다.

CS-2는 타사 AI 가속기와 비교해 부피 및 에너지 소비를 크게 줄여 그린AI 같은 청정 에너지 컴퓨팅 기업이나 UAE의 글로벌 클라우드 기업 G42, 미국 아르곤 연구소 등으로부터 주문을 받고 있다. 한편 미국 블룸버그는 셀레브라스가 올해 말 IPO 도입을 고려하고 있다고 보도하면서, AI용 슈퍼컴퓨터의 새로운 대체제로 자리매김할지 관심이 쏠리고 있다.

엔비디아의 경쟁자에서 생존 경쟁 접어든 ‘그래프코어’

그래프코어는 영국에 본사를 둔 AI 하드웨어 기업으로, IPU(Intelligence Processor Unit)라는 이름의 AI 칩을 설계한다. 2021년까지만 해도 그래프코어는 3D 적층 기술로 반도체 밀도를 높인 보우(Bow) UPU로 전 세계 시장의 주목을 받았고, 마이크로소프트, 시라스케일(Cirrascale), NHN클라우드 등 전 세계 다양한 클라우드 기업에 AI 처리 용도의 IPU를 공급하는 등 성과를 냈다.

하지만 2023년 미국 정부의 반도체 수출 규제에 직접적인 타격을 입으면서 난관에 빠졌다. 제품 판매가 불가능해지며 매출에 직접적인 타격을 입었고, IPU 자체가 시장에서 요구하는 생성형 AI와 대형 언어 모델 처리가 아닌 AI 애플리케이션 구동에 초점을 맞춰 외면을 받고 있다. 2년 전 그래프코어는 2024년에 500조 개 매개변수를 지원하는 세계 최초의 초지능 AI 컴퓨터 ‘굿(Good)’을 선보이겠다고 했으나, 지금은 회사가 존속할 수 있을지가 더 우려되는 상황이다.

반도체의 전설, 짐 캘러가 이끄는 ‘텐스토렌트’

텐스토렌트는 캐나다에 본사를 둔 AI용 RISC-V 반도체 전문기업이다. RISC-V는 오픈소스 기반의 반도체로, 소비전력은 적으면서 성능 효율은 좋다. 텐스토렌트는 텐식스IP를 바탕으로 AI 추론용 그레이스컬 칩셋을 곧 시장에 선보이며, 네트워크 기반의 머신러닝 칩셋인 웜홀도 조만간 선보인다. 로드맵 상으로는 블랙 홀, 그란델 등 대규모 기계학습용 반도체도 준비하고 있으나, 당장은 그레이스컬의 상업화에만 집중하는 것으로 보인다.

텐스토렌트가 시장의 주목을 받는 이유는 RISC-V 특유의 활용도 때문이지만, 최고경영자인 짐 켈러의 영향도 상당하다. 짐 캘러는 AMD, 브로드컴, 애플, 테슬라, 인텔 등의 기업들을 거치며 마이크로 프로세서를 개발해 왔고, 특히 기업이 위기일 때 나타나 문제를 해결하고 홀연히 사라지는 등의 행보로 전설을 써내려 왔다.

그런 그가 직접 이끈다는 점에서 전 세계적인 주목을 받고 있다. 한편 텐스토렌트는 지난 8월, 현대자동차 및 삼성으로부터 1억 달러 규모의 투자를 이끌어냈고, 삼성 파운드리에 RISC-V 수주를 체결하기도 했다.

중국의 엔비디아 ‘캠브리콘’, 연이은 손실에 존폐 위기

중국도 AI 반도체 개발에 집중하고 있다. 중국의 빅테크 기업인 바이두나 화웨이, 클라우드 기업인 알리바바 등이 자체적으로 AI 반도체를 만들고 있으며, AI 가속기 스타트업으로는 캠브리콘이 대표적이다. 2016년 설립된 캠브리콘은 알리바바 서버와 화웨이 AI 스마트폰에 칩을 납품하면서 주목을 받기 시작했고, 2020년 상하이 증시에 상장하면서 ‘중국의 엔비디아’로 불리며 중국의 반도체 굴기의 대표 주자로 성장한다.

캠브리콘은 상장 이후 연구 개발에 투자 비용의 90%를 쏟는 등 공격적인 행보를 했지만 뚜렷한 판매처를 찾지 못했고, 22년에는 11억 6천 만 위안(약 2040억 원)대 순손실을 기록했다. 캠브리콘은 이미 자율주행 사업부와 인력을 정리했으나, 22년 이후 홈페이지조차 관리하지 못할 정도로 상황이 나쁘다. 캠브리콘은 AI 업계에서 기술 자립이 얼마나 어려운지, 그리고 미국의 AI 영향력이 얼마나 큰지 보여주는 사례다.

대한민국, AI 반도체를 차세대 먹거리로 육성 중

대한민국은 AI 반도체 시장에서 이제 막 성과를 낼 차례다. 주목할만한 기업으로는 1세대 워보이에 이어 올해 2세대 레니게이드 AI 가속기를 출시하는 퓨리오사AI, 비전 및 언어 모델을 모두 지원하는 데이터센터향 AI 반도체 아톰을 출시하는 리벨리온, 데이터센터용 AI 반도체 X330을 출시한 사피온이 삼파전을 벌이고 있고, 비전 및 자율주행용 ‘올인포 AI 토탈 솔루션’을 출시하는 딥엑스도 경쟁에 뛰어든 상황이다.

이중 가장 주목할만한 성과를 내고 있는 기업은 퓨리오사AI다. 리벨리온과 사피온은 올해 상반기 중 제품을 양산하고 고객사에 납품할 예정인데, 퓨리오사AI는 지난해 1세대 반도체를 양산한 뒤 에티버스와 손을 잡고 제품 판매에 돌입했다. 또한 올해 9월부터는 엔비디아 H100과 같이 범용성 있는 AI 개발이 가능한 2세대 제품 레니게이드로 승부수를 띄운다. 다른 기업들이 이제 막 제품 양산 후 고객사와 협업하는 단계라면, 퓨리오사AI는 기존 고객사는 물론 엔비디아의 고객사까지 공략하는 단계에 접어든 것이다.

퓨리오사AI는 유일하게 소프트웨어 개발 도구(SDK)를 제품과 함께 공개하고 있으며, 추후 고객사의 진입 장벽을 낮추기 위해 직접 AI 모델을 최적화해 플랫폼 형태로 제공할 예정이다. 특히나 AI 반도체의 성능을 공신력 있게 평가하는 MLPerf를 엔비디아를 제외하고는 최초로 모든 테스트 항목에 도전할 예정인데, 기대했던 결과만 나온다면 전 세계적으로 엔비디아의 대체제로 주목을 받게 될 것이다.

AI 반도체 시장, 살아남는 자가 강한 시장될 것

엔비디아의 지난해 3분기 매출액은 전년 동기대비 3배, 영업 이익은 7배나 증가했다. 반도체가 고부가가치 산업이지만 이 정도로 이익률이 급증하는 건 유례가 없다. 그만큼 엔비디아의 그래픽 카드 가격이 지나치게 높고, 수요도 폭증하고 있음을 알 수 있는 대목이다. 결국 이 대체재를 찾는 수요가 없을 수 없기 때문에 AI 가속기 시장은 성장할 수밖에 없고, 이것이 우리나라를 비롯한 전 세계 국가들이 AI 스타트업을 미는 이유다.

그리고 지금은 AI 가속기 스타트업들이 개발을 진행하는 단계인데, 엔비디아를 대체할 수 있는 제품이 등장하면 경쟁은 훨씬 더 치열해질 것이다. 물론 보다 면밀하게 접근할 필요는 있다. AMD가 MI300 등 확실한 실력을 갖췄음에도 생태계 부족으로 엔비디아에 밀리고 있는 점, 생성형 AI가 아닌 AI 애플리케이션 시장을 겨냥하는 바람에 존폐 위기에 놓은 그래프코어 처럼 정확하게 시장 수요에 대응하는 것도 중요하다.

특히 반도체 시장은 생태계를 중시하기 때문에 쓰는 기업의 제품만 쓰는 특성이 있고, 그렇지 않은 제품은 자연스레 소외당한다. 한시라도 빨리 제품을 내놓고 생태계를 구축하는 기업은 유리하지만, 시작선이 뒤로 갈수록 불리하다. 2024년은 그 시작점이다. 우리나라의 AI 스타트업들이 더욱 박차를 가해야 하는 이유다.

글 / IT동아 남시현 (sh@itdonga.com)