넷플릭스가 발표한 올해 2분기 실적 보고서에 의하면 전 세계 넷플릭스 가입자는 2억 3,839만 명이다. 인터넷 연결이 가능하면 PC나 스마트폰으로 간편하게 여러 국가의 영화, 드라마, 애니메이션, 예능 프로그램 등을 볼 수 있고, 매일 새로운 콘텐츠가 추가되기 때문에 끊임없이 다양한 콘텐츠를 즐길 수 있는 것이 그런 대규모 인원을 가입자로 만든 원동력이다.

당연히 넷플릭스는 일반인은 상상도 할 수 없을 만큼 방대한 콘텐츠를 보유하고 있는데 이는 하드 드라이브 같은 일반적인 스토리지(데이터 저장장치)로 감당할 수 있는 수준이 아니다.

▲ 방대한 콘텐츠를 보유하고 있는 넷플릭스 (출처=넷플릭스)

그렇다면 넷플릭스는 어떤 스토리지에 그런 대규모 데이터를 담아두고 있는 것일까? 그 해답을 알기 위해서는 일반적인 스토리지의 한계를 뛰어넘어 수많은 가능성을 보여주는 ‘오브젝트 스토리지’에 대해 이해할 필요가 있다.

오브젝트 스토리지란?

시장 조사 기관 IDC(International Data Corporation)에 따르면 2025년이 되면 동영상 · 오디오 · 사진 · 문서 파일 등 '비정형 데이터'가 전 세계의 모든 데이터 가운데 80%에 달할 것으로 전망되고 있다. 이처럼 로컬 스토리지나 NAS와 같은 전통적인 파일 기반 스토리지만으로는 폭발적으로 늘어가는 대규모의 비정형 데이터를 효율적으로 저장하고 관리하는 데 어려움이 따른다.

그런 한계를 극복하기 위해 등장한 해결책 가운데 하나가 오브젝트 스토리지이다. 오브젝트 스토리지는 대표적인 ‘소프트웨어 정의 스토리지’(Software Defined Storage, 이하 SDS)이다. SDS는 스토리지 하드웨어에 얽매이지 않으면서 스토리지의 기능과 자원을 논리적으로 통합하여 관리하는 스토리지 관리 소프트웨어를 의미한다. 더 쉽게 풀어서 말하면 소프트웨어로 관리되고 작동하는 가상 스토리지라고 할 수 있다.

▲ 대표적인 SDS인 오브젝트 스토리지 (출처=슈퍼마이크로)

오브젝트 스토리지는 용량을 미리 할당하는 방식이 아니기 때문에 페타바이트(Petabyte, 이하 PB) 이상의 데이터를 저장 가능한 초대용량 저장소를 구축하고 거기에 무제한으로 용량을 확장할 수 있는 것이 장점이다. 넷플릭스, 유튜브처럼 기존 콘텐츠를 그대로 유지하면서 계속 새로운 콘텐츠가 누적되는 구조라면 오브젝트 스토리지의 이런 확장성은 필수적인 요소이다.

또한 오브젝트 스토리지는 인터넷을 통해 전 세계 여러 장소에 있는 이들에게 데이터를 배포하는 것이 용이하고, PC와 스마트폰 등 플랫폼 종류와 상관없이 설계하여 서비스를 운용할 수 있다. 따라서 끊임없이 방대한 콘텐츠가 발생하고 저장되는 넷플릭스나 유튜브처럼 다양한 기기로 접속해 간편하게 각종 콘텐츠를 감상할 수 있는 서비스에는 오브젝트 스토리지가 안성맞춤이다.

▲ 데이터를 분할해서 저장하는 오브젝트 스토리지 (출처=Ace Cloud)

한편 기업 입장에서는 보유하는 데이터 양이 많아질수록 이를 백업하고 필요할 때 검색하여 활용하는 데 애를 먹을 수 있는데 오브젝트 스토리지라면 그런 문제를 걱정하지 않아도 된다. 데이터 저장 시 용량을 미리 할당하는 방식이 아니어서 파일 기반 스토리지와 달리 용량이 꽉 찬다고 백업이 불가능해지는 일이 생기지 않고, 데이터를 ID와 메타데이터 등 여러 가지 범주로 분할해서 저장하므로 이를 통해 간편하게 필요한 데이터를 찾을 수 있기 때문이다.

그리고 데이터는 네트워크를 통해 스토리지 노드에 분산 저장되므로 웬만한 규모의 사고로는 오브젝트 스토리지에 있는 데이터가 완전히 유실되는 일은 발생하지 않아서 안전성 면에서도 신뢰할 수 있다.

오브젝트 스토리지 구성에 필요한 요소

▲ 오브젝트 스토리지용 소프트웨어 ‘클라우디안 하이퍼스토어’ (출처=Cloudian)

오브젝트 스토리지를 구성하기 위해서는 핵심이 되는 소프트웨어와 물리적 저장소가 필요하다. 대표적인 소프트웨어로는 ‘클라우디안 하이퍼스토어’(Cloudian HyperStore)가 있다. 일종의 운영 체제라고 볼 수 있으며 대량의 비정형 데이터를 관리하고 웹 환경에서 데이터를 효율적으로 주고받을 수 있다. 또한 확장성이 무제한이어서 수천 PB 이상에 달하는 방대한 용량의 스토리지를 구성하고 관리하는 솔루션으로 제격이다.

▲ 하드 드라이브를 84개 장착 가능한 ‘씨게이트 Exos E 5U84’

물리적 저장소로는 기업용 스토리지가 사용된다. 스토리지 전문 기업 씨게이트(Seagate)의 ‘Exos E 5U84’ · ‘Exos E 2U12’ 또는 ‘Exos AP 5U84’ · ‘Exos AP 2U12’ 같은 제품이 있다.

Exos E 5U84 · E 2U12는 I/O 컨트롤러가 내장되어 다수의 하드 드라이브를 JBOD(Just a Brunch Of Disk, 물리 디스크 2개 이상을 하나의 디스크처럼 만드는 기능)로 구성해 오브젝트 스토리지용 물리적 저장소로 만들 수 있다.

▲ x86 컨트롤러가 내장되어 서버로 활용할 수 있는 ‘씨게이트 Exos AP 2U12’

Exos AP 5U84 · AP 2U12는 AMD EPYC 프로세서 기반 x86 컨트롤러가 내장되어 오브젝트 스토리지용 서버로 활용 가능하다. 물리적 저장소 기능에 컴퓨팅 기능까지 더해져서 오브젝트 스토리지의 하드웨어로써 다양한 기능을 수행할 수 있다.

Exos E 5U84 또는 Exos AP 5U84로 약 1.84PB에 달하는 저장 용량을 구성 가능한데 이를 다수 조합하면 수천 PB 이상인 초대용량 오브젝트 스토리지를 만들 수 있으므로 넷플릭스나 유튜브 같은 거대한 콘텐츠 공급 서비스의 근간으로 이용 가능하다.

거대 콘텐츠 서비스의 바탕이 되는 오브젝트 스토리지

▲ 시간이 지날수록 방대한 스토리지가 요구되는 넷플릭스 (출처=넷플릭스)

인터넷을 통해 배포되는 미디어와 엔터테인먼트 콘텐츠는 시간이 경과할수록 종류가 증가하고 용량도 커지고 있다. 보통 사람은 가늠하기조차 어려울 만큼 막대한 데이터가 끊임없이 쌓이면서 이를 취급하는 글로벌 기업들은 스토리지를 계속 확장해 나가고 있다.

그렇게 점점 거대해지고 있는 데이터를 감당하기 위해서는 혁신적인 스토리지가 반드시 필요하며 그 중심에 오브젝트 스토리지가 존재한다. 무제한으로 저장 용량을 확장 가능할 뿐 아니라 온라인으로 전 세계 사람들에게 데이터를 배포할 수 있으며, 안전성 면에서도 유리하므로 그 가치는 무궁무진하다.

넷플릭스, 유튜브 외에도 방대한 데이터를 활용해 온라인 서비스를 공급하는 기업은 앞으로 꾸준하게 증가할 것으로 전망하는데, 오브젝트 스토리지는 그런 기업들을 주축으로 하여 지속적으로 발전해 나갈 것으로 보인다.

방수호 기자/bsh2503@manzlab.com

ⓒ 맨즈랩(http://www.manzlab.com) 무단전재 및 재배포금지