나눠쓰고 바꿔쓰고 합쳐쓰는 유연한 스토리지, Ceph Days Korea 2023

2023.06.15. 15:45:18

1,092

전래동화 속의 도깨비 방망이가 실제로 있다면 어떨까? 금 나와라 뚝딱! 이러면 세상은 참 살기 쉬워진다. 뭐든 필요한 게 생기면 쉽고 유연하게 만들어내니까. 그럼 금을 보관할 창고가 필요한데, 도깨비 방망이의 힘을 빌린다고 해 보자. 창고 나와라 뚝딱. 창고 만드는 김에 보관도 알아서 적당히 편하게 해줘~ 부족하면 창고도 더 붙여서 늘리고.

물론 현실에는 그런 편리한 도깨비 방망이는 없다. 하지만 금처럼 중요한 데이터를 창고에 유연하게 관리할 수는 있다. 클라우드 메뉴에서 클릭만 하면 마법처럼 스토리지가 뚝딱 만들어진다. 도깨비 방망이인가? 어떻게 스토리지가 구현된 걸까? Ceph 덕분이다.

Ceph가 뭐에요?

정형 데이터와 비정형 데이터의 차이는? 정형 데이터는 미리 정해진 형식과 구조에 따라 저장되게 구성된 데이터로 업무에 쓰인다. 이어서 비정형 데이터는 정해진 구조가 없는 데이터다. 동영상, 오디오, 사진, 보고서 등이다.

그런 비정형 데이터는 관리가 쉽지 않다. 특히 스토리지. 기존 스토리지 기술로는 해당 비정형 데이터의 수요에 대응하기 쉽지 않다. 비정형 데이터에 맞춰 규모에 맞는 성능을 유지하면서 비용을 관리해야 하는 문제가 생긴다. 즉 비용, 인원, 보안 문제의 영향을 덜 받으면서 스토리지를 확장할 수 있는 방법이 필요하다.

이에 대응하는 것이 Ceph다. Ceph는 어디서나 데이터를 통합할 수 있도록 설계된 오픈 소스 기반의 소프트웨어 정의 스토리지(Software Defined Storage) 플랫폼이다. 단일 분산 컴퓨터 클러스터(컴퓨터 클러스터-여러 대의 컴퓨터들이 연결돼 하나의 시스템처럼 동작하는 컴퓨터의 집합)에 오브젝트 스토리지, 블록 스토리지, 파일 스토리지 기능을 제공할 수 있다.

Ceph는 소프트웨어로 구현할 수 있는 스토리지 중 가장 유연하다. 서비스를 추가하면 블록 스토리지나 오브젝트 스토리지, 또는 파일 스토리지 기능을 추가할 수 있는데 스토리지 노드를 추가하면 용량과 성능도 늘어난다. 그래서 유연하다.

또한, 소규모로 시작할 수 있지만, 추후 대규모로 변경할 때도 그다지 어렵지 않다. 스토리지가 늘어난다고 해도 따로 IT팀에 직원을 추가할 필요 없이 관리할 수 있을 정도다. 크게는 페타바이트 규모의 데이터와 수백억 개의 오브젝트를 지원할 수 있게 효율적으로 확장시킬 수 있다. 많은 작업에 대해 자가 복구를 할 수 있고, 자가 관리도 가능하다. 단일 장애 지점도 없게 설계됐다.

오픈 소스 컨퍼런스 Ceph Days Korea 2023

Ceph Days는 커뮤니티 교류를 위해 진행되는 행사다. Ceph 개발자, 스토리지 벤더, 실제로 사용하는 운영자 등이 참석한다. Ceph Days Korea 2023은 2023년 6월 14일 서울 양재 AT센터 세계로룸에서 오픈소스 분산 스토리지 시스템 Ceph를 주제로 진행됐다. 해당 행사는 삼성전자, Korea Ceph User Group의 주최로 삼성전자, 씨게이트, IBM 코리아 등이 후원사로 참여했다.

행사장에는 다양한 기술을 경험할 수 있는 공간이 마련됐다. 현장에는 씨게이트, IBM 부스가 마련됐다.

▲ 합리적인 가격과 편의성을 갖춘 씨게이트의 다양한 스토리지 솔루션을 확인할 수 있었다

다양한 키노트도 진행됐다. Ceph와 함께 하는 메모리 혁신의 여정(삼성, 배덕호), 하드 드라이브의 현재와 미래, 그리고 스토리지(씨게이트, 김정균), IBM과 IBM 스토리지 Ceph’s Future(김진수, IBM KOREA) 등과 함께 Ceph의 장점과 단점, 네이버의 Ceph 도입 사례와 스토리지 운영 방안 등에 대해 다뤄졌다.

하드 드라이브의 현재와 미래, 그리고 스토리지 키노트에서는 하드디스크의 저장밀도를 높이는 방법에 대해 언급됐다. 현재 하드디스크 저장밀도는 임계치에 다가선 상황이다. 플래터 한 장에 2.2TB 정도가 임계치라 볼 수 있다.

▲ Ceph Days Korea 2023 행사에서 씨게이트 김정균 이사가 '하드 드라이브의 현재와 미래, 그리고 스토리지'를 주제로 발표를 진행하고 있다

씨게이트는 이를 해결하기 위해 HAMR(Heat Assisted Magnetic Recording)라는 기술을 적용했다. 플래터에 데이터를 기록할 때 레이저를 활용해 동일 공간에 더 많은 데이터를 저장하는 방식이다. 데이터 밀도를 높여 저장 용량을 늘린다.

이어 MACH.2는 정보를 읽고 쓰는 헤드를 이동시켜주는 액추에이터를 1개에서 2개로 늘려서 데이터 처리를 동시에 두 개씩 해주는 기술이다. 하드디스크 두 개를 쓰는 것과 달리 상대적으로 저전력으로 성능을 최대 두 배까지 향상시킬 수 있다.

또한, 씨게이트가 자체 개발한 'VelosCT' -컨트롤러- 칩세트를 기반으로 한 'Exos X' 6세대 스토리지 시스템도 소개했다. 주요 특징으로 자가 드라이브 재생 기능을 강조했다. ADR(Autonomous Drive Recovery) 기능이다. 하드디스크에 장애가 생겨도 문제가 생긴 부분만 격리시키고 나머지는 정상 영역으로 재구성해 사용하는 기능이다. 더불어 리빌딩 시 시간을 최소화하며 데이터를 보호하는 ADAPT 기능도 지원된다.

▲ 씨게이트는 다양한 스토리지를 갖췄다

씨게이트 김정균 이사는 "씨게이트는 하드 드라이브 제조사지만 스토리지도 함께 공급하고 있다"라며, "세계 유수의 스토리지 제조사들과의 협업을 통해 엔터프라이즈 스토리지 시스템에서 입증된 신뢰성을 갖추고 있다. 기록 밀도 개선을 위한 HAMR 기술, 성능 향상을 위한 MACH.2 기술, 그리고 자가 치유 스토리지 기술인 ADR 등 씨게이트만의 기술력을 기반으로 데이터를 다양한 방식으로 활용할 수 있는 솔루션들을 준비하고 있다"라고 밝혔다.

▲ 씨게이트 스토리지는 다양한 제조사와 협업 중이다. 엔터프라이즈 스토리지 시스템에서 신뢰성은 이미 입증됐다고 볼 수 있다