[IT동아 김예지 기자] “모니터링 체계를 이관하는 과정에서 가장 중요한 건 기존의 업무 체계가 새로운 환경에서도 어긋남 없이 맞물려 돌아가게 만드는 것이었습니다. SK브로드밴드는 하루 만에 ‘데이터독(Datadog)’으로 전환하고 엔드투엔드 가시성을 확보해 장애 대응 역량을 강화했을 뿐만 아니라, 신규 AI 서비스의 런타임 코드 취약점 분석도 이틀 만에 구현하는 성과를 거뒀습니다”

서범석 SK브로드밴드 플랫폼SRE팀장은 IT동아와의 인터뷰에서 글로벌 옵저버빌리티 플랫폼 데이터독을 도입한 배경과 성과를 이같이 밝혔다. 24시간 멈추지 않는 미디어 관제 환경에서 기존 시스템을 공백 없이 전환하고 업무 연속성을 확보한 사례다.

옵저버빌리티(Observability)는 시스템이 생성하는 메트릭, 로그, 트레이스 등의 데이터를 종합해 내부 상태를 파악하는 기술이다. 서버가 느려졌다는 사실을 확인하는 데 그치지 않고, 그 원인까지 추적하는 것이 핵심이다. 데이터독은 인프라 모니터링, 애플리케이션 성능 모니터링(APM), 로그 관리, 클라우드 보안, AI 옵저버빌리티 등을 하나의 플랫폼에서 제공한다.

SK브로드밴드는 데이터독 도입을 통해 분산된 모니터링 환경을 통합했다. 이를 바탕으로 장애 분석·대응 역량을 강화했으며, 코드 보안 점검과 GPU·대규모언어모델(LLM) 모니터링까지 통합 관제 범위를 넓혔다.

통신 장비에서 AI까지, 볼 것이 늘어난 관제

서범석 팀장이 이끄는 SK브로드밴드 플랫폼SRE(Site Reliability Engineering)팀은 IPTV, 모바일 B tv, 광고 서비스 등에 필요한 IT 인프라의 설계, 구매, 구축, 운영을 도맡는다. 통신사의 모니터링은 네트워크 장비를 감시하는 데서 출발했다. IPTV가 서비스로 자리 잡으면서 서버와 스토리지가 추가됐고, 서버 관리 시스템과 최신 애플리케이션 성능 모니터링(APM), 보안 도구도 차례로 도입됐다. 관리 대상이 늘어날수록 데이터는 여러 시스템으로 흩어졌고, SK브로드밴드는 이를 통합하기 위해 자체 모니터링 시스템을 개발해 운영해왔다.

그러나 인프라와 APM, 보안 도구가 팀별로 나뉘어 운영되면서 데이터 사일로가 발생했고, 신규 장비와 오픈소스, GPU 인프라가 추가될 때마다 데이터 규격을 맞춰야 하는 부담도 커졌다. 서범석 팀장은 “기존 온프레미스 중심 구조에서는 대규모 클라이언트 트래픽의 로그 수집 요구를 수용하기 어려웠고, 운영 조직의 데이터 정비 및 분석 체계 유지 부담이 지속 커졌다”고 설명했다.

통합 관제로 장애 분석·대응 역량 강화

SK브로드밴드는 개념 검증(PoC)을 거쳐 지난해부터 데이터독을 본격 도입했다. 데이터독 APM 솔루션은 트레이스와 로그, 메트릭, 실제 사용자 모니터링, 보안 신호 등 다양한 텔레메트리 데이터를 연계해 애플리케이션의 성능과 상태를 파악하고, 문제의 근본 원인 분석을 지원한다.

서범석 팀장은 “기존에는 응답 성공률과 응답 시간 등 주요 지표를 확인하고, 운영자의 경험을 바탕으로 이상 징후의 원인을 추적했다. 서비스가 복잡해질수록 원인을 찾아내는 데 걸리는 시간이 길어졌다”며, “데이터독은 응답 성공률과 지연 시간의 변화를 분석해 이상 징후를 포착하고, 원인을 추적하는 데 도움을 준다. AI 기반 분석 기능인 비츠 AI(Bits AI)를 활용하면 자연어로 장애 원인을 질의하고 관련 데이터를 바탕으로 분석할 수 있다”고 설명했다.

예컨대, 서버로 들어오는 셋톱박스 요청을 분석해 트래픽이 급증하는 현상을 포착한다. 방송 서비스는 요일과 이벤트에 따라 트래픽 변동이 크다. 금토 드라마가 끝나는 밤 11시 무렵이나 야구 포스트시즌, 국가대표 축구 경기 때 요청이 몰리는 식이다. 서범석 팀장은 “AI가 ‘지난주 금요일 같은 시간에도 같은 문제가 있었다’는 식으로 상관관계를 짚어준다”며, “숙련된 운영자가 경험으로 찾아내던 원인을 분석하는 데 도움을 준다”고 말했다.

그는 향후 서비스 규모가 커질수록 AI 기반 분석의 필요성이 커질 것으로 내다봤다. 서비스 범위가 확대되면 운영자가 모든 영역을 직접 살펴보기 어려워지는 만큼, AI가 요청 증가와 인프라의 영향을 연결해 원인을 분석하는 역할이 중요해진다는 설명이다.

코드 보안 점검 이틀 만에…GPU·장애 분석도 수월

SK브로드밴드는 런타임 코드 보안 강화 요구에 맞춰 데이터독의 코드 시큐리티(Code Security)를 도입했다. 데이터독 코드 시큐리티는 개발 단계의 코드 분석과 오픈소스 라이브러리 점검, 실제 서비스가 동작하는 환경의 취약점 분석을 제공한다. 정적 애플리케이션 보안 테스트(SAST)와 소프트웨어 구성 분석(SCA), 런타임 코드 분석(IAST) 등을 통해 개발부터 운영까지 코드 보안을 살펴볼 수 있도록 지원한다.

서범석 팀장은 “네트워크 경계 보안은 매우 높은 수준으로 운영 중이었으나, 코드 보안은 개별 검토를 중심으로 운영돼 개발 과정에 점검 절차를 일관되게 적용하는 데 한계가 있었다”며, “데이터독 도입 이후에는 기존 개발·운영 방식을 바꾸지 않고 설정을 추가하는 것만으로 개발자가 코드와 런타임 패키지를 점검할 수 있게 됐다”고 말했다.

이어 그는 개발 단계에서도 코드 보안 점검을 수행할 수 있게 되면서 검토와 조치 과정이 단축됐다고 설명했다. 신규 AI 서비스의 코드 취약점 분석부터 조치까지 이틀 만에 완료한 것이다. 새로운 취약점 정보가 반영되면 이를 기준으로 점검할 수 있다는 점도 장점으로 꼽았다.

SK브로드밴드는 GPU 기반 AI 인프라의 모니터링도 데이터독으로 통합했다. 서범석 팀장은 “지난해부터 영화 검색 등 LLM을 활용한 IPTV 서비스가 출시되면서 GPU 자원을 얼마나 효율적으로 사용하는지, 어떤 서비스가 자원을 얼마나 점유하는지 확인해야 했다”며, “기존에는 오픈소스를 조합해 GPU 모니터링 환경을 직접 구축했으며, 데이터독 도입 이후에는 설정을 활성화하는 것만으로 기존 모니터링과 유사한 형태의 대시보드를 구성할 수 있게 됐다”고 말했다.

하루 만에 완료한 무중단 전환

서범석 팀장은 모니터링 체계 전환에서 속도 자체보다 무중단 운영에 방점을 찍었다. 그는 “SK브로드밴드의 관제 업무는 파트너사 인력이 24시간 365일 맡는다. 근무조마다 담당하는 화면과 데이터가 달라 대시보드가 바뀌면 교대 시점에 놓치는 정보가 생길 수 있다”며, “모니터링 체계를 바꾸는 일은 업무 프로세스와 밀접하게 얽혀 있다. 기존 업무 습관과 보고 체계가 새로운 환경에 완벽히 들어맞은 상태에서 문제없이 전환해야 했다”고 말했다.

이를 위해 SK브로드밴드는 기존 시스템을 그대로 가동하면서 데이터독 환경을 병행 구축했다. 그는 “대시보드와 알람 정책을 미리 옮기고 매뉴얼을 작성했으며, 전체 근무조를 대상으로 교육과 확인 절차를 마쳤다. 이후 지정한 날 자정에 맞춰 기존 시스템에서 데이터독으로 한꺼번에 전환했다”며, “대규모의 시스템 이전 작업을 롤백 걱정 없이 마무리했다”고 설명했다.

하이브리드 전환기, ‘데이터독 활용 폭 커질 듯’

향후 SK브로드밴드 플랫폼SRE팀은 AI 서비스 확대와 하이브리드 환경으로의 전환에 맞춰 데이터독을 기반으로 옵저버빌리티 체계를 지속 고도화해 나갈 계획이다. LLM 옵저버빌리티와 쿠버네티스 모니터링을 통해 AI 서비스 운영 가시성을 확대하고, AI 기반 이상 탐지와 자율 운영 체계를 구축하는 것이 목표다. 서범석 팀장은 “옵저버빌리티를 통합하는 것이 중요하다”며, “이미 잘 작동하는 솔루션을 중심으로 확장하는 편이 프로세스 정합성 측면에서 유리하다”고 말했다.

서범석 팀장은 데이터독 도입을 검토하는 기업에 ‘비용과 기술 지원 역량을 함께 살펴볼 것’을 조언했다. 협의를 통해 필요한 영역에 집중하면 예산 안에서 운영 수준을 조정할 수 있다는 설명이다. 그는 “솔루션 자체의 기능뿐 아니라 지원 엔지니어의 역량도 중요하다”고 강조하며, “규제가 강한 대기업과 통신 업종의 운영 환경을 얼마나 이해하는지가 관건이었고, 데이터독 한국 지사와 파트너사의 이해도는 기대 이상이었다”고 덧붙였다.

이어 “서비스 종류와 규모, 인프라 구성이 유연하게 바뀌는 기업일수록 통합 옵저버빌리티의 효과가 크다”며, “SK브로드밴드는 향후 인프라 유연성을 높이고, 실시간 추적·분석하는 체계를 구축해 장애 대응 속도와 운영 효율성을 끌어올릴 계획이다. 나아가 단순 모니터링을 넘어 AI 기반 이상 탐지와 자율 운영 체계의 구현까지 추진할 것”이라고 말했다.

IT동아 김예지 기자 (yj@itdonga.com)