[IT동아 김예지 기자] 여러 서비스와 인프라를 동시에 운영할수록 IT 시스템의 복잡성도 커진다. 서비스마다 데이터를 수집하는 도구가 다르고 모니터링 화면까지 분산돼 있다면, 장애가 발생했을 때 여러 지표를 일일이 대조하며 원인을 찾아야 한다. 운영 데이터가 충분히 쌓여 있더라도 이를 연계해 분석하기 어려운 환경에서는 장애 원인 파악은 물론 AI를 활용한 운영 자동화에도 한계가 있다.

이러한 문제를 해결하기 위한 접근 방식으로 옵저버빌리티(Observability)가 주목받고 있다. 로그·메트릭·트레이스 등 시스템에서 발생하는 데이터를 연계해 내부 상태를 파악하고 장애 원인을 추적하는 기술이다. 최근에는 여기에 AI를 접목해 장애 원인 후보를 조사하고 대응 절차를 지원하는 AIOps(AI 기반 IT 운영)으로 확산하고 있다.

가상자산 거래소 빗썸의 블록체인플랫폼팀도 분산된 모니터링 환경을 통합했다. 기존 6종의 데이터 수집 에이전트와 3개의 모니터링 콘솔로 나뉘어 있던 환경을 글로벌 옵저버빌리티 플랫폼 ‘데이터독(Datadog)’의 솔루션으로 통합한 것이다. 빗썸은 소수 인력으로 다양한 서비스를 지원해야 하는 상황에서 모니터링 도구와 운영 체계를 통합하고, AI를 활용한 장애 분석으로 업무 부담을 줄이는 데 초점을 맞췄다. 이를 통해 200개 이상의 서비스와 700개 이상의 EC2 인스턴스를 한곳에서 관측할 수 있는 기반을 마련했다.

IT동아는 지난 27일 서울 코엑스에서 열린 ‘데이터독 서밋 서울 2026’에서 고객 사례를 발표한 오주훈 빗썸 블록체인플랫폼팀 플랫폼엔지니어를 만나 데이터독 도입 배경과 운영 환경의 변화, AI와 사람의 역할 분담에 대해 들었다.

모니터 3대 띄워놓고 수동 대조…빗썸이 마주한 복잡성

가상자산거래소 시스템은 주말과 야간 구분 없이 24시간 돌아간다. 빗썸은 520여 개 이상의 입출금 서비스를 지원하며, 130여 개 이상의 입출금 지원 네트워크와 다수의 애플리케이션을 운영하고 있다. 블록체인플랫폼팀은 개발자가 서비스 개발에 집중할 수 있도록 인프라 환경을 구축하고 운영을 지원하는 역할을 한다.

기존 환경의 가장 큰 문제는 모니터링 데이터가 여러 도구에 분산돼 있다는 점이었다. 오주훈 엔지니어는 “장애가 발생하면 모니터 3대에 각각 다른 콘솔을 띄워놓고 지표를 서로 대조해야 했다”며, “조치 기록도 체계적으로 남기기 어려워 엔지니어의 경험에 의존하는 경향이 있었고, 같은 장애가 다시 발생하면 원인 조사도 다시 해야 했다”고 설명했다. 시스템별로 알림과 온콜(당직) 담당자 관리 방식도 달라 담당자가 응답하지 않을 때 다른 담당자에게 신속하게 상황을 전달하기 어려웠다.

빗썸 블록체인플랫폼팀은 이러한 문제를 해결하기 위해 지난 4월 개념검증(PoC)에 착수했고, 9월 통합 관측 환경을 정식 가동했다. 오픈텔레메트리(OpenTelemetry)의 데이터 전송 프로토콜인 ‘OTLP(OpenTelemetry Protocol)’를 활용해 데이터 수집 방식을 표준화하고, 데이터독을 중심으로 모니터링 환경을 통합했다. 서비스 가용성을 점검하는 신서틱 모니터링(Synthetic Monitoring)을 도입하고, 온콜과 서비스 카탈로그를 연계해 장애 발생 시 담당자를 확인하고 인력을 호출하는 체계도 개선했다.

필요한 기능을 한 플랫폼에서…올인원에 주목

빗썸이 여러 오픈소스 도구를 조합하는 대신 데이터독을 선택한 배경에는 통합 플랫폼의 이점이 있었다. 오주훈 엔지니어는 “옵저버빌리티뿐만 아니라 SRE 플랫폼, 서비스 카탈로그, AI 관측 기능을 동시에 충족하는 솔루션이 필요했다”며, “적은 인원으로 최대한 많은 기능을 안정적으로 운영해야 하는 상황에서 데이터독이 ‘올인원(All-in-One)’ 솔루션이라는 점이 중요하게 작용했다”고 말했다.

빗썸 블록체인플랫폼팀은 개발자의 업무 편의성을 높이는 동시에 장애 감지 시간(MTTD)과 복구 시간(MTTR) 단축을 목표로 삼았다. 장애 자체를 완전히 막을 수는 없더라도, 발생한 장애의 영향을 파악하고 원인을 찾아 복구하기까지 걸리는 시간을 줄이려는 취지다.

데이터독 도입 후에는 로그·메트릭·트레이스를 연계해 분석할 수 있게 됐다. 오주훈 엔지니어는 “해당 애플리케이션이 다른 애플리케이션과 어떻게 연결돼 있는지, 각 서비스에서 어떤 오류가 발생했는지까지 한눈에 파악할 수 있다”고 설명했다. 이어 “데이터독은 사용자 인터페이스(UI)도 직관적이어서 이상 징후를 파악하기 편리했다”고 덧붙였다.

오픈소스 환경에서 AI 기능을 활용하려면 도구 간 연동과 별도 구성을 직접 개발해야 하는 경우가 있지만, 데이터독은 관련 기능을 플랫폼 안에서 제공한다. 빗썸은 모니터링 리소스 생성 제안과 운영 가이드·런북 작성, 알림 조사, 데이터 간 상관관계 분석 등에 데이터독의 Bits AI를 활용하고 있다. 모니터링 알림이 발생하면 워크플로 자동화가 이를 감지하고, 반복적으로 발생한 알림인지 등을 확인해 후속 분석 여부를 판단한다. 분석이 필요하면 AI가 관련 데이터를 조사해 원인 분석(RCA)을 수행하고 결과를 요약해 슬랙으로 전달한다.

다만 AI가 제시한 분석 결과가 곧바로 확정된 원인이나 조치로 이어지는 것은 아니다. 사람이 AI가 제시한 원인 후보와 근거를 검증하고 실제 원인을 판단한 뒤 조치한다. 운영 정책과 보안 기준을 정하는 역할 역시 사람의 업무다. 오주훈 엔지니어는 “AI가 원인 후보를 먼저 제시해 조사 시간을 줄이고, 사람과 AI가 교차 검증하면서 원인 분석의 신뢰도를 높일 수 있다”고 말했다. 이어 “개발자가 여러 화면을 오가며 데이터를 조합하던 작업을 AI에 맡기고, 한 화면에서 관련 지표를 함께 확인할 수 있게 되면서 개발자의 피로도도 줄었다고 생각한다”고 덧붙였다.

비용 부담 줄이려면 도입 범위부터 정해야

데이터독 도입 시 비용은 주요 고려해야 할 요소다. 데이터 수집량이 늘거나 모든 기능을 일괄 도입하면 비용 부담이 커질 수 있어서다. 빗썸은 필요한 데이터와 기능을 선별하고, 추적 데이터의 샘플링을 적용하는 등 비용 관리 방안을 마련했다. BYOC(Bring Your Own Cloud) 기반 구성도 활용해 데이터 저장 위치를 관리하고 로그 활용 방식을 최적화하고 있다.

AI 도구의 권한 관리도 비용과 보안을 함께 고려한 부분이다. 상시적으로 권한을 부여하는 대신 필요한 시점에만 최소한의 권한을 제공하고, 작업이 끝나면 자동으로 회수하도록 구성했다. 접근 범위를 제한하는 동시에 누가 언제 어떤 기능을 사용했는지 파악하고 불필요한 사용을 줄이려는 목적이다.

오주훈 엔지니어는 “기존 솔루션 위에 새로운 기능을 계속 추가하면 비용과 운영 부담이 함께 커진다”며, “도입 단계에서 어디까지 활용할지 정하고, 꼭 필요한 기능과 그렇지 않은 기능을 구분해야 한다”고 조언했다. 이어 “PoC 과정에서 가능한 범위를 최대한 확인하고, 실제 도입 이후에는 기존 도구 가운데 더 이상 운영하지 않아도 되는 것이 무엇인지 살펴봐야 한다”고 말했다.

다음 단계는 자율 운영…단계적 확대 목표

빗썸은 통합 옵저버빌리티 환경을 기반으로 AI가 담당하는 업무를 점차 확대할 계획이다. 현재 알림 감지와 담당자 전달, 원인 후보 조사 등에 초점을 맞추고 있다면, 향후에는 인시던트 생성 등 후속 절차의 자동화도 추진해 AI 기반 운영 자동화 범위를 확대한다는 구상이다.

궁극적인 목표는 AI가 장애를 발견하고 원인을 조사하는 데서 나아가 문제 해결 과정까지 지원하도록 자율 운영을 확대하는 것이다. 오주훈 엔지니어는 “AI가 향후 더 많은 업무를 맡을 수 있겠지만 지금은 역할을 구분해 가는 과정”이라며, “운영 데이터가 쌓이면 기존에 자동화하지 못했던 작업도 AI를 활용해 자동화할 수 있을 것”이라고 말했다.

마지막으로 오주훈 엔지니어는 데이터독 도입을 고려하는 기업에 데이터 활용 규모와 투자 여력을 함께 따져볼 것을 조언했다. 특히 여러 플랫폼을 소수 인력으로 운영하며 모니터링과 유지보수 부담이 큰 조직이라면 통합 플랫폼의 효용이 크다는 설명이다. 그는 “모니터링 도구를 하나만 사용하는 조직은 많지 않을 것”이라며, “처음부터 모든 기능을 적용하기보다 표준화 범위를 작게 설정하고, 필요한 지표부터 단계적으로 확대하는 것이 좋다”고 말했다.

IT동아 김예지 기자 (yj@itdonga.com)