메타가 AI로 테스트 코드를 자동 생성해 코드 변경의 오류를 찾는 ‘캐칭 지트테스트(Catching JiTTests)’를 사내 인프라에 적용해, 2026년 상반기 개인정보 관련 중대 버그 74건을 배포 전에 잡아냈다고 밝혔다. 메타는 10월 29일 엔지니어링 블로그를 통해 같은 기간 개인정보 중대 사고(SEV) 발생이 20% 줄었다고 공개했다.
지트테스트(JiTTest)는 ‘저스트 인 타임 테스트’의 줄임말로, 대형언어모델(LLM)이 코드 변경분마다 실행 가능한 테스트를 생성해 이전 코드와 달라진 동작을 드러내는 방식이다. 메타는 기존 AI 코드 리뷰가 사람 검토자처럼 코드를 읽고 결함을 찾는 반면, 지트테스트는 계산 단계가 더 많지만 코드 리뷰가 놓칠 수 있는 유형의 버그를 찾는다고 설명했다. 메타는 수억 줄 규모의 코드가 계속 바뀌어 기존 테스트로는 변화 속도를 따라가기 어렵다고 밝혔다.
메타 시스템은 전날 제출된 코드 변경 가운데 위험도가 높은 것을 밤사이 남는 연산 자원으로 골라 테스트를 생성한다. 테스트 생성은 방식 2개를 함께 쓴다. ‘도지 디프(dodgy diff)’ 방식은 모든 코드 변경을 버그로 가정하고 이전 버전과의 동작 차이를 드러내는 테스트를 생성한다. ‘의도 인식’ 방식은 LLM이 코드 변경과 제목, 요약으로 개발 의도를 추론하고, 의도를 구현하다 생길 수 있는 오류를 가정한 변이 코드를 생성한 뒤 이를 잡아내는 테스트를 생성한다.
실패한 테스트는 여러 최신 LLM이 판정하는 ‘LLM 판사(LLM-as-Judge)’ 앙상블과 규칙 기반 판정기 ‘럽페이크(RubFake)’가 함께 검토해 실제 버그일 가능성 순으로 순위를 매긴다. 순위가 충분히 높은 건만 담당 엔지니어에게 알린다. 메타는 사람이 모든 결과를 검토하는 방식 대신, 엔지니어가 기준을 정하고 결과를 묶어서 점검하는 ‘휴먼 온 더 루프(human-on-the-loop)’ 방식을 택했다.
메타는 지금까지 엔지니어 589명이 지트테스트 결과에 대응했다고 밝혔다. 메타가 알림을 보낸 엔지니어의 64%다. 엔지니어들이 확인한 결과 중 실제 문제로 판명된 비율은 60%였다. 메타는 이 기술을 담은 논문 ‘메타의 저스트 인 타임 캐칭 테스트 생성(Just-in-Time Catching Test Generation at Meta)’을 소프트웨어공학 학회 FSE 2026에서 발표했다.
자세한 내용은 메타에서 확인할 수 있다.
이미지 출처: 메타
AI Matters 뉴스레터 구독하기




에