건설업은 전 세계적으로 가장 위험한 산업 중 하나로 꼽힌다. 미국 노동통계국에 따르면 2023년 전체 산업재해 사망의 약 5분의 1이 건설 현장에서 발생했으며, 그중 38.5%가 추락 및 미끄러짐 사고였다. 이러한 상황에서 미국 휴스턴대학교 연구진이 대규모 언어모델(LLM)과 비전-언어모델(VLM)을 결합한 멀티모달 AI 프레임워크를 개발해 건설 현장의 안전 위험을 자동으로 탐지하는 연구 결과를 발표했다.

2만 8,000건 OSHA 사고 보고서를 12분 만에 분석하는 AI

해당 논문에 따르면, 이번 연구의 핵심은 텍스트와 이미지 데이터를 동시에 분석하는 멀티모달 접근법이다. 연구진은 미국 산업안전보건청(OSHA) 데이터베이스에서 2000년부터 2025년까지 약 2만 8,000건의 건설 사고 보고서를 수집했다. 이 방대한 데이터를 처리하기 위해 오픈AI(OpenAI)의 GPT-4o-mini 모델을 활용했는데, 100건의 보고서를 처리하는 데 약 12분이 소요되었고 비용은 1달러 수준에 불과했다.

텍스트 분석 파이프라인은 사고 날짜, 발생 장소, 근로자 직업, 부상 정도 등 핵심 정보를 자동으로 추출하고, 사고를 43개 세부 카테고리로 분류한다. 이 분류 체계는 OSHA의 '치명적 4대 사고(Fatal Four)'인 추락, 낙하물 충돌, 끼임, 감전을 포함해 9개 대분류와 43개 소분류로 구성되었다. 수동 검증 결과 GPT-4o-mini의 사고 분류 정확도는 89%에 달했다.

안전모 미착용, AI 눈에는 보인다

연구의 또 다른 축은 비전-언어모델을 활용한 시각적 위험 탐지다. GPT-4o Vision을 사용해 건설 현장 이미지를 분석하고, 단계별 추론(Chain of Thought) 기법을 적용해 위험 요소를 식별한다. AI는 먼저 현장 이미지를 상세히 묘사하고, 가능한 사고 시나리오를 예측한 뒤, 고위험 요소를 필터링하고 최종적으로 바운딩 박스로 위험 위치를 표시한다.

실험에서 AI는 트렌치 작업 중 흔들리는 리프팅 체인을 '낙하물 충돌 위험'으로, 지붕에서 추락 방지 장비 없이 작업하는 근로자를 '추락 위험'으로, 전선을 맨손으로 만지는 장면을 '감전 위험'으로 정확히 식별했다. 이러한 맥락적 추론 능력은 기존의 단순 객체 탐지 모델과 차별화되는 지점이다.

20억 파라미터 오픈소스 모델, 대형 AI와 맞먹는 성능

연구진은 비용 효율성을 검증하기 위해 Molmo 7B와 Qwen2 VL 2B라는 경량 오픈소스 모델도 테스트했다. 이 모델들은 구글 코랩(Google Colab)의 NVIDIA T4 GPU에서 로컬로 실행되어 API 비용이 전혀 들지 않았다.

ConstructionSite-10K 데이터셋을 활용한 개인보호장비(PPE) 준수 여부 탐지 실험에서 놀라운 결과가 나왔다. Qwen2 VL 2B 모델은 10개의 의미적으로 동등한 프롬프트를 앙상블로 사용했을 때 F1 점수 72.6%를 달성했다. 이는 GPT 5-shot(F1 30.2%)이나 LLaVA 13B(F1 19.7%) 같은 기존 대형 모델보다 월등히 높은 수치다. Molmo 7B 역시 프롬프트 앙상블 적용 시 F1 67.2%를 기록했다.

핵심 차이는 프롬프트 설계에 있었다. 기존 연구들이 여러 안전 규칙을 한 번에 평가하는 복잡하고 긴 프롬프트를 사용한 반면, 이번 연구는 단일 규칙에 집중하는 짧고 명확한 프롬프트를 사용했다. 대형 모델은 상세하고 맥락이 풍부한 프롬프트에 더 잘 반응하지만, 소형 모델은 간결하고 초점이 맞춰진 지시에 더 효과적으로 반응한다는 점이 확인되었다.

파인튜닝 없이 현장 적용 가능한 '제로샷' AI 솔루션

이 프레임워크의 가장 큰 장점은 별도의 학습 데이터나 파인튜닝 없이도 즉시 활용 가능하다는 점이다. 기존 AI 기반 안전 관리 시스템은 대규모 라벨링 데이터셋이 필요하고, 현장 조건이 달라지면 재학습이 필요했다. 하지만 프롬프트 기반 접근법은 사전 학습된 범용 모델을 그대로 활용하면서도 건설 안전이라는 특수 영역에서 경쟁력 있는 성능을 보여주었다.

물론 한계도 있다. 텍스트 분석 파이프라인은 비정형 보고서 구조에 민감하게 반응했고, 프롬프트 표현 방식에 따라 결과가 달라지는 경향이 있었다. 또한 이번 연구는 100건의 보고서와 10개의 이미지만으로 검증되어 대규모 현장 적용을 위한 추가 연구가 필요하다.

연구진은 향후 실시간 영상 분석, BIM(빌딩정보모델링) 도구와의 통합, 모바일 안전 점검 도구 개발 등으로 연구를 확장할 계획이다. 건설 현장의 안전 관리자와 연구자들이 복잡한 기술 설정 없이도 AI 기반 위험 분석을 수행할 수 있는 길이 열린 셈이다.

프롬프트 전략이 모델 성능을 좌우한다

연구진은 이번 연구를 통해 프롬프트 전략이 모델 성능에 미치는 영향을 확인했다. 대형 모델은 상세하고 맥락이 풍부한 프롬프트에 더 잘 반응하는 반면, 소형 모델은 짧고 명확하며 초점이 맞춰진 지시문에 더 효과적으로 반응한다. 이는 단순히 모델 크기에 의존하기보다 모델 용량에 맞는 프롬프트 복잡도를 설계하는 것이 중요함을 시사한다.

또한 의미적 프롬프팅(semantic prompting), 즉 의미는 유지하면서 질문을 여러 방식으로 재구성하는 기법이 모델 출력을 안정화하고 표현 변화에 대한 민감도를 줄이는 데 효과적임이 입증되었다. 프롬프트 앙상블과 결합된 이 접근법은 모델 파인튜닝 없이도 일관성과 해석 가능성을 개선할 수 있는 실용적인 방법을 제공한다.

FAQ( ※ 이 FAQ는 본지가 리포트를 참고해 자체 작성한 내용입니다.)

Q1. 비전-언어모델(VLM)이란 무엇인가요?

A: 비전-언어모델은 이미지와 텍스트를 동시에 이해하고 분석할 수 있는 AI 모델이다. 기존 컴퓨터 비전이 단순히 물체를 인식하는 데 그쳤다면, VLM은 이미지 속 상황을 맥락적으로 해석하고 자연어로 설명할 수 있다. 예를 들어 안전모를 쓰지 않은 근로자를 단순히 탐지하는 것을 넘어, 해당 상황이 왜 위험한지까지 추론할 수 있다.

Q2. 프롬프트 앙상블이란 무엇이고 왜 효과적인가요?

A: 프롬프트 앙상블은 동일한 질문을 여러 가지 다른 표현으로 AI에게 물어본 뒤, 다수결로 최종 답을 결정하는 방법이다. AI 모델은 프롬프트 표현 방식에 민감하게 반응하는 경향이 있어, 단일 프롬프트만 사용하면 정확한 답을 놓칠 수 있다. 여러 프롬프트를 조합하면 이러한 변동성을 줄이고 더 안정적인 결과를 얻을 수 있다.

Q3. 이 기술을 우리 회사 건설 현장에 바로 적용할 수 있나요?

A: 연구진이 개발한 프레임워크는 별도의 파인튜닝 없이 범용 AI 모델과 프롬프트만으로 작동하므로 기술적 진입 장벽이 낮다. 다만 현재 연구는 제한된 데이터로 검증되었으므로, 실제 현장 적용 전에 해당 현장 환경에서의 추가 테스트가 권장된다. 오픈소스 모델을 활용하면 클라우드 API 비용 없이 로컬에서 운영할 수도 있다.

해당 기사에 인용된 논문 원문은 arvix에서 확인 가능하다.

논문명: Automated Hazard Detection in Construction Sites Using Large Language and Vision-Language Models

이미지 출처: 이디오그램 생성

해당 기사는 챗GPT와 클로드를 활용해 작성되었습니다.