메타(Meta)가 1일(현지 시간) 라마(Llama) 모델을 위한 프롬프트를 자동으로 최적화하는 파이썬 패키지 '라마 프롬프트 옵스(Llama Prompt Ops)'를 공개했다. 이 도구는 다른 LLM에서 잘 작동하는 프롬프트를 라마 모델에 최적화된 프롬프트로 변환하여 성능과 신뢰성을 향상시킨다. 라마 프롬프트 옵스는 시행착오 없이 더 나은 결과를 얻을 수 있으며, 템플릿 기반 최적화로 단 몇 분 만에 라마에 최적화된 프롬프트를 제공한다. 또한 사용자의 고유 예제를 활용해 특정 사용 사례에 적합한 프롬프트를 생성하고, 맞춤형 지표로 프롬프트 성능을 평가할 수 있다.

이 도구를 사용하기 위해서는 최적화하고자 하는 현재 시스템 프롬프트, 평가 및 최적화를 위한 쿼리-응답 쌍이 포함된 JSON 파일, 그리고 모델 하이퍼파라미터와 최적화 세부 사항을 명시한 YAML 구성 파일이 필요하다. 간단한 워크플로는 기존 시스템 프롬프트로 시작하여 데이터셋을 준비하고, 최적화를 구성한 후 단일 명령어로 실행하면 성능 지표가 포함된 최적화된 프롬프트를 받을 수 있다.

HotpotQA 다중 홉 추론 벤치마크에서 측정된 결과에 따르면, 최적화된 프롬프트는 다양한 모델 크기에서 기준 프롬프트보다 상당한 성능 향상을 보였다. HotpotQA는 여러 소스의 정보를 필요로 하는 복잡한 질문에 답변하는 모델의 능력을 테스트한다.

사용을 시작하려면 가상 환경을 생성하고 PyPI에서 설치하거나 소스에서 설치할 수 있다. 그 후 샘플 프로젝트를 생성하고 API 키를 설정한 다음 최적화를 실행하면 된다. 최적화는 약 5분 정도 소요되며, 최적화된 프롬프트는 원본과 최적화 버전을 비교하는 성능 지표와 함께 results 디렉토리에 저장된다.

원본 독점 LM 프롬프트는 단순히 JSON 형식의 응답을 요청하는 반면, 최적화된 라마 프롬프트는 사용자를 고객 서비스 메시지 분석 전문가로 설정하고 구체적인 분류 기준과 출력 형식을 명확히 제시한다. 이는 라마 모델에 더 적합한 형태로 변환된 것이다.

라마 프롬프트 옵스를 사용하기 위해서는 질문과 답변 쌍이 포함된 JSON 형식의 데이터셋을 준비해야 한다. 표준 형식의 데이터는 내장 StandardJSONAdapter로 자동 처리가 가능하다. 또한 이 도구는 OpenRouter, vLLM, NVIDIA NIMs 등 다양한 추론 제공자를 지원하며, 빠른 시작 가이드부터 고급 구성 가이드까지 다양한 문서를 제공한다.

메타의 라마 프롬프트 옵스는 생성형 AI 모델 개발자와 사용자들에게 큰 도움이 될 것으로 기대된다. 다른 LLM에서 라마로의 원활한 마이그레이션과 일반적인 프롬프트 최적화를 위한 오픈소스 도구로서, 시행착오 없이 빠르게 최적화된 프롬프트를 얻을 수 있다는 점이 주목할 만하다. 현재 깃허브에서 257개의 별표와 20개의 포크를 받은 이 프로젝트는 앞으로 생성형 AI 커뮤니티에서 더 많은 관심을 받을 것으로 예상된다.

해당 기사에서 소개한 도구는 링크에서 확인할 수 있다.

이미지 출처: 메타

기사는 클로드와 챗gpt를 활용해 작성되었습니다.