인공지능(AI) 서비스가 점차 복잡해지고 다양한 응답을 요구하게 되면서, AI 모델의 성능 최적화와 비용 절감은 개발자와 기업 등 AI 서비스를 탑재한 웹사이트 운영에 중요한 과제가 되었습니다. 특히 대형 언어 모델을 사용하는 경우, 동일한 요청이 반복될 때마다 발생하는 토큰(연산) 비용과 처리 시간이 비효율적으로 느껴질 수 있습니다. 이런 문제를 해결하기 위해 도입된 기술이 바로 프롬프트 캐싱(Prompt Caching)입니다. 이번 글에서는 오픈AI의 프롬프트 캐싱이 어떻게 작동하는지, 그리고 이를 통해 비용과 성능을 최적화할 수 있는 방법에 대해 알아보겠습니다.
목차
1. 프롬프트 캐싱(Prompt Caching)이란 무엇인가?
프롬프트 캐싱은 AI 모델이 이전에 처리한 동일한 프롬프트를 저장해 반복적으로 사용할 때, 처리 시간을 단축하고 비용을 절감하는 기술입니다. 오픈AI는 이를 통해 동일한 API 요청이 발생할 때 비용 절감 및 응답 속도 향상을 구현하고 있습니다. 긴 프롬프트의 경우 비용을 최대 50%까지 절감할 수 있으며, 지연 시간을 최대 80%까지 단축할 수 있습니다.
오픈AI는 엔트로픽이 처음 도입한 프롬프트 캐싱을 자사의 모델에서도 적용하여 API 성능을 최적화했습니다.
2. 오픈AI 프롬프트 캐싱의 작동 방식
프롬프트 캐싱은 gpt-4o, gpt-4o-mini, o1-preview, o1-mini 등 주요 모델의 API 사용 시 자동으로 활성화되며, 최소 1024 토큰 이상의 프롬프트에 대해 적용됩니다. API 요청 시, 시스템은 프롬프트의 초기 부분(Prefix)을 저장해 재사용하며, 일치하는 프리픽스(일치하는 앞부분)가 있으면 캐시 히트를 발생시켜 비용과 대기 시간을 줄입니다. 즉, 프롬프트가 정확히 일치하는 부분까지만 캐시 히트가 적용됩니다. 캐시된 프롬프트와 일치하지 않는 부분이 발견되면, 해당 부분 이후에 일부 프롬프트가 동일하더라도 일치하지 않는 부분 이후의 프롬프트이므로 토큰 비용 절감이 적용되지 않습니다.
프롬프트 캐싱의 핵심 흐름은 다음과 같습니다:
- 캐시 조회(Cache Lookup): 프롬프트의 프리픽스를 캐시에서 찾습니다.
- 캐시 히트(Cache Hit): 일치하는 프리픽스를 찾으면 캐시된 결과를 사용해 비용과 시간을 절감합니다.
- 캐시 미스(Cache Miss): 일치하는 프리픽스가 없으면, 프롬프트 전체를 처리하고 캐시를 업데이트합니다.
캐시는 보통 5~10분 동안 유지되며, 비수기(사용량이 적은 시간대)에는 최대 1시간까지 유지됩니다. 이 시간이 지나면 오픈AI 서버에 저장되어 있던 프롬프트 캐시 데이터는 삭제되므로 유의하시기 바랍니다.
3. 프롬프트 캐싱을 활용한 비용 절감 및 성능 최적화
오픈AI 프롬프트 캐싱을 통해 긴 프롬프트에 대해 최대 50%의 비용 절감을 기대할 수 있으며, 이로 인해 모델 응답 시간이 크게 단축됩니다. 캐싱은 1024개 이상의 토큰을 포함한 요청에서 효과를 발휘하며, 캐시된 토큰은 128 토큰 단위로 처리됩니다.(예시: 1024, 1152, 1280, 1408 토큰 단위로 캐시됨)
프롬프트 캐싱으로 인한 비용 절감의 예시는 다음과 같습니다:
- 첫 번째 API 요청: 시스템 프롬프트와 유저의 첫 번째 쿼리가 API 요청으로 전송되며, 입력(API 요청) 토큰과 출력 토큰 모두 비용에 포함됩니다.
- 두 번째 API 요청: 프리픽스 부분이 첫 번째 API 요청의 전체 프롬프트(유저 쿼리 포함)와 동일하다면, 캐시된 부분에 대해서 비용이 50% 절감되고 두 번째 API 요청으로 추가된 부분(유저의 두 번째 쿼리와 출력 토큰)은 원래의 비용 그대로 계산됩니다.
엔트로픽(Entropic)의 클로드(Claude)는 캐시된 프롬프트에 대하여 90%의 비용 절감을 제공하는 반면, 오픈AI는 최대 50% 절감을 제공합니다. 이 부분이 아쉽긴 하지만 추후 기술 발전 및 안정화로 비용이 점차 낮아질 것으로 기대됩니다.
4. 프롬프트 캐싱 적용 시 유의 사항과 최적화 방법
프롬프트 캐싱을 효과적으로 활용하려면 프롬프트의 구조를 최적화하는 것이 중요합니다. 프리픽스 일치 여부가 캐시 히트의 핵심이므로, 지시 사항이나 예시 같은 고정된 내용은 프롬프트의 앞부분에 배치하고, 조건에 따라 바뀌어야 할 인스트럭션이나 사용자 쿼리 등 동적인 내용은 뒤쪽에 두는 것이 좋습니다.
또한, 프롬프트가 자주 바뀌면 캐시 미스가 발생하므로, 가능한 한 동일한 구조를 유지하는 것이 캐싱의 이점을 극대화할 수 있는 방법입니다. 캐시가 유지되는 시간은 5~10분으로 제한되므로, 그 시간 내에 동일한 프롬프트 요청이 발생할 수 있도록 사용자 흐름을 조정하는 것도 도움이 됩니다. 이를 위해선 유저가 복잡하게 프롬프트를 작성할 필요가 없도록, 프롬프트 엔지니어링 최적화를 통해서 서비스의 질을 향상시켜야 합니다.
정리하면 다음과 같습니다.
- 고정적인 내용은 앞부분에, 변동적인 내용은 뒤에 배치해 캐시 적중률을 높입니다.
- 캐시 유지 시간 안에 유저가 다음 쿼리를 입력할 수 있도록, 프롬프트 엔지니어링 최적화와 서비스 품질을 향상시킵니다.
오픈AI 프롬프트 캐싱은 비용 절감과 성능 향상에 매우 유용한 도구입니다. 동일한 프롬프트를 반복해서 사용하면 불필요한 연산과 토큰 비용을 줄일 수 있으며, 지연 시간도 크게 줄어듭니다. 이를 통해 AI 서비스를 효율적으로 운영할 수 있으며, 특히 장기적으로 비용을 절감하는 데 큰 도움이 됩니다.
자세한 내용은 오픈AI 공식 문서를 참고해주세요: https://platform.openai.com/docs/guides/prompt-caching
오픈AI 프롬프트 캐싱을 설명하는 유튜브 영상도 참고해보세요.
