CriticGPT, 이제부터 AI가 AI를 평가하고 검토한다

얼마 전까지만 해도, AI가 내놓은 답은 결국 실수가 있기 마련이기 때문에, 사람들은 AI에 의해 대체되지 않으며, AI의 답변을 평가하고 검토하는 역할을 맡게 될 것이라는 전문가들의 의견이 많았는데요. 하지만 문제는 AI가 점점 발전하면서, 전문가들조차 AI가 내놓은 답변에서 실수한 부분을 찾기가 쉽지 않아졌습니다. OpenAI의 이번 CriticGPT 발표 속 표현을 빌리자면, ‘AI의 실수가 점점 미묘해진다‘라고 말할 수 있는 것이죠.

• As we make advances in reasoning and model behavior, ChatGPT becomes more accurate and its mistakes become more subtle.

OpenAI의 CriticGPT 발표

최근 OpenAI에서 CriticGPT라는 기술을 발표하며 큰 반향을 일으키고 있습니다. 내용을 요약하자면, CriticGPT는 최신 인공지능 모델인 GPT-4를 기반으로 RLHF* 방식으로 훈련하여, AI가 내놓은 답변을 평가하고 피드백하는 기능을 강화했다고 합니다. 물론 지금도 AI 모델을 2개 이상 활용하여 Prompt Chaining(프롬프트 체이닝) 기법으로 CriticGPT와 비슷하게 구현할 수는 있습니다. 하지만 이제는 이 역할에 특화된 모델과 워크플로우를 OpenAI가 직접 개발했다는 얘기이므로, 기존과 전혀 다른 결과를 낼 것임은 자명해보입니다.

• RLHF (Reinforcement Learning from Human Feedback): 사람의 피드백을 이용해 모델을 강화 학습시키는 방법입니다. ChatGPT도 RLHF 방식으로 개발되었지만, 일반적인 ChatGPT의 경우 오류나 실수가 없는 데이터로만 학습했다면, CriticGPT는 일부러 오류나 실수가 있는 데이터들로 학습하여 피드백 성능을 강화했다고 이해할 수 있습니다.

OpenAI 발표 링크: https://openai.com/index/finding-gpt4s-mistakes-with-gpt-4/

사람 VS 인공지능 피드백 실험결과

실험 결과에 따르면, 놀랍게도 사람이 직접 피드백한 것보다 CriticGPT가 피드백한 것이 더 나은 결과를 보여주었습니다. 이제는 AI의 답변을 평가하고 피드백하는 역할도 AI가 모두 대체한다는 뜻이겠죠. 실제로 CriticGPT는 OpenAI에서 인공지능 모델을 훈련시키는 AI 트레이너들에게 도움이 되는 비평을 제공하여 RLHF 과정을 더 효율적으로 만들고 있다고 합니다. 그에 따라 인공지능 모델의 성능 향상이 더 가팔라질 것이며, AI의 실수와 헬루시네이션을 감소시키는 데에도 효과가 있다고 합니다.

머지않은 미래에는 판사, 의사, 정치인과 같은 전문가들도 AI가 내놓은 답을 실제로 시행하도록 도장만 찍는 역할이 되지 않을까 예상해 봅니다.