RLHF

1. 개요

RLHF를 쇼거스가 쓴 스마일리 가면으로 묘사한 밈 'AI Shoggoth'

2. 작동 원리

• 사전훈련을 마친 LLM이 필요하다. 이 모델은 방대한 텍스트 데이터를 학습하여 기본적인 언어 능력을 갖추고 있다.

• 준비된 모델에게 특정 프롬프트(지시어)를 주고 여러 개의 답변을 생성하게 한다.
• 인간 평가자가 이 답변들을 보고 어떤 답변이 더 좋은지 순위를 매기거나 점수를 부여한다. (예: 답변 A > 답변 B > 답변 C)
• 수집된 인간의 선호도 데이터를 이용해, 어떤 답변이 '좋은' 답변인지를 예측하는 별도의 보상 모델을 훈련시킨다. 이 보상 모델은 특정 답변을 입력받으면 인간이 부여할 법한 '점수'(보상)를 출력한다.

• 원본 언어 모델을 강화학습의 환경 에이전트로 삼는다.
• 모델이 특정 프롬프트에 대해 답변을 생성하면(행동), 2단계에서 훈련된 보상 모델이 이 답변에 대한 점수(보상)를 준다.
• 모델은 이 보상 점수를 최대로 받는 방향으로 자신의 정책(답변 생성 방식)을 업데이트한다. 이 때 강화학습 알고리즘이 사용되는데, GPT-3을 위시한 대부분의 LLM은 주로 PPO(Proximal Policy Optimization)를 사용한다.
• 이 과정을 반복해 모델이 점차 인간의 선호도에 맞는 답변을 생성하도록 유도한다.

3. 도입 시 장점

• 인간의 가치 및 선호도 반영: '좋은 글', '도움되는 답변' 등 수치화하기 어려운 목표를 인간의 피드백을 통해 직접 학습시킬 수 있다.
• 성능 향상: 특히 대화형 AI, 콘텐츠 생성 등 주관적인 품질이 중요한 분야에서 성능을 크게 개선할 수 있다.
• 안전성 강화: 유해하거나 편향된 답변 생성을 줄이고, AI가 의도에 맞게 작동하도록(Alignment) 유도하는 데 효과적이다. 사람들이 말하는 '인공지능 정렬'이 지금까지는 RLHF로 주로 이뤄지고 있다고 보면 된다.

4. 한계

• 높은 비용과 시간: 다수의 인간 평가자가 직접 데이터를 생성하고 평가해야 하므로 비용과 시간이 많이 소요된다.
• 확장성 문제: 모든 가능한 상황에 대해 인간 피드백을 받는 것은 불가능하며, 데이터 수집 규모에 한계가 있다.
• 인간 편향성 전이: 평가자들의 주관적인 판단이나 편향이 보상 모델과 최종 모델에 그대로 학습될 수 있다.[1]
• 보상 해킹(Reward Hacking): 모델이 보상 모델의 허점을 파고들어 점수만 높고 실제로는 이상한 답변을 생성할 가능성이 있다.
• 복잡성: 전체 프로세스가 여러 단계로 이루어져 구현 및 관리가 복잡하다.

5. 주요 활용 사례

• OpenAI의 ChatGPT
• Anthropic의 Claude
• 구글의 Gemini
• Meta의 Llama 2-Chat 모델 등 다수의 LLM 파인튜닝