기계에게 '예의'를 가르치다: 챗GPT와 RLHF 이야기

우리는 종종 챗GPT와 대화를 나누다 깜짝 놀라곤 합니다. 단순히 지식이 방대해서가 아니라, 마치 내 의도를 꿰뚫어 보는 듯한 '눈치'와 상황에 맞는 '배려'가 느껴지기 때문입니다. 도대체 차가운 기계가 어떻게 인간의 미묘한 뉘앙스를 이해하게 되었을까요?

그 비밀은 단순히 엄청난 양의 데이터를 학습한 데에 있지 않습니다. AI라는 거대한 엔진에 방향을 잡아주는 '나침반' 역할을 한 존재, 바로 '사람'이 있었기 때문입니다. 오늘은 휴먼 인 더 루프(Human-in-the-Loop)의 결정체이자, AI에게 인간의 마음을 가르친 핵심 기술 'RLHF(인간 피드백 기반 강화학습)'가 구체적으로 어떻게 작동하는지 그 이면을 들여다보려 합니다.

 

1단계: 모범 답안 보여주기 (Supervised Fine-Tuning, SFT)

가장 먼저 하는 일은 AI에게 '시범'을 보여주는 것입니다. 갓 태어난 AI 모델은 인터넷의 온갖 글을 다 읽었지만, 질문에 어떻게 대답해야 예의 바르고 정확한지는 모르는 상태입니다.

그래서 사람이 직접 개입합니다.

• 사람의 역할: 질문(프롬프트)을 던지고, 그에 대해 사람이 직접 작성한 이상적인 답변을 AI에게 입력합니다.
• 학습 내용: AI는 "아, 사용자가 '요약해줘'라고 하면 이런 말투와 형식으로 대답해야 하는구나"라고 흉내 내는 법을 배웁니다. 이것을 지도 학습(Supervised Learning)이라고 합니다.

하지만 모든 질문에 대해 사람이 일일이 답을 달아주는 건 불가능하죠. 그래서 다음 단계로 넘어갑니다.

2단계: 채점 기준 만들기 (Reward Model Training)

이제 AI가 어느 정도 대답을 할 줄 알게 되었습니다. 이번 단계에서는 AI에게 '어떤 대답이 더 훌륭한지' 판단하는 능력을 가르치기 위해 별도의 **'보상 모델(채점 선생님)'**을 만듭니다.

• 진행 과정: 하나의 질문에 대해 AI가 4~5가지의 서로 다른 답변을 생성하게 합니다.
• 사람의 역할: 사람은 답변을 직접 쓰는 대신, 생성된 답변들을 읽어보고 순위를 매깁니다. "이 답변이 제일 좋고(1등), 이건 말이 좀 어색하네(2등), 이건 틀린 정보야(꼴등)" 하는 식이죠.
• 학습 내용: 이 데이터를 바탕으로 보상 모델은 "사람들은 이런 스타일의 답변을 선호하는구나"라는 패턴을 익히게 됩니다. 이제 사람이 없어도 이 모델이 AI의 답변에 점수를 줄 수 있게 되는 것이죠.

3단계: 스스로 연습하며 강화하기 (PPO, Proximal Policy Optimization)

마지막 단계가 바로 진짜 강화학습이 일어나는 구간입니다. 이제 AI(학생)와 보상 모델(채점 선생님) 둘만 남겨두고 끊임없이 연습을 시킵니다.

• 진행 과정:
  1. AI가 새로운 질문에 대해 답변을 생성합니다.
  2. 2단계에서 만든 보상 모델이 그 답변을 보고 점수(보상)를 줍니다.
  3. AI는 높은 점수를 받기 위해 자신의 답변 방식을 조금씩 수정합니다.
• 핵심 기술 (PPO): 여기서 중요한 것은 AI가 점수 따기에만 급급해서 이상한 꼼수를 부리거나, 원래 학습했던 언어 능력을 망가뜨리지 않도록 '너무 급격하게 변하지 말라'는 제약을 거는 기술(PPO)을 사용합니다.
• 결과: 이 과정을 수백만 번 반복하면서, AI는 사람이 선호하는 뉘앙스, 윤리적 기준, 도움 되는 답변 스타일을 스스로 체득하게 됩니다.

---

요약: 사람이 나침반 역할을 하다

결국 RLHF는 '사람의 가치관과 선호도'를 AI라는 거대한 엔진에 주입하는 과정입니다.

• 1단계에서는 사람이 직접 운전하는 법을 보여주고,
• 2단계에서는 채점표를 만들어주고,
• 3단계에서는 그 채점표를 보며 AI가 스스로 베스트 드라이버가 되도록 훈련시키는 것입니다.

이 과정 덕분에 챗GPT는 단순히 다음 단어를 예측하는 확률 게임을 넘어, 인간의 의도에 부합하는 결과를 내놓을 수 있게 되었습니다.

 

RLHF(인간 피드백 기반 강화학습)는 거대 언어 모델이 인간의 언어를 넘어 인간의 의도를 이해하게 만든 혁신적인 열쇠였습니다. 1단계 시범 보이기부터 3단계 강화학습까지, 이 치열한 과정을 통해 AI는 비로소 우리의 유용한 도구가 되었습니다.

하지만 이것은 끝이 아닙니다. AI는 지금도 사용자인 여러분과의 대화를 통해 끊임없이 배우고 성장하고 있습니다. 앞으로 펼쳐질 AI 시대, 기술의 완성도는 얼마나 더 정교한 '인간의 피드백'이 더해지느냐에 달려 있을 것입니다. 사람과 AI가 서로를 가르치며 성장하는 '휴먼 인 더 루프'의 여정은 이제 막 시작되었습니다.