언어 모델이 유용하고 안전하도록 파인튜닝될 때 조용히 일어나는 일이 있다 — 모델이 다른 모든 모델과 비슷하게 들리기 시작한다. 이러한 균질화 효과는 오랫동안 모드 붕괴(mode collapse)로 알려져 있으며, 불완전한 학습 알고리즘의 부산물로 여겨져 왔다. 그러나 새로운 연구는 이 가정을 근본부터 뒤흔들며, 문제의 원인을 알고리즘이 아니라 데이터 자체, 더 구체적으로는 모든 선호 레이블에 내재된 깊이 인간적인 인지적 특이성으로 추적한다.
Summary
핵심 요약
- 사후 정렬(post-training alignment)은 대규모 언어 모델의 다양성을 감소시켜, 반복적이고 예측 가능한 출력을 생성하는 경향인 모드 붕괴를 초래한다.
- 근본 원인은 선호 데이터에 존재하는 전형성 편향(typicality bias)이다. 인간 주석자는 익숙하게 들리는 텍스트를 일관되게 선호하며, 이는 대규모로 모델의 행동을 형성한다.
- 전형성 편향은 인지 심리학에 뿌리를 두고 있으며, 이론적으로 정식화되었고 선호 데이터셋에 대한 실증 분석을 통해 검증되었다.
- Verbalized Sampling(VS)은 모델이 여러 개의 응답과 그에 대한 확률 추정치를 함께 생성하도록 요청함으로써 모드 붕괴를 상쇄하는, 학습이 필요 없는 프롬프트 기법이다.
- 창의적 글쓰기 과제에서 VS는 직접 프롬프트에 비해 출력 다양성을 1.6~2.1배 증가시키며, 대화, 개방형 질의응답, 합성 데이터 생성 전반에서 이득을 보인다.
사후 정렬과 전형성 편향에 의해 유도되는 모드 붕괴
모드 붕괴 완화는 현대 AI 개발에서 가장 시급한 과제 중 하나가 되었다. 그 이유는 이 문제가 너무나도 쉽게 간과되기 때문이다. 파인튜닝된 모델은 여전히 질문에 답한다. 여전히 시를 쓴다. 다만, 약간씩 다른 단어를 쓸 뿐, 계속해서 같은 종류의 시만 쓴다.
사후 정렬이 LLM 다양성에 미치는 영향
사후 정렬 — 기본 언어 모델을 인간 피드백을 통해 더 유용하고, 무해하며, 정직하도록 조정하는 과정 — 은 대규모 언어 모델의 생성 다양성을 일관되게 감소시킨다. 그 결과는 출력 공간의 축소이다. 모델은 더 작은 집합의 “허용 가능한” 응답으로 수렴하며, 분포의 꼬리를 잘라내면서 독창성과 다양성을 희생한다.
이는 단순한 스타일 문제에 그치지 않는다. 합성 데이터 생성, 창의적 글쓰기, 대화 시뮬레이션과 같은 응용 분야에서는 다양성이 기능적 요구사항이다. 평균으로 붕괴된 모델은 동일한 편향을 강화하는 학습 데이터를 만들어내고, 각본처럼 느껴지는 대화와, 파생적이고 진부하게 느껴지는 창작물을 산출한다.
선호 데이터에서 전형성 편향의 역할
전형성 편향은 이 문제의 핵심 메커니즘이다. 인간 주석자가 모델 출력물을 평가하고 어떤 응답을 선호하는지 레이블링할 때, 그들은 체계적으로 익숙하게 느껴지는 텍스트 — “전형적인” 좋은 답변처럼 보이는 응답 — 를 선호한다. 새로운 것보다 전형적인 것을 선호하는 이러한 경향은 AI 라벨러에게만 특유한 결함이 아니라, 인간이 정보를 범주화하고 평가하는 방식을 설명하는 인지 심리학의 잘 확립된 발견을 반영한다.
이러한 결과는 규모가 커질수록 상당한 영향을 미친다. 수천 개의 주석으로 구축된 선호 데이터셋은 비전형적이지만 타당한 응답에 대한 구조적 편향을 내포한다. 이 데이터로 학습된 모델은 암묵적으로, 익숙하지 않은 출력은 덜 바람직하다고 학습한다 — 그 출력이 정확하거나, 창의적이거나, 중간값과 의미 있게 다르더라도 말이다. 다시 말해, AI 시스템의 전형성 편향은 학습 파이프라인을 통해 전달된 인간 인지의 유산이다.
전형성 편향에 대한 이론적·실증적 분석
이 연구는 문제를 식별하는 데서 멈추지 않는다. 저자들은 전형성 편향을 이론적으로 정식화하여, 주석자의 선호가 어떻게 정렬된 모델의 학습 분포를 왜곡하는지 설명하는 엄밀한 프레임워크를 구축한다. 이어서 실제 선호 데이터셋을 대상으로 이 효과를 실증적으로 검증하여, 이 편향이 우연한 것이 아니라 모드 붕괴 현상의 중심에 있는 광범위한 현상임을 확인한다.
이러한 이중 접근 — 이론적 정식화와 실증적 검증 — 은 모드 붕괴를 막연한 관찰에서 다루기 쉬운, 잘 정의된 문제로 전환한다는 점에서 중요하다. 또한 임시방편식 엔지니어링이 아닌, 원칙에 기반한 해결책의 문을 연다. 정렬이 왜 출력 다양성을 좁히는지 이해함으로써, 연구자들은 증상을 가리는 것이 아니라 원인을 해결하는 방법을 설계할 수 있다.
Verbalized Sampling: 모드 붕괴를 완화하는 학습 불요 접근법
제안된 해결책은 Verbalized Sampling이라 불리며, 그 핵심 통찰은 놀라울 만큼 단순하다. 모델을 다시 학습시키거나 정렬 파이프라인을 수정하는 — 비용이 많이 들고 기술적으로도 까다로운 — 방식 대신, Verbalized Sampling은 추론 시점에서 프롬프트 방식을 바꾸는 것만으로 작동한다.
Verbalized Sampling 프롬프트의 메커니즘
단일 응답을 생성하도록 모델에 요청하는 대신, Verbalized Sampling은 모델에게 여러 개의 후보 응답을 생성하고 각 응답에 명시적인 확률 추정치를 부여하도록 지시한다. 예를 들어, 프롬프트는 “커피에 대한 농담 5개와 각 농담의 확률을 생성하라”와 같이 구성될 수 있다. 모델이 하나의 응답에 곧바로 커밋하는 대신 가능한 출력 분포를 사고하도록 강제함으로써, VS는 정렬 과정이 심어놓은 모드 붕괴 경향을 우회한다. 파인튜닝에 의해 억제되었지만 지워지지는 않았던 모델의 사전 학습된 생성 다양성이, 이러한 확률적 프레이밍을 통해 다시 활성화되는 것이다.
실용적 매력도 크다. 재학습이 필요 없다. 새로운 데이터셋도 필요 없다. 모델 아키텍처를 변경할 필요도 없다. 이 방법은 어떤 정렬된 언어 모델에도 적용 가능하며, 추가적인 인프라 부담을 초래하지 않는다.
여러 과제에서의 성능 향상
다양한 과제에 걸쳐 Verbalized Sampling을 테스트한 실험은 이 접근법이 효과적임을 확인했으며, 그 이득은 미미한 수준이 아니다. 창의적 글쓰기 과제(시, 이야기, 농담)에서 VS는 직접 프롬프트에 비해 출력 다양성을 1.6~2.1배 증가시켰다. 유사한 개선은 대화 시뮬레이션, 개방형 질의응답, 합성 데이터 생성에서도 나타났다. 중요한 점은, 이러한 다양성 증대가 사실 정확성이나 안전성을 희생하지 않는다는 것이다 — 두 요소 모두 그대로 유지된다.
데이터에서 또 하나의 패턴이 드러난다. 더 성능이 뛰어난 모델일수록 Verbalized Sampling의 이점을 더 크게 누리는 경향이 있다. 이는 더 강력한 기본 모델일수록 더 많은 잠재적 다양성이 억제되어 있으며 — 정렬 학습이 더 풍부한 기저 분포를 제약해 왔고, VS가 이를 여는 더 효과적인 열쇠 역할을 한다는 점을 시사한다.
이 연구가 LLM 다양성 논의를 바꾸는 이유
이 연구가 분석적으로 중요한 이유는 제공하는 재구성 때문이다. 기존 연구 대부분은 모드 붕괴를 알고리즘적 문제 — RLHF 방법 개선, 보상 모델 수정, 학습 목표 조정 등으로 해결해야 할 문제 — 로 취급했다. 이 연구는 진단의 위치를 바꾼다. 병목은 알고리즘이 아니라 데이터에 있다. 인간이 인간적 인지 패턴을 적용해 구축한 선호 데이터셋은, 기본 레이블이 바뀌지 않는 한 어떤 알고리즘적 정교화로도 완전히 제거할 수 없는 구조적 편향을 지닌다.
이러한 데이터 중심 관점은 더 넓은 함의를 가진다. 이는 인간 피드백의 질 — 양뿐 아니라 질 — 이 정렬된 모델이 얼마나 다양하고 생성적인지를 결정하는 근본적인 제약임을 시사한다. 선호 데이터셋을 구축하는 연구자와 실무자에게 전형성 편향 발견은 구체적인 경고다. 주석자의 경향은 모델의 성격을 체계적이고, 측정 가능하며, 중대한 방식으로 형성한다.
한편 Verbalized Sampling은 학습 시점의 문제에 대한 추론 시점의 실용적인 해답을 제시한다. 그 가치는 오늘 제공하는 다양성 향상에만 있지 않다. 이 방법이 보여주는 바, 즉 사전 학습된 모델의 생성 폭은 정렬을 통해 사라진 것이 아니라 — 단지 억제되었을 뿐이며, 처음부터 다시 시작하지 않고도 해결 가능하다는 점에 있다.
FAQ
대규모 언어 모델에서 모드 붕괴는 무엇 때문에 발생하나요?
모드 붕괴는 주로 사후 정렬에 사용되는 선호 데이터의 전형성 편향 때문에 발생한다. 주석자는 익숙하게 들리는 텍스트를 체계적으로 선호하며, 이 편향은 인지 심리학에 뿌리를 두고 있다. 그 결과, 모델은 예측 가능한 출력으로 수렴하고, 비전형적이지만 타당한 응답을 회피하도록 학습된다.
Verbalized Sampling은 어떻게 모드 붕괴를 완화하나요?
Verbalized Sampling은 모델이 여러 개의 후보 응답을 생성하고 그 위에 대한 확률 분포를 언어적으로 표현하도록 프롬프트한다. 예를 들어, 하나의 답변에 대한 다섯 가지 버전과 각 버전의 가능성 추정치를 함께 생성하게 한다. 이 접근법은 추가 학습이나 아키텍처 변경 없이, 모델의 사전 학습된 생성 다양성을 다시 활성화한다.
어떤 응용 분야에서 Verbalized Sampling이 다양성을 향상시키나요?
Verbalized Sampling은 창의적 글쓰기(시, 이야기, 농담), 대화 시뮬레이션, 개방형 질의응답, 합성 데이터 생성 전반에서 출력 다양성을 향상시킨다. 특히 창의적 글쓰기 과제에서 직접 프롬프트에 비해 다양성을 1.6~2.1배 증가시킨다.
Verbalized Sampling은 사실 정확성이나 안전성에 영향을 미치나요?
아니다. 연구에 따르면 Verbalized Sampling은 사실 정확성이나 안전성을 희생하지 않고 다양성을 향상시키므로, 다양성과 신뢰성이 모두 요구되는 프로덕션 사용 사례에서도 실용적인 선택지다.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”대규모 언어 모델에서 모드 붕괴는 무엇 때문에 발생하나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”모드 붕괴는 주로 사후 정렬에 사용되는 선호 데이터의 전형성 편향 때문에 발생한다. 주석자는 익숙하게 들리는 텍스트를 체계적으로 선호하며, 이 편향은 인지 심리학에 뿌리를 두고 있다. 그 결과, 모델은 예측 가능한 출력으로 수렴하고, 비전형적이지만 타당한 응답을 회피하도록 학습된다.”}},{“@type”:”Question”,”name”:”Verbalized Sampling은 어떻게 모드 붕괴를 완화하나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Verbalized Sampling은 모델이 여러 개의 후보 응답을 생성하고 그 위에 대한 확률 분포를 언어적으로 표현하도록 프롬프트한다. 예를 들어, 하나의 답변에 대한 다섯 가지 버전과 각 버전의 가능성 추정치를 함께 생성하게 한다. 이 접근법은 추가 학습이나 아키텍처 변경 없이, 모델의 사전 학습된 생성 다양성을 다시 활성화한다.”}},{“@type”:”Question”,”name”:”어떤 응용 분야에서 Verbalized Sampling이 다양성을 향상시키나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Verbalized Sampling은 창의적 글쓰기(시, 이야기, 농담), 대화 시뮬레이션, 개방형 질의응답, 합성 데이터 생성 전반에서 출력 다양성을 향상시킨다. 특히 창의적 글쓰기 과제에서 직접 프롬프트에 비해 다양성을 1.6~2.1배 증가시킨다.”}},{“@type”:”Question”,”name”:”Verbalized Sampling은 사실 정확성이나 안전성에 영향을 미치나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”아니다. 연구에 따르면 Verbalized Sampling은 사실 정확성이나 안전성을 희생하지 않고 다양성을 향상시키므로, 다양성과 신뢰성이 모두 요구되는 프로덕션 사용 사례에서도 실용적인 선택지다.”}}]}
이 기사는 인공지능의 도움을 받아 제작되었으며, 편집팀의 검수를 거쳤습니다.
