이제 점점 더 많은 과학 논문이 적어도 일부는 인공지능에 의해 평가되고 있으며, 새로운 연구에 따르면 연구자가 선택하는 단어만으로도 기저 데이터가 전혀 바뀌지 않았음에도 AI 심사자의 판정을 바꿀 수 있다고 한다. AI 리뷰에 대한 수사적 영향을 조사한 연구자들은, 근거가 아니라 ‘프레이밍’이 대형 언어 모델 기반 동료 평가 시스템에서 점수를 은밀하게 올리거나 내릴 수 있다는 사실을 발견했으며, 이로 인해 기계 심사자의 신뢰성이 실제로 얼마나 되는지에 대한 새로운 의문이 제기되고 있다.
이 우려는 가상의 문제가 아니다. 수십 년 동안 연구자들이 서로의 연구를 출판 전에 검토해 온 동료 평가 시스템은 이미 폭증하는 투고량으로 인해 흔들리고 있다. Ars Technica가 인용한 최근의 Frontiers 저널 설문조사에 따르면, 동료 평가자 절반 이상이 이미 심사 과정 어딘가에서 AI 도구에 의존하고 있으며, 이는 종종 단지 물량을 따라잡기 위한 것이다. 바로 그 의존도가 AI 리뷰에서의 수사적 편향 문제를 시급하게 만드는 이유다. 이미 기계가 논문을 채점하고 있고, 단어 선택만으로도 점수가 움직일 수 있다면, 과학적 공정성을 둘러싼 위험은 빠르게 커질 수밖에 없다.
이 격차를 측정하고자 한 팀을 이끈 사람이 바로 밍 리이며, 그들은 이를 위해 연구를 설계했다. 2026년 8월에 제출된 이 논문은 ICLR 2026 제출 논문을 중심으로 구성되었으며, 수사와 실질 내용을 분리해, 동일한 원고에서 표현 방식만으로 AI 기반 판정이 얼마나 흔들리는지를 정밀하게 측정했다. 그 결과는 구조적이고 불균형하며, 경우에 따라 놀라울 정도로 예측 가능한 편향의 양상을 보여준다.
Summary
핵심 요약
- 수사적 프레이밍만으로도 기저 과학적 내용이 동일한데도 AI 리뷰 점수가 유의미하게 변했다.
- 연구진은 효과를 검증하기 위해 120편의 익명화된 ICLR 2026 제출 논문에서 파생된 4,200편의 전체 논문 원고 코퍼스를 구축했다.
- 근거 제시 방식(evidence framing)과 새로움 주장(novelty stance)이 다른 어떤 수사적 차원보다 전체 평가 점수에서 가장 큰 변동을 이끌었다.
- 원래 AI 점수가 낮았던 논문은 수사적 재작성 후 점수가 오르는 경향을 보였고, 점수가 높았던 논문은 떨어지는 경향을 보였다.
- 더 엄격한 리뷰 프로토콜은 평균 점수를 1.36점 낮췄지만, 근본적인 수사적 민감도를 안정적으로 줄이지는 못했다.
연구 개요 및 방법론
연구팀은 논문의 표현 방식 외의 모든 변수를 제거하는 통제 실험을 설계해, 동일한 원고의 여러 버전 사이에서 오직 수사적 민감도만이 달라지도록 했다. 이러한 설계 덕분에 결과에 무게가 실린다. 원고 버전 간 점수 차이는 과학적 내용의 실제 차이가 아니라, 오로지 제시 방식의 차이로만 설명될 수 있기 때문이다.
ICLR 2026 제출 논문에서 구축한 통제 원고 코퍼스
이 효과를 깔끔하게 검증하기 위해, 연구진은 이 분야의 주요 머신러닝 학회 중 하나인 ICLR 2026에 제출된 120편의 익명화된 논문에서 파생된 4,200편의 전체 논문 원고 코퍼스를 구축했다. 각 원 논문은 여러 수사적 변형 버전으로 다시 작성되었고, 이를 통해 소수의 논문만으로는 드러나지 않을 패턴을 포착할 수 있을 만큼 충분히 큰 데이터셋이 만들어졌다.
수사적 재작성과 AI 리뷰 프로토콜
두 개의 서로 다른 대형 언어 모델 기반 재작성기가 각 원고의 여섯 가지 수사적 차원을 서로 반대 방향으로 조정했다. 예를 들어, 더 자신감 있는 프레이밍 대 더 신중한 프레이밍처럼, 보고된 과학적 내용은 그대로 둔 채 표현만 바꾸었다. 이후 다섯 개의 서로 다른 LLM 리뷰어가 이렇게 생성된 모든 원고를 평가했는데, 한 번은 표준 리뷰 프로토콜로, 또 한 번은 더 엄격한 프로토콜로 평가해, 서로 다른 평가 조건에서 수사가 어떻게 작동하는지 비교할 수 있도록 했다. 연구는 또한 공동(joint), 재귀(recursive), 리뷰어 안내형(reviewer-guided) 재작성 과정을 시험해, 전략을 결합했을 때 효과가 증폭되는지 여부도 살펴보았다.
수사적 선택이 AI 리뷰 점수에 미치는 영향
핵심 발견은 AI 기반 동료 평가에서의 수사적 민감도가 단순한 잡음이 아니라는 점이다. 이는 명확한 위계를 따르며, 어떤 스타일 선택은 다른 것보다 훨씬 더 큰 영향을 미친다. 이러한 구조성 때문에 이 현상은 단순한 일화적 특이점이 아니라, 평가 설계자가 적극적으로 고려해야 할 요소가 된다.
핵심 수사적 차원: 근거 제시 방식과 새로움 주장
테스트된 여섯 가지 수사적 차원 가운데, 근거 제시 방식(evidence framing)과 새로움 주장(novelty stance)이 전체 평가 점수에서 가장 큰 긍·부정 대비를 만들어냈다. 범위 프레이밍(scope framing)은 그보다 약한 2차 효과를 보였고, 나머지 차원들은 더 작고 일관성이 떨어지는 영향을 보였다. 다시 말해, 논문이 얼마나 자신 있게 새로움을 주장하는지, 혹은 얼마나 단호하게 근거를 제시하는지가, 여러 다른 스타일 요소를 합친 것보다 AI 리뷰어에게 더 크게 작용할 수 있다는 뜻이다.
원래 리뷰 점수에 따른 점수 이동 패턴
점수 변화의 방향은 원고가 어디서 출발했는지에 크게 좌우되었다. 처음에 AI 리뷰 점수가 낮았던 논문은 수사적 재작성 후 점수가 오르는 경향을 보였고, 이미 높은 점수를 받았던 논문은 떨어지는 경향을 보였다. 동일한 논문에서 긍정적 프레이밍 버전과 부정적 프레이밍 버전 사이의 격차가 가장 뚜렷하게 나타난 곳은 중간 점수대였는데, 바로 이 구간이야말로 논문의 운명이 가장 치열하게 다투어지는 영역이라고 볼 수 있다.
재작성 워크플로의 복잡성과 의존성
여러 재작성 기법을 겹쳐 쓰면 점수 변동 폭이 더 커질 것이라고 예상할 수 있지만, 데이터는 이를 뒷받침하지 않았다. 공동, 재귀, 리뷰어 안내형 재작성을 포함한 더 복잡한 워크플로는 단순한 접근법보다 일관되게 더 큰 이득을 가져오지 못했다. 공동 재작성 효과는 사용된 재작성기 모델에 강하게 의존하는 것으로 드러났고, 리뷰어에게 명시적인 가이드를 제공하는 방식도, 단순히 원고를 한 번 더 비지도 방식으로 살펴보게 하는 것보다 항상 뛰어난 성과를 내지는 못했다. 반복적인 재작성은 꾸준히 누적되는 이득을 주기보다는, 설정에 따라 달라지는 한계효용 체감 효과를 보였다. 모든 조건에서 공통적으로, 재작성기는 서로 반대 방향의 수사적 변형이 얼마나 멀리 벌어지는지를 주로 결정했고, 리뷰어는 그 결과 점수 변화의 크기와 방향을 결정했다.
평가 프로토콜 효과와 시사점
리뷰 규칙을 엄격하게 만들면 전체적으로 점수는 낮아지지만, 더 중요한 문제라고 할 수 있는 근본적인 수사적 편향은 해결되지 않았다. 이는 AI 리뷰 시스템을 구축하거나 이에 의존하는 모든 이에게 중요한 시사점을 던진다.
엄격한 리뷰 프로토콜의 효과와 견고한 평가의 필요성
엄격한 리뷰 프로토콜로 전환하자, 표준 프로토콜과 비교해 평균 전체 평가 점수가 1.36점 낮아졌다. 이는 절대적인 수치로 보면 의미 있는 하락이지만, AI 리뷰어가 수사적 프레이밍에 얼마나 민감하게 반응하는지를 일관되게 줄이지는 못했다. 더 엄격한 규칙은 리뷰어를 전반적으로 더 까다롭게 만들었지만, 스타일 조작에 저항한다는 의미에서 더 공정하게 만들었다고 보기는 어려웠다.
AI 기반 동료 평가의 확산을 지켜보는 이들에게 이 구분은 중요하다. 평가 기준을 엄격하게 만드는 것만으로 수사적 민감도가 사라지지 않는다면, 단순히 AI 리뷰어에게 “더 비판적으로 보라”고 요구하는 것만으로는 해결책이 될 수 없다. 이번 연구 결과는 다른 유형의 해법을 시사한다. 즉, 내용은 그대로 둔 채 표현만 바뀌는 수사적 변형에 대해 명시적으로 견고하도록 설계된 평가 시스템, 다시 말해, 근거가 자신감 있게 제시되든 신중하게 제시되든, 기저 과학이 변하지 않는 한 동일한 방식으로 논문을 평가하는 시스템이 필요하다는 것이다.
이미 투고량, 번아웃, 인간 리뷰어 간의 일관성 부족에 대한 우려가 큰 상황에서, Ars Technica가 보도한 더 넓은 동료 평가 위기와 마찬가지로, AI 채점기에 더 많이 의존하고 싶은 유혹은 계속 커질 것이다. 이번 연구는 판단을 자동화한다고 해서 편향이 자동으로 사라지는 것은 아니라는 점, 다만 편향이 어디에서 비롯되는지가 바뀔 뿐이라는 사실을 상기시킨다.
FAQ
수사적 선택은 AI 기반 동료 평가 점수에 어떻게 영향을 미치나요?
근거 제시 방식과 새로움 주장과 같은 수사적 선택은 과학적 내용이 변하지 않은 상태에서도 AI 리뷰 판단에 상당한 영향을 미칩니다.
AI 리뷰에서 수사적 민감도를 분석하기 위해 어떤 데이터셋이 사용되었나요?
120편의 익명화된 ICLR 2026 제출 논문에서 파생된 4,200편의 원고로 구성된 통제 코퍼스가 분석에 사용되었습니다.
더 복잡한 재작성 전략이 더 나은 AI 리뷰 점수로 이어지나요?
아니요, 더 복잡한 재작성 워크플로가 AI 리뷰 점수에서 더 큰 이득을 안정적으로 가져오지는 못했습니다.
엄격한 리뷰 프로토콜을 사용하면 AI 리뷰 점수에 어떤 영향이 있나요?
엄격한 리뷰 프로토콜은 평균 전체 평가 점수를 1.36점 낮췄지만, 수사적 민감도를 일관되게 변화시키지는 못했습니다.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”수사적 선택은 AI 기반 동료 평가 점수에 어떻게 영향을 미치나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”근거 제시 방식과 새로움 주장과 같은 수사적 선택은 과학적 내용이 변하지 않은 상태에서도 AI 리뷰 판단에 상당한 영향을 미칩니다.”}},{“@type”:”Question”,”name”:”AI 리뷰에서 수사적 민감도를 분석하기 위해 어떤 데이터셋이 사용되었나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”120편의 익명화된 ICLR 2026 제출 논문에서 파생된 4,200편의 원고로 구성된 통제 코퍼스가 분석에 사용되었습니다.”}},{“@type”:”Question”,”name”:”더 복잡한 재작성 전략이 더 나은 AI 리뷰 점수로 이어지나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”아니요, 더 복잡한 재작성 워크플로가 AI 리뷰 점수에서 더 큰 이득을 안정적으로 가져오지는 못했습니다.”}},{“@type”:”Question”,”name”:”엄격한 리뷰 프로토콜을 사용하면 AI 리뷰 점수에 어떤 영향이 있나요?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”엄격한 리뷰 프로토콜은 평균 전체 평가 점수를 1.36점 낮췄지만, 수사적 민감도를 일관되게 변화시키지는 못했습니다.”}}]}
이 기사는 인공지능의 도움을 받아 제작되었으며, 편집팀의 검수를 거쳤습니다.
