캐나다의 주목받는 의료 검토에서 딜로이트 보고서 오류가 발견된 후 공공 정책 연구에 대한 감시가 강화되고 있습니다.
목차
뉴펀들랜드 래브라도 의료 검토에서 AI 관련 문제가 어떻게 드러났는가?
캐나다 정부가 의뢰한 Deloitte의 의료 분석 보고서가 $1.6 million에 달하는 비용이 들었으며, The Independent의 조사에 따르면 명백한 AI 생성 부정확성을 포함하고 있습니다. 이 526페이지에 달하는 문서는 5월에 뉴펀들랜드 래브라도 정부에 의해 공개되었으며, 이 지역의 보건 부문에서 최근 가장 비싼 컨설팅 계약 중 하나를 나타냅니다.
이 보고서는 당시 자유당이 이끄는 보건 및 커뮤니티 서비스 부서를 위해 준비되었습니다. 이는 가상 진료, 유지 인센티브, 그리고 뉴펀들랜드와 래브라도가 심각한 간호사 및 의사 부족에 직면한 시기에 COVID-19 팬데믹이 의료 종사자들에게 미친 영향을 조사했습니다. 그러나 이후의 언론 검토는 이러한 권고 사항을 뒷받침하는 증거의 신뢰성에 대한 의문을 제기했습니다.
캐나다의 가장 동쪽에 위치한 주에 초점을 맞춘 진보적인 매체인 The Independent는 여러 잠재적인 부정확성과 이상 현상을 발견했습니다. 더욱이, 조사 결과에 따르면 일부 기초 연구 인용문이 인공지능 도구의 도움으로 생성되거나 왜곡되었을 가능성이 있으며, 주요 서사는 기계에 의해 작성되지 않았습니다.
조사관들이 발견한 캐나다 의료 보고서 오류의 종류는 무엇인가?
The Independent에 따르면, Deloitte 보고서에는 허구의 학술 논문을 참조한 허위 학술 인용이 포함되어 있었습니다. 이러한 가상의 출처는 의료 지출 결정에 중요한 요소인 비용 효과 분석을 뒷받침하는 데 사용되었습니다. 또한, 보고서는 실제 연구자들을 그들이 전혀 참여하지 않은 연구에 잘못 연결하여 존재하지 않는 강력한 증거가 있는 것처럼 보이게 했습니다.
일부 인용은 연구자들이 전혀 협력한 적이 없다고 말한 논문을 공동 저술했다고 설명하며 더 나아갔습니다. 그렇다고 해서 검토가 모든 참고 문헌이 결함이 있다고 주장한 것은 아닙니다. 대신, 우려는 인용 문제의 패턴에 집중되어 있으며, 이는 인력 배치, 가상 진료 및 시스템 개혁에 대한 보고서의 결론에 대한 신뢰를 저해할 수 있습니다.
보고서는 또한 캐나다 호흡기 치료 저널에 게재되었다고 주장되는 기사를 인용했습니다. 그러나 조사관들은 저널의 데이터베이스에서 해당 논문을 찾을 수 없었고, 생성 도구가 그럴듯하게 들리지만 존재하지 않는 출처를 만들어냈을 가능성에 대한 우려가 깊어졌습니다.
Deloitte는 AI 생성 인용에 대한 의혹에 어떻게 대응했는가?
Fortune에 대한 성명에서, Deloitte Canada의 대변인은 작업의 실질적인 내용을 옹호했습니다. 대변인은 “Deloitte Canada는 보고서에 제시된 권고안을 확고히 지지합니다.”라고 말했습니다. “보고서의 결과에 영향을 미치지 않는 소수의 인용 수정 작업을 위해 보고서를 수정하고 있습니다.”
대변인은 인공지능이 보고서를 직접 작성한 것은 아니라고 덧붙였습니다. 대신, AI는 “소수의 연구 인용을 지원하기 위해 선택적으로 사용되었다”고 말했습니다. 그러나 의료 연구의 규모와 재정적 이해관계를 고려할 때, 비평가들은 기계 생성 참조에 대한 제한적인 의존조차도 훨씬 더 엄격한 검증과 투명성을 요구한다고 주장합니다.
게다가, 인용 수정이 보고서의 결론에 영향을 미치지 않는다는 회사의 입장은 비판을 받고 있습니다. 일부 학자와 정책 입안자들은 조작되거나 잘못된 연구가 하류 비용 효율성 모델이나 인력 예측을 재평가하지 않고 어떻게 수정될 수 있는지에 대해 의문을 제기하고 있습니다.
영향을 받은 연구자들은 컨설팅 회사의 사실 확인 과정에 대해 뭐라고 말하나요?
노바스코샤에 있는 달하우지 대학교 간호학부의 겸임 교수인 게일 톰블린 머피는 잘못 인용된 사람들 중 한 명이었습니다. 그녀는 The Independent에 Deloitte가 “존재하지 않는” 학술 논문에서 그녀를 인용했다고 말했습니다. 그녀는 잘못된 인용에 언급된 다른 여섯 명의 저자 중 세 명과만 작업한 적이 있으며, 전체 그룹과는 작업한 적이 없다고 언급했습니다.
“이런 것들을 만들어내고 있다면, 아마도 AI를 상당히 많이 사용하여 작업을 생성하고 있을 것입니다,”라고 Tomblin Murphy는 말했습니다. 그녀의 발언은 생성 도구가 설득력 있지만 부정확한 참고 문헌을 만들어낼 수 있다는 점에 대해 학계에서 커져가는 불안을 강조합니다. 특히 컨설턴트들이 각 참고 문헌을 철저히 검증하지 않을 때 더욱 그렇습니다.
그녀는 공공 정책을 안내하는 보고서가 검증된 고품질의 증거로 뒷받침되어야 한다고 추가로 경고했습니다. 또한, Tomblin Murphy는 정부와 대중이 그러한 작업에 상당한 금액을 지불하기 때문에, 그것이 “정확하고 증거에 기반하며 사안을 진전시키는 데 도움이 되어야 한다”고 강조했습니다. 그녀의 비판은 단일 기술적 오류보다는 실사 과정의 붕괴로 인식되는 점을 강조합니다.
정부가 의뢰한 보고서의 비용은 얼마였으며, 정치적 여파는 무엇인가?
지난 수요일 블로그 게시물에 공개된 정보 접근 요청에 따르면, 캐나다 정부는 Deloitte 연구에 대해 총 160만 달러에 조금 못 미치는 금액을 지불했으며, 이는 8회에 걸쳐 발행되었습니다. 월요일 기준으로, 이 보고서는 그 참조와 방법론에 대한 논란이 일고 있음에도 불구하고 여전히 뉴펀들랜드 래브라도 정부 웹사이트에서 이용 가능했습니다.
보고서가 전달된 이후 주의 정치적 지도부가 변경되었습니다. 뉴펀들랜드 래브라도르의 진보보수당 대표인 토니 웨이크햄이 10월 말에 주의 새로운 수상으로 취임했습니다. 그러나 수상실과 보건 및 커뮤니티 서비스부는 Fortune의 5월 보고서에 대한 질문에 즉각적으로 응답하지 않았으며, 현재까지 그 우려에 대해 공개적으로 언급하지 않았습니다.
그 침묵은 보고서의 권고 사항이 계속해서 보건 정책을 이끌어갈 것인지에 대한 의문을 남깁니다. 또한, 컨설팅 회사의 연구가 핵심 공공 서비스에 영향을 미치기 전에 어떻게 검토되는지에 대해 주 정부 입법자나 연방 감독 기관의 추가적인 조사가 이루어질 가능성을 제기합니다.
이 딜로이트 보고서 오류는 호주 복지 사례와 어떻게 비교됩니까?
캐나다의 폭로는 호주에서의 유사한 문제를 따릅니다. 7월, Deloitte는 호주 정부가 복지 준수를 강화하는 데 도움을 주기 위해 29만 달러의 보고서를 작성했습니다. 237페이지에 달하는 이 연구는 생성 기술에 의존했으며, 나중에 존재하지 않는 학술 연구에 대한 언급과 연방 법원 판결에서 조작된 인용문을 포함한 “환각“을 포함하고 있는 것으로 밝혀졌습니다.
한 연구원이 문제를 지적한 후, Deloitte는 호주 연구의 수정된 버전을 발표했습니다. 지난달 정부 웹사이트에 조용히 업로드된 업데이트된 보고서는 초기 문서를 작성하는 데 Azure OpenAI 생성 언어 시스템을 사용했음을 인정했습니다. 이러한 인정은 외부의 검토가 잘못된 인용을 드러낸 후에야 이루어졌습니다.
업데이트된 호주 보고서에서 Deloitte는 “수정 사항이 보고서의 실질적인 내용, 결과 및 권고 사항에 전혀 영향을 미치지 않는다”고 썼습니다. 그러나 비평가들은 조작된 출처가 본질적으로 증거 기반 권고의 무결성에 의문을 제기한다고 주장했으며, 이는 단순한 외관상의 문제가 아닙니다. 게다가, 이 두 번째 사건은 Deloitte AI 환각과 회사 내부 사실 확인의 견고성에 대한 논쟁을 더욱 심화시켰습니다.
Deloitte가 직면한 재정적 결과는 무엇이며, 캐나다에 남아 있는 미해결 문제는 무엇인가?
호주 사례의 일환으로, Deloitte의 현지 회원사는 결함이 있는 복지 보고서에 대해 연방 정부에 부분 환불을 제공해야 했습니다. 이러한 재정적 처벌은 관계자들이 AI 관련 부정확성을 보상할 만큼 심각하게 여겼음을 나타냅니다.
반면, 캐나다의 의료 보고서와 관련된 잠재적인 환불이나 계약적 구제책에 대한 정보는 아직 공개되지 않았습니다. 그렇긴 하지만, 정책 입안자, 의료 종사자, 그리고 납세자들이 이제 증거 기반에 대한 출판 후 수정이 필요한 연구에 대해 충분한 가치를 받았는지 여부를 묻기 시작하면서 압력이 커질 수 있습니다.
더 넓게 보면, 두 에피소드는 정부가 엄격한 안전장치 없이 생성 기술을 사용하는 대형 컨설팅 회사에 의존할 때 증가하는 위험을 강조합니다. 또한, 공공 기관이 특히 수년간 중요한 서비스를 형성할 수 있는 길고 복잡한 정책 보고서에서 출처를 검증하기 위한 더 강력한 기준이 필요하다는 것을 시사합니다.
요약하자면, Deloitte의 캐나다 의료 검토와 호주의 복지 연구에 대한 진행 중인 조사는 AI 지원 연구가 공공 정책 결정에 정보를 제공할 때 신뢰할 수 있는 증거, 투명한 방법론, 그리고 강력한 감독의 긴급한 필요성을 강조합니다.




