본문 바로가기
  • BTC $63,066 −0.3%
  • ETH $1,778 +0.2%
  • SOL $74.06 +0.4%
  • BNB $587.08 +0.4%
  • XRP $0.9747 −0.7%
  • DOGE $0.0589 −0.3%
  • ADA $0.1534 +0.6%

위키미디어 압박: AI 봇 때문에 트래픽 50% 급증

데이터 스크래핑을 위한 봇의 상승

디지털 지식의 자유로운 우주의 중심에서, Wikimedia는 최근 역사에서 가장 복잡한 도전 중 하나에 직면해 있습니다: bot automatici AI의 증가하는 물결이 체계적으로 그 내용을 약탈하고 있습니다. 

특히, 최근 몇 달 동안 소위 crawler AI에 의해 생성된 트래픽이 50% 증가하여 플랫폼의 기술적 용량과 경제적 지속 가능성을 심각하게 시험하고 있습니다.

인공지능 (AI)이 디지털 인프라에 미치는 영향 증가: 위키미디어 사례

2024년 1월부터 Wikipedia 및 기타 Wikimedia 프로젝트와 같은 플랫폼에서 다운로드된 데이터 양이 급격히 증가했습니다. 

이 증가는 인간 사용자의 참여 증가 때문이 아니라, 인공지능 모델을 개발하는 기업들이 사용하는 자동 봇의 체계적이고 종종 규제되지 않은 사용 때문입니다. 인공지능.

이 도구들은 대량의 텍스트, 이미지 및 기타 콘텐츠를 수집하고 분석하도록 설계되었으며, 알고리즘 훈련을 위한 주요 데이터 소스로 Wikimedia를 사용합니다. 

한편으로는 디지털 지식 생태계에서 플랫폼의 중심성을 증명하는 작업이지만, 다른 한편으로는 그 정보 인프라에 견딜 수 없는 압박을 가하는 작업입니다.

문제는 전송된 데이터의 양에만 있는 것이 아닙니다. 진정한 핵심 문제는 이러한 bot이 콘텐츠에 접근하는 방식에 있습니다. 

대부분의 경우, 요청은 드물거나 거의 방문하지 않는 페이지로 보내집니다. 즉, 캐싱 시스템에 포함되지 않는 페이지입니다. 이는 가장 많이 조회되는 페이지의 복사본을 일시적으로 저장하여 로딩 속도를 높이는 메커니즘입니다.

이것이 발생할 때, 요청은 server centrali에 의해 직접 처리되어야 하며, 이는 작업 부하와 특히 비용의 상당한 증가를 초래합니다. 

이 시나리오는 미디어의 주목을 크게 받는 이벤트와 동시에 발생할 때 특히 심각해지며, 이 기간 동안 “인간” 트래픽은 이미 높은 수준에 도달합니다.

봇 통제 불능: 규칙을 무시하고 차단을 회피하다

현상의 또 다른 우려스러운 차원은 점점 더 정교해지고 때로는 잘못된 행동을 보이는 크롤러에 의해 나타납니다. 이러한 봇 중 많은 수가 설정된 규칙을 무시하고, 자동 차단 시스템을 우회하며 합법적인 사용자로 위장합니다.

이러한 유형의 행위는 네트워크의 올바른 사용 규칙을 위반할 뿐만 아니라, Wikimedia의 기술 팀이 지속적인 모니터링과 인프라를 보호하기 위한 지속적인 자원 투입을 강요합니다. 

자원을 플랫폼을 강화하거나 그 콘텐츠를 풍부하게 하는 데 할당할 수 있습니다.

이 상황에 대응하여, 위키미디어 재단은 단순한 기술적 또는 방어적 반응에 그치지 않으려고 하고 있습니다. 제안된 해결책은 문제의 단순한 억제를 넘어 자유 지식의 협력적이고 지속 가능한 관리를 목표로 하고 있습니다.

이렇게 해서 WE5가 탄생했습니다, 플랫폼에 호스팅된 데이터의 수집 및 사용에서 더 공정하고 책임 있는 접근 방식을 촉진하는 것을 목표로 하는 새로운 전략적 이니셔티브입니다.

이 프로젝트는 기술 기업과 인공지능 개발자들에게 초대장으로 제시됩니다. 

구체적으로는 규칙을 준수하고, 네트워크 관리 비용에 기여하며, 세계에서 가장 중요한 자유 정보 출처 중 하나인 인프라의 생존을 보장하라는 초대입니다.

전체 사건은 지식에 대한 자유로운 접근의 미래에 대한 중요한 문제를 제기합니다: 데이터가 인공지능의 생명선이 된 시대에, 누가 그 데이터의 보존과 배포를 위해 비용을 지불합니까?

위키미디어는 항상 무료와 공유의 원칙에 의해 움직여 왔으며, 이제 개방성과 지속 가능성 사이의 교차로에 서 있습니다.

대형 기술 기업과 재단의 콘텐츠를 대량으로 사용하는 행위자들이 방향을 바꾸지 않는다면, 프로젝트는 접근성을 줄이거나 자체 인프라를 보호하기 위해 더 엄격한 제한을 도입해야 할 수도 있습니다.

디지털 공공재에 대한 존중 호소

위키미디어가 세계에 전하는 메시지는 분명합니다. 즉, 자유 지식은 공공재이며, 따라서 존중과 책임을 가지고 다루어야 한다는 것입니다.

상업적 목적으로 재단이 제공하는 방대한 정보 자산을 사용하는 것은 규칙에 따라 투명한 형태로 이루어져야 합니다. 또한, 필요한 경우 공정한 기여 형태로 동반되어야 합니다.

디지털 환경이 점점 더 알고리즘과 자동화에 의해 지배되는 상황에서, 소수의 경제적 이익에 의해 지식에 대한 접근이 손상되지 않도록 보장하는 것이 중요합니다. 

오직 커뮤니티, 기관 및 기업 간의 열린 대화를 통해서만 자유롭고 접근 가능하며 지속 가능한 글로벌 백과사전의 꿈을 계속 유지할 수 있습니다.

Alessia Pannone

Alessia Pannone의 모든 기사