새로운 연구에 따르면 인공지능 모델이 화면을 클릭하는 방식 자체가 그들에 대한 공격 수단이 될 수 있다. 연구진은 화면상의 지시를 실제 클릭으로 변환하는 AI 시스템인 GUI 비주얼 그라운딩 모델이 좌표를 생성하는 방식에 이전까지 간과되었던 취약점이 존재한다는 사실을 발견했고, 이를 입증하기 위해 MissClick이라는 실제 동작하는 익스플로잇을 제작했다. 연구자 Yu Ran이 발표한 이 결과는, 데스크톱, 웹, 모바일 플랫폼에서 작업 자동화에 점점 더 깊이 통합되고 있는 GUI 모델이 직면한 적대적 공격의 새로운 범주를 드러낸다.
Summary
핵심 요약
- GUI 비주얼 그라운딩 모델은 화면 클릭 좌표를 원시 숫자가 아니라 숫자 토큰 시퀀스로 생성한다.
- 백의 자리와 같은 높은 자릿수의 한 자리 숫자만 바뀌어도 화면에서 클릭 위치가 100 단위만큼 이동할 수 있다.
- MissClick은 두 가지 변형을 가진 화이트박스 공격으로, 무작위 교란을 위한 MissClick-U와 목표 지점 탈취를 위한 MissClick-T가 있다.
- MissClick-U는 OS-Atlas에서 75.07%, UGround에서 72.93%의 비표적(untargeted) 공격 성공률을 기록했다.
- MissClick-T는 OS-Atlas에서 44.86%, UGround에서 62.67%의 표적(targeted) 공격 성공률을 기록했다.
GUI 비주얼 그라운딩 모델이 좌표를 생성하는 방식
GUI 비주얼 그라운딩 모델은 직접적인 수치 좌표를 출력하는 대신 숫자를 한 자리씩 예측해 내보내며, 겉보기에는 사소해 보이는 이 설계 선택이 실제로는 보안에 중대한 영향을 미친다. 연구에 따르면, 이러한 모델은 애초에 숫자 단위 조작에 대한 적대적 저항성을 고려하지 않고 설계되었으며, 바로 이 틈을 MissClick이 파고든다.
숫자 직렬화 기반 좌표 예측
이들 모델은 X-Y 좌표를 하나의 숫자로 출력하는 대신, 개별 숫자 토큰의 시퀀스로 생성하고, 이후 이를 실제 화면상의 한 점에 매핑되는 사용 가능한 수치 값으로 파싱한다. 각 숫자 토큰은 연속적인 수의 일부가 아니라, 어휘에서 단어를 고르듯이 범주형 선택으로 모델에 의해 취급된다.
자릿값이 좌표 변위에 미치는 영향
이 차이는 숫자가 다시 수로 파싱되는 순간부터 엄청난 의미를 갖는다. 연구에 따르면, 백의 자리 숫자를 한 값만 바꾸어도 해당 좌표 성분이 화면 위치로 변환될 때 100 단위만큼 이동할 수 있다. 실제로는 거의 눈에 띄지 않는 단일 토큰의 미세한 조정만으로도 클릭이 원래 목표에서 멀리 빗나가게 만들 수 있는데, 이는 모델이 숫자를 “생각하는” 방식과 그 숫자가 실제 픽셀로 변환된 뒤 동작하는 방식 사이의 불일치를 보여준다.
MissClick: GUI 그라운딩 모델에 대한 적대적 공격
이 발견을 바탕으로 연구자는 MissClick이라는 화이트박스 적대적 공격을 제안한다. 이 공격은 범주형 숫자 예측과 수치 좌표 출력 사이의 불일치를 악용하도록 설계되었다. 기존에 GUI 모델을 대상으로 한 일반적인 적대적 공격과 달리, MissClick은 출력물을 단순한 텍스트로 취급하는 대신 숫자 직렬화 좌표의 자릿값 구조에 맞춰 특별히 설계되었다.
공격 변형: MissClick-U와 MissClick-T
MissClick은 공격자의 목표에 따라 두 가지 뚜렷한 형태로 제공된다. MissClick-U는 비표적 버전으로, 모델이 잘못된 위치를 클릭하게 만들기만 하면 되며, 올바른 영역 밖이라면 어디든 성공으로 간주한다. MissClick-T는 표적 버전으로, 클릭을 단순히 무작위로 빗나가게 하는 것이 아니라 공격자가 지정한 특정 영역으로 유도하도록 설계되었다.
서로 다른 공격 목표와 최적화 전략
두 변형은 비표적 교란과 표적 교란의 성공 조건이 다르기 때문에 서로 다른 수학적 목표에 의존한다. MissClick-U는 연구에서 소프트 좌표 변위라고 부르는 값을 최대화함으로써, 예측된 클릭을 정답 위치에서 가능한 한 멀리 밀어낸다. 반면 MissClick-T는 자릿값 가중 타깃 숫자 손실(place-weighted target-digit loss)을 최소화하는데, 이는 좌표가 파싱될 때 가장 큰 점프를 만들어 내는 높은 자릿수의 숫자를 우선적으로 조작하는 기법이다. 이러한 표적 대 비표적의 구분은 GUI 비주얼 그라운딩 보안 연구 전반의 더 넓은 논점을 반영한다. 공격자는 단순한 혼란을 노리는지, 아니면 정밀한 조작을 노리는지에 따라 최적화 전략을 다르게 선택한다.
실험 평가 및 공격 성공률
두 가지 MissClick 변형은 데스크톱, 웹, 모바일 그라운딩 작업을 포괄하는 두 개의 대표 벤치마크인 OS-Atlas와 UGround에서 기존 공격들과 비교 평가되었다. 결과에 따르면 이 숫자 직렬화 좌표 취약점은 주변적인 특이 사례가 아니라, 대규모로 악용 가능한 문제이며 두 공격 유형 모두 기존 방법을 크게 능가했다.
OS-Atlas와 UGround에서의 비표적 공격 성능
MissClick-U는 OS-Atlas에서 75.07%, UGround에서 72.93%의 비표적 성공률을 기록했으며, 이는 각각 기존 공격 기준선 대비 16.62, 30.72 퍼센트포인트 향상된 수치다. 이는 비표적 교란을 위해 테스트된 목표들 가운데 가장 높은 점수이며, 연구는 이러한 우위를 소프트 좌표 변위 접근법 덕분이라고 설명한다.
OS-Atlas와 UGround에서의 표적 공격 성능
MissClick-T의 수치 역시 표적 공격 측면에서 인상적인 결과를 보여준다. OS-Atlas에서 44.86%, UGround에서 62.67%의 성공률을 기록했으며, 이는 기존 방법 대비 각각 31.73, 47.06 퍼센트포인트 향상된 수치다. 여기서 보고된 MissClick 공격 성공률은, 공격자가 단순한 교란이 아니라 정밀한 조작을 원할 때 자릿값 가중 타깃 숫자 최적화가 가장 강력한 전략임을 확인해 주는데, 연구에서 테스트된 다른 표적 목표들을 일관되게 능가했기 때문이다.
종합하면, 비표적 성능과 표적 성능 사이의 격차는 실질적인 긴장을 드러낸다. 클릭을 특정 지점으로 탈취하는 것은 단순히 모델이 빗맞게 만드는 것보다 본질적으로 더 어렵다. 이는 단일 숫자를 바깥쪽으로 밀어내는 것에 그치지 않고 여러 자릿수를 동시에 제어해야 하기 때문이다. 이러한 비대칭성은 향후 방어 전략의 우선순위에 영향을 줄 수 있다. 무작위 오작동에 강한 모델이 반드시 정밀한 재지정 공격에도 강한 것은 아니며, 이는 실제 작업을 자동 클릭에 의존하는 모든 시스템에서 매우 중요한 차이점이다.
FAQ
MissClick이 GUI 그라운딩 모델에서 악용하는 주요 취약점은 무엇인가?
MissClick은 각 숫자가 범주형 토큰으로 취급되고, 높은 자릿수의 숫자 변화가 토큰이 수로 파싱된 뒤 큰 좌표 변위를 일으키는 숫자 직렬화 좌표 생성 과정을 악용한다.
MissClick 공격의 두 가지 변형과 그 목표는 무엇인가?
MissClick-U는 좌표 변위를 최대화해 전반적으로 클릭을 교란하는 비표적 공격이며, MissClick-T는 자릿값 가중 타깃 숫자 손실을 최소화해 좌표를 공격자가 지정한 영역으로 탈취하는 표적 공격이다.
MissClick 공격은 서로 다른 데이터셋에서 얼마나 효과적인가?
MissClick-U는 OS-Atlas에서 약 75%, UGround에서 73%의 비표적 성공률을 달성했으며, MissClick-T는 OS-Atlas에서 약 45%, UGround에서 63%의 표적 성공률을 달성했다.
{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”MissClick이 GUI 그라운딩 모델에서 악용하는 주요 취약점은 무엇인가?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MissClick은 각 숫자가 범주형 토큰으로 취급되고, 높은 자릿수의 숫자 변화가 토큰이 수로 파싱된 뒤 큰 좌표 변위를 일으키는 숫자 직렬화 좌표 생성 과정을 악용한다.”}},{“@type”:”Question”,”name”:”MissClick 공격의 두 가지 변형과 그 목표는 무엇인가?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MissClick-U는 좌표 변위를 최대화해 전반적으로 클릭을 교란하는 비표적 공격이며, MissClick-T는 자릿값 가중 타깃 숫자 손실을 최소화해 좌표를 공격자가 지정한 영역으로 탈취하는 표적 공격이다.”}},{“@type”:”Question”,”name”:”MissClick 공격은 서로 다른 데이터셋에서 얼마나 효과적인가?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”MissClick-U는 OS-Atlas에서 약 75%, UGround에서 73%의 비표적 성공률을 달성했으며, MissClick-T는 OS-Atlas에서 약 45%, UGround에서 63%의 표적 성공률을 달성했다.”}}]}
이 기사는 인공지능의 도움을 받아 제작되었으며, 편집팀의 검수를 거쳤습니다.
