■ 사진 한 구석의 워터마크가 AI를 속인다면
여러분이 인스타그램에 올리는 사진 한 귀퉁이에는 종종 브랜드 로고나 워터마크, 자막 같은 그래픽 요소가 붙어 있습니다. 사람은 그런 걸 보면서도 사진 속 인물이 누구인지, 무엇을 하고 있는지 판단하는 데 아무 지장이 없습니다. 그런데 CLIP이나 LLaVA 같은 비전-언어 모델(VLM)에게는 이 사소한 장식이 판단을 완전히 뒤엎는 트리거가 될 수 있다면 어떨까요.
보스턴 대학교의 Maan Qraitem, Piotr Teterwak, Kate Saenko, Bryan A. Plummer가 발표한 이번 논문은 바로 이 지점을 파고듭니다. 제목 그대로 웹에서 흔히 볼 수 있는 아티팩트, 즉 로고, 자막, 워터마크, 장식용 그래픽 같은 요소들을 이용해 VLM을 오작동시키는 공격을 체계적으로 밝혀낸 연구입니다. 기존에 잘 알려진 타이포그래픽 공격, 즉 사진에 목표 클래스 이름을 직접 글자로 써넣는 방식과 달리, 이번 공격은 목표 단어와 아무 관련 없어 보이는 텍스트나 그림만으로도 모델을 속일 수 있다는 점에서 훨씬 은밀하고 탐지하기 어렵습니다.
■ 스펐리어스 상관관계, 웹이 남긴 흔적
VLM은 인터넷에서 긁어모은 수억 장의 이미지-텍스트 쌍으로 학습됩니다. 문제는 이 웹 데이터에 특정 브랜드 로고나 자막 스타일이 특정 맥락과 우연히 자주 함께 등장한다는 점입니다. 예를 들어 특정 뉴스 채널의 자막 그래픽이 유독 특정 연령대나 성별의 인물 사진에 자주 붙어 있었다면, 모델은 실제 얼굴 특징이 아니라 그 자막 그래픽 자체를 해당 속성과 연결 짓는 허위 상관관계, 즉 스펐리어스 상관관계를 학습해버릴 수 있습니다. 저자들은 이런 관계를 데이터 안에서 직접 찾아내는 파이프라인을 제안합니다.
이 파이프라인은 크게 세 단계로 이루어집니다. 첫째, CLIP 기반의 유사도 검색으로 "그래픽 사진" 같은 넓은 프롬프트를 이용해 대규모 이미지-텍스트 데이터셋에서 상위 1%에 해당하는, 그래픽 요소가 많이 포함된 이미지를 걸러냅니다. 여기에 OCR을 적용해 텍스트가 없는 그래픽, 텍스트가 포함된 그래픽, 그리고 관련 없는 텍스트 이렇게 세 가지 유형으로 아티팩트를 분류합니다. 둘째, 이렇게 찾아낸 아티팩트를 목표 클래스와 반대되는 클래스의 이미지에 붙여보고, 그 결과 모델이 얼마나 자주 목표 클래스로 잘못 분류하는지를 임팩트 점수로 측정합니다. 다양한 배치 위치에서 일관되게 효과를 보이는 아티팩트만 다음 단계로 살아남습니다. 셋째, 아티팩트를 이미지의 어느 위치에 붙여야 오분류를 극대화할 수 있는지 배치를 최적화하는데, 흥미롭게도 이미지 상단 중앙 영역이 가장 강력한 공격 지점으로 나타났습니다.
■ 실험이 보여준 것, 그리고 왜 진짜 공격인지 확인하는 법
저자들은 CC12M이라는 대규모 이미지-텍스트 데이터셋에서 약 8만 7천 개의 아티팩트를 추출해 실험했습니다. 놀라운 점은 클래스별로 단 10장 정도의 이미지만으로도 아티팩트의 효과를 안정적으로 추정할 수 있었다는 것입니다. 또한 사람이 직접 검증한 결과 아티팩트 검색 과정에서 발생하는 노이즈 비율은 2% 미만으로 매우 낮았습니다.
공격 대상으로는 성별, 나이대, 웃는 표정 같은 사람 관련 속성(FairFace, CelebA 활용)과 항공기 기종, 국가 판별(FGVC Aircraft, Country211)처럼 사람과 무관한 과제까지 폭넓게 다뤘고, CLIP과 SigLIP, LLaVA를 비롯해 ViT-B-32, ViT-B-16, ViT-L-14 등 다양한 비전 인코더 조합에서 검증했습니다. 텍스트 기반 아티팩트는 여러 모델 설정에서 최대 90%에 달하는 공격 성공률을 보였고, 텍스트와 그래픽을 결합한 아티팩트는 거의 100%에 가까운 오분류율을 만들어냈습니다. 텍스트가 없는 순수 그래픽 아티팩트는 상대적으로 효과가 낮았지만, 그만큼 사람 눈에도 덜 티가 나는 은밀한 공격 수단이 될 수 있다는 점이 지적됩니다. 한 모델에서 찾아낸 아티팩트를 다른 모델에 그대로 적용해도 최대 90%의 효과를 유지하는 전이성 역시 확인되었습니다.
여기서 중요한 방법론적 디테일 하나는, 이 오분류가 정말로 아티팩트 때문인지 검증하는 절차입니다. 저자들은 아티팩트가 붙은 이미지를 목표 클래스로 잘못 분류하면서, 동시에 그 아티팩트 영역을 가렸을 때는 원래 클래스로 올바르게 분류되는 경우만 진짜 공격 성공으로 인정했습니다. 단순히 이미지 일부가 가려져서 생기는 착시 효과와 진짜 스펐리어스 상관관계를 구분하기 위한 꼼꼼한 장치입니다.
흥미로운 점은 사람 관련 속성을 분류하는 과제가 항공기나 국가 판별보다 훨씬 취약했다는 것입니다. 저자들은 이를 두고 모델이 사람의 얼굴 속성을 판단할 때 실제 시각적 특징보다 텍스트 기반의 편향에 더 크게 의존하고 있을 가능성을 시사한다고 설명합니다. 또한 더 큰 비전 인코더인 ViT-L-14가 오히려 텍스트 기반 공격에 더 취약했는데, 이는 큰 모델일수록 이미지 속 문자를 더 정교하게 읽어내는 능력, 즉 OCR 유사 능력이 강화되기 때문으로 해석됩니다. 데이터셋을 정제해도, 예를 들어 DataComp처럼 필터링을 강하게 한 데이터로 학습해도 공격 성공률에는 큰 변화가 없었다는 결과도 눈에 띕니다.
■ 방어는 가능한가, 그리고 이 연구가 남기는 숙제
저자들은 완화 전략으로 아티팩트를 인지하도록 유도하는 프롬프트, 즉 아티팩트 어웨어 프롬프팅을 시도했습니다. 이 방식은 일반적인 프롬프트 대비 공격 성공률을 최대 15% 낮추는 효과를 보였지만, 완전한 해결책과는 거리가 멀었습니다. 특히 텍스트가 없는 순수 그래픽 아티팩트는 이런 프롬프트 기반 방어에도 가장 끈질기게 저항하는 것으로 나타났습니다.
이 연구가 중요한 이유는 공격의 형태가 고정되어 있지 않다는 데 있습니다. 기존 타이포그래픽 공격은 목표 단어를 직접 써넣기 때문에 필터링으로 탐지하기가 비교적 쉬웠지만, 이번에 밝혀진 웹 아티팩트 공격은 얼핏 봐서는 목표 클래스와 전혀 무관해 보이는 로고나 자막, 장식 그래픽을 활용하기 때문에 사전에 정의된 패턴으로 걸러내기가 훨씬 까다롭습니다. 저자들은 이를 아예 탐색 문제로 정식화해, 어떤 시각적 요소든 공격 후보가 될 수 있음을 보여주었습니다.
물론 한계도 있습니다. 이 논문이 다룬 것은 CLIP 계열의 비교적 통제된 실험 환경이며, GPT-4V처럼 상용 대규모 VLM에 이 공격이 그대로 통하는지는 별도의 검증이 필요합니다. 그럼에도 불구하고 이번 연구는 얼굴 인식, 연령 추정, 콘텐츠 필터링처럼 실생활에 쓰이는 AI 시스템이 우리가 무심코 넣는 워터마크나 로고 하나로 얼마나 쉽게 흔들릴 수 있는지를 구체적인 방법론과 함께 경고합니다. 다음에 사진에 로고를 붙일 때, 그것이 AI에게는 전혀 다른 의미로 읽힐 수도 있다는 사실을 한 번쯤 떠올려볼 만합니다.
댓글