■ 어릴 적 그 "거북이"를 기억하시나요
혹시 학창 시절 컴퓨터실에서 화면 위 작은 삼각형 커서를 앞으로 움직이고 방향을 꺾어가며 별 모양이나 꽃 모양을 그려본 기억이 있으신가요. 이것이 바로 1960년대 시모어 페퍼트가 고안한 "거북이 그래픽(turtle graphics)", 즉 LOGO 프로그래밍입니다. forward(전진), right(회전) 같은 몇 개의 단순한 명령만으로 원, 별, 다각형 같은 기하학적 패턴을 그려내는 이 교육용 프로그래밍 방식은 지금도 파이썬의 turtle 모듈로 남아 아이들의 첫 코딩 수업에 쓰이고 있습니다. 이번에 소개할 논문은 캘리포니아 대학교 어바인(UC Irvine)의 Sina Rismanchian 연구팀이 NAACL 2025에 발표한 "TurtleBench: A Visual Programming Benchmark in Turtle Geometry"로, 바로 이 초등학생용 거북이 그래픽을 소재 삼아 GPT-4o를 비롯한 최신 멀티모달 모델들의 시각-공간 추론 능력을 정면으로 시험합니다.
■ 왜 하필 거북이 그래픽인가: 시각-공간 추론 평가의 어려움
멀티모달 모델을 평가하는 벤치마크는 이미 차고 넘치지만, 대부분은 자연 이미지에 대한 질의응답이나 캡셔닝처럼 모델이 이미 방대한 학습 데이터에서 비슷한 패턴을 봤을 가능성이 높은 과제들입니다. 반면 저자들은 "이미지를 보고 그 이미지를 그려내는 코드를 정확히 생성하는" 과제야말로 진짜 시각적 추론 능력을 가려낼 수 있다고 봅니다. 도형의 개수를 세고, 변의 방향과 각도를 파악하고, 그 구조를 알고리즘적 논리로 옮기는 과정은 단순 패턴 매칭으로는 풀리지 않기 때문입니다. 거북이 그래픽은 흑백의 추상적 기하 도형이라 사전 학습 데이터의 암기 효과를 최소화하면서도, 정답 코드를 실행하면 원본 이미지와 픽셀 단위로 비교 검증할 수 있다는 실용적 장점까지 갖추고 있습니다.
■ TurtleBench는 어떻게 만들어졌나
TurtleBench는 총 260개의 수작업으로 제작된 과제로 구성되며, 크게 두 범주로 절반씩 나뉩니다. 하나는 이미지만 보고 처음부터 파이썬 turtle 코드를 생성하는 "Scratch(백지)" 과제 130개, 다른 하나는 기존 도형 코드를 텍스트나 이미지 지시에 따라 수정하는 "Tweak(수정)" 과제 130개입니다. 난이도는 도형을 이루는 윤곽선(contour) 개수를 기준으로 세 단계로 나뉘는데, 단일 윤곽선으로만 이루어진 Level 1(단순, 전체의 25%), 윤곽선 2~6개인 Level 2(중간, 40%), 윤곽선 7개 이상인 Level 3(복잡, 35%)입니다. 평가는 forward, right, circle 같은 기초 turtle 함수만으로 표현 가능한, 문법적으로는 단순하지만 기하학적으로는 결코 만만치 않은 도형들을 대상으로 이루어집니다.
■ 정확도 수치로 본 성적표
연구진은 GPT-4o, Gemini 1.5 Flash, 오픈소스 모델 LLaVA-1.5-13B 세 모델을 주력으로 비교했고, Qwen-VL-Max와 CogVLM도 일부 과제에 추가로 시험했으나 이 둘은 문법적으로 실행 가능한 코드조차 제대로 만들어내지 못했습니다. Chain-of-Thought(CoT) 프롬프팅을 적용한 결과, 이미지만 보고 처음부터 코드를 짜는 Scratch 과제에서 GPT-4o는 19.23%, Gemini 1.5는 9.20%, LLaVA는 고작 0.98%의 정확도를 기록했습니다. 흥미로운 점은 같은 과제를 이미지 대신 도형을 말로 설명한 텍스트로 주었을 때인데, GPT-4o의 정확도가 38.12%로 두 배 가까이 뛰었습니다. 기존 도형을 수정하는 Tweak 과제에서도 GPT-4o는 코드 생성 20.00%, 코드 수정 19.61% 수준에 머물렀고, 4-shot 예시를 추가로 제공하는 few-shot 프롬프팅조차 2% 미만의 미미한 개선만을 가져왔습니다. 난이도별로 보면 GPT-4o는 단순한 도형에서 단순한 도형으로의 변환(단순-단순 조합)은 35% 가까이 풀어낸 반면, 복잡한 도형에서 복잡한 도형으로의 변환은 19% 수준으로 뚝 떨어졌습니다.
■ 모델들이 특히 취약한 지점: "보는 것"과 "그리는 것"의 간극
이 논문에서 가장 눈길을 끄는 발견은 텍스트 입력이 이미지 입력을 일관되게 앞선다는 점입니다. 같은 도형 정보를 글로 풀어 설명했을 때 모델의 정확도가 유의미하게 오른다는 사실은, 모델이 순수한 기하학적 추론보다는 학습 과정에서 접했던 유사 패턴의 기억에 의존하고 있을 가능성을 시사합니다. 더 결정적인 증거는 함수 이름을 바꾼 실험입니다. 동일한 기능을 하지만 이름만 "Rabbit" 클래스로 바꿔 표준 turtle 문법에서 벗어나게 하자, GPT-4o의 Scratch 정확도는 19.23%에서 6.00%로, Gemini는 9.20%에서 3.00%로 급락했습니다. 이는 모델이 문제의 기하학적 본질을 이해했다기보다 익숙한 turtle 문법 패턴 자체를 암기해 재현하고 있었을 가능성을 강하게 뒷받침합니다. 연구진이 실패 사례를 수작업으로 분석한 결과, 도형 종류 자체를 잘못 인식하는 오류(25%), 변이나 도형 개수를 잘못 세는 오류(35%), 방향·공간 관계를 착각하는 오류(21%), 코드 구현 자체의 오류(45%)가 뒤섞여 있었고, 전체 실패 사례의 64%가 시각 인지 단계의 오류와 관련되어 있었습니다.
■ 확률적 프로그램 합성과의 비교, 그리고 사람과의 격차
논문은 TurtleBench 과제와 유사한 turtle geometry 문제를 다뤘던 기존 확률적 프로그램 유도(program induction) 연구들과도 성능을 비교합니다. DreamCoder는 43%, LAPS는 82%, LILO는 49%, 단순 LLM 솔버 베이스라인도 32%의 정확도를 보였는데, 이는 GPT-4o의 19%대 정확도보다 훨씬 높은 수치입니다. 연구진은 이 결과를 두고 "확률적 프로그램 유도 방법이 시각-언어 모델보다 이 과제에서 훨씬 뛰어난 성능을 낼 수 있다"고 지적하며, 범용 멀티모달 모델의 접근 방식이 이런 구조화된 기하 추론 과제에는 아직 최적화되어 있지 않음을 보여줍니다. 또한 논문 전반의 결론은 사람과 모델 사이에 여전히 상당한 격차가 존재한다는 것으로, 사람에게는 직관적인 도형 패턴 인식과 알고리즘적 서술로의 변환이 현재의 최신 멀티모달 모델에는 결코 쉬운 일이 아니라는 점을 재확인합니다.
■ 한계와 시사점
저자들 스스로도 몇 가지 한계를 명확히 밝힙니다. 이번 연구에서는 파인튜닝 실험을 진행하지 않았고, 260개라는 데이터셋 규모는 본격적인 모델 학습용으로 쓰기에는 다소 작다는 점, 그리고 벤치마크가 흑백의 추상적 거북이 그래픽이라는 특정 영역에 한정되어 자연 이미지 전반의 시각 추론으로 일반화하기는 어렵다는 점입니다. 이에 따라 향후 연구로는 기존 과제 인스턴스를 변형·증강해 더 큰 학습 데이터셋을 구축하는 방향을 제안합니다. 그럼에도 이 벤치마크가 던지는 메시지는 분명합니다. 매트플롯립 등 다른 프로그래밍 도구를 자유롭게 쓰도록 허용해도 성능이 뚜렷이 개선되지 않았다는 결과는, 문제의 핵심이 코드 생성 능력이 아니라 애초에 "이미지를 정확히 읽어내는" 시각 이해 단계에 있음을 보여줍니다.
■ 마무리하며
TurtleBench는 화려한 벤치마크가 아닙니다. 초등학생도 이해할 수 있는 단순한 도형과 몇 개의 turtle 명령어만으로 이루어져 있죠. 그런데 바로 그 단순함이 오히려 GPT-4o 같은 최신 모델의 약점을 적나라하게 드러냅니다. 텍스트로 설명하면 곧잘 풀던 문제를 그림으로 주면 절반도 못 풀고, 함수 이름 하나 바꿨다고 정확도가 3분의 1로 줄어드는 모습은 지금의 멀티모달 모델이 얼마나 표면적인 패턴에 의존하고 있는지를 잘 보여줍니다. 도형을 "보고" 그 구조를 "이해해서" 알고리즘으로 옮기는 능력, 즉 사람이라면 아이도 할 수 있는 이 과정이 AI에게는 여전히 정복하지 못한 영역이라는 사실이 이 논문이 남기는 가장 인상적인 대목입니다.
댓글