■ 논문 소개
이번에 소개할 논문은 NAACL 2025에서 Outstanding Paper로 선정된 "DrawEduMath: Evaluating Vision Language Models with Expert-Annotated Students' Hand-Drawn Math Images"입니다. Worcester Polytechnic Institute의 Sami Baral, Neil T. Heffernan과 Allen Institute for AI(AI2)의 Kyle Lo, Luca Soldaini, 그리고 UC Berkeley의 Li Lucy 등이 참여했고, 여기에 Teaching Lab과 Insource Services 소속 협력자들이 함께해 실제 현장 교사들의 손을 빌린 데이터셋을 만들었습니다. 제목 그대로 이 논문은 GPT-4o, Claude, Gemini 같은 최신 비전언어모델(VLM)이 학생들이 손으로 쓴 실제 수학 풀이를 얼마나 잘 "읽고 이해"할 수 있는지를 정면으로 테스트합니다. 단순히 이미지 속 숫자를 인식하는 OCR 수준이 아니라, 선생님이 채점하듯 학생의 풀이 과정과 실수, 표현 방식까지 파악할 수 있는지를 평가한다는 점이 이 논문의 핵심 문제의식입니다.
■ 배경과 문제의식
지금까지 수학 관련 VLM 벤치마크는 대부분 깔끔하게 인쇄되거나 다이어그램으로 정제된 문제 이미지를 다뤄왔습니다. 그러나 실제 교실에서 교사들이 매일 마주하는 것은 학생이 종이에 급하게 쓴, 줄이 삐뚤어지고 지운 흔적이 남아 있고 화살표와 낙서가 뒤섞인 손글씨 풀이입니다. 이런 이미지를 이해하려면 단순한 문자 인식을 넘어 학생의 풀이 전략, 오답의 원인, 답안에 포함된 맥락적 단서까지 종합적으로 해석해야 합니다. 저자들은 AI 튜터링이나 자동 채점 시스템이 실제로 쓸모 있으려면 바로 이런 "지저분한 현실 데이터"에서도 VLM이 제 역할을 할 수 있어야 한다고 지적하며, 이를 검증할 전용 벤치마크가 없었다는 공백을 DrawEduMath로 메우고자 합니다.
■ 핵심 방법론 — 데이터셋 구축
DrawEduMath는 ASSISTments 온라인 학습 플랫폼과 Eureka Math, Open Up Resources, Illustrative Math 같은 오픈교육자료(OER)에서 수집한 K-12(유치원~고3) 학생들의 손글씨 답안 이미지 2,030장으로 구성됩니다. 문제 수는 188개이며, 학년 분포는 초등 2~5학년이 34.6%, 중학교 6~8학년이 55.3%, 고등학교가 10.1%를 차지합니다. 주석 작업은 2단계로 진행됐는데, 1단계에서는 6년 이상 경력의 뉴욕시 소재 교사 3명이 시간당 50달러 이상을 받고 이미지당 평균 2.0분을 들여 음성(53.3%) 또는 텍스트(46.7%)로 자유서술형 설명을 남겼습니다. 2단계에서는 9년 이상 경력의 교사 5명이 추가로 투입되어 평균 4.3분을 들여 기존 설명을 다듬고 질문-답변(QA) 쌍을 직접 작성했습니다. 이렇게 만들어진 교사 작성 QA는 총 11,661개(이미지당 평균 5.74개)이며, 여기에 더해 교사 설명을 원자적 단위로 쪼갠 뒤 언어모델로 변환한 합성 QA가 Claude 21,089개, GPT-4o 23,273개 등 총 44,362개 규모로 함께 구축되었습니다.
■ 평가 방식
DrawEduMath의 질문들은 성격에 따라 7가지 유형으로 분류됩니다. 수학적 고차원 이해, 저수준 구성·위치 파악, 텍스트와 레이블 인식, 문제 해결 전략, 답안 요소의 개수 세기, 이미지 생성/매체 관련 질문, 그리고 정확성과 오류 판단이 그것입니다. 흥미로운 점은 교사가 작성한 질문에서는 "문제 해결 전략"(23.2%)과 "정확성과 오류"(23.0%) 비중이 특히 높았던 반면, 합성 QA에서는 이 두 유형의 비중이 크게 줄고 대신 "고차원 이해"나 "구성·위치" 질문이 상대적으로 많아지는 경향이 나타났다는 것입니다. 이는 교사들이 실제 채점에서 학생의 오류와 풀이 전략을 가장 중요하게 여긴다는 사실을 방증합니다. 모델의 답변 품질은 BERTScore, ROUGE-L 같은 자동 지표뿐 아니라 Mixtral 8x22B를 활용한 LLM 기반 유사도 평가, 그리고 500개 샘플에 대한 실제 사람 평가까지 함께 수행되어 다각도로 검증되었습니다.
■ 주요 실험 결과
저자들은 GPT-4o, Claude 3.5 Sonnet, Gemini 1.5 Pro 같은 상용 모델과 오픈소스인 Llama 3.2-11B Vision을 나란히 테스트했습니다. 합성 QA 기준 LLM 평가 점수는 GPT-4o 0.723, Claude 3.5 Sonnet 0.715, Gemini 1.5 Pro 0.647, Llama 3.2-11B 0.390으로 나타났고, 사람 평가에서도 Claude 3.5가 0.806으로 가장 높고 GPT-4o 0.710, Gemini 1.5 Pro 0.677, Llama 3.2-11B는 0.355에 그쳤습니다. 반면 교사 작성 QA는 훨씬 어려운 과제였습니다. 사람 평가 기준으로 Claude 3.5는 0.587, GPT-4o는 0.524, Gemini 1.5 Pro는 0.365였고 Llama 3.2-11B는 0.127까지 떨어졌습니다. 즉 폐쇄형 모델들이 오픈소스 모델을 뚜렷하게 앞섰지만, 어떤 모델도 교사 수준의 QA에서는 만족스러운 성능에 도달하지 못했습니다. 질문 유형별로 보면 "이미지 생성/매체" 관련 질문에서는 GPT-4o가 0.886까지 점수를 냈지만, "정확성과 오류" 판단 질문에서는 전 모델이 고전해 GPT-4o 0.525, Claude 3.5 0.491, Llama 3.2-11B는 0.402에 머물렀습니다. 자동 지표 중에서는 LLM 기반 평가가 사람 평가와 가장 높은 상관관계(스피어만 상관계수 약 0.801)를 보여, 향후 유사 연구에서 활용 가능성을 시사했습니다.
■ 추가 발견과 한계
논문은 모델들이 특히 취약한 지점을 구체적으로 짚습니다. 가령 사람 눈에는 선명히 보이는데도 이미지가 다소 어둡거나 대비가 낮으면 모델이 내용을 제대로 읽지 못하는 사례가 관찰되었고, 수학적으로는 정답이지만 학생이 실제로 쓴 답과는 다른 답변을 내놓는 경우도 있었습니다. 예를 들어 18÷6의 정답은 3이지만 학생이 답안에 2라고 적어 놓았을 때, 모델이 학생의 오답을 그대로 인식하지 못하고 "정답인 3"을 언급하는 식의 오류입니다. 이는 채점 도구로서는 치명적인 약점입니다. 또한 저자들은 합성 QA에도 완벽하지 않은 지점이 있음을 인정합니다. "두 번째 화살표"처럼 모호한 지시어가 섞여 있거나 원본 교사 설명의 오류가 그대로 전파되는 경우가 있었고, 일부 질문은 학생의 실제 답안이 아니라 "직각이란 무엇인가"처럼 일반적인 수학 지식만 물어보는 한계도 지적됩니다. 데이터셋 자체도 미국 Common Core 교육과정 중심으로 구성되어 있어 다양한 문화권의 수학 학습 방식을 포괄하지는 못한다는 점 역시 저자들이 명시한 한계입니다.
■ 시사점
이 연구가 주는 메시지는 명확합니다. 최신 VLM들이 인쇄된 수학 문제나 정형화된 다이어그램에서는 그럴듯한 성능을 보이더라도, 실제 교실에서 나오는 손글씨 답안, 특히 오답과 풀이 과정을 정밀하게 짚어내는 과제에서는 아직 교사를 대체하기엔 갈 길이 멀다는 것입니다. 특히 "정확성과 오류" 판단이라는, 자동 채점 시스템의 실용성에 가장 직결되는 영역에서 모든 모델이 가장 낮은 점수를 기록했다는 사실은 AI 튜터링 도구를 설계하는 이들에게 중요한 경고 신호입니다. 동시에 합성 QA가 교사 작성 QA와 유사한 모델 순위를 만들어낼 수 있다는 결과는, 대규모 평가 데이터를 저비용으로 확장할 수 있는 실용적 가능성도 함께 보여줍니다.
■ 마무리
DrawEduMath는 화려한 신규 아키텍처를 제안하는 논문은 아니지만, 교육 현장의 진짜 데이터를 정성껏 모으고 정교하게 주석을 달아 VLM의 현실적인 한계를 드러냈다는 점에서 NAACL 2025 Outstanding Paper의 자격을 충분히 보여줍니다. AI 튜터나 자동 채점 도구를 만드는 연구자와 엔지니어라면, 모델이 "이 학생은 왜 이렇게 풀었을까"라는 질문에 답할 수 있는지부터 다시 점검해볼 필요가 있습니다. 앞으로 이런 실제 교실 데이터를 기반으로 한 벤치마크가 더 많아진다면, 우리는 실험실 성능이 아니라 교실에서 정말 쓸모 있는 AI에 한 걸음 더 다가갈 수 있을 것입니다.
댓글