■ 역설적인 제목이 가리키는 것
이번에 다룰 논문은 NAACL 2025에 게재된 "LLM The Genius Paradox: A Linguistic and Math Expert's Struggle with Simple Word-based Counting Problems"입니다. University of Southern California의 Nan Xu, Xuezhe Ma가 저자로 참여했고, arXiv 2410.14166로 공개되어 있습니다. 제목 자체가 논문의 핵심을 요약하는데, 최신 LLM은 수학 올림피아드급 문제를 풀고 복잡한 언어적 추론을 능숙히 해내는 "천재"이면서도, "strawberry에 r이 몇 개 있는가"처럼 사람에게는 너무나 쉬운 단어 세기 문제 앞에서는 어이없이 무너집니다. 저자들은 이 역설을 단순한 해프닝으로 넘기지 않고, GPT-4o를 비롯한 여러 모델을 대상으로 왜 이런 실패가 벌어지는지 체계적으로 파고듭니다. 논문은 통념적으로 받아들여지던 원인들을 하나씩 실험으로 기각해나가면서, 훨씬 더 근본적인 곳에서 답을 찾습니다.
■ 왜 이런 쉬운 문제에서 실패하는가
"strawberry에 r이 몇 개인가"라는 질문에 GPT-4o조차 틀린 답을 내놓는다는 사실은 SNS에서 유명한 밈이 되었을 정도로 널리 알려져 있습니다. 사람은 손가락으로 짚어가며 세기만 하면 되는데, 언어 이해와 수학 추론에서 인간 수준 이상을 보여주는 모델이 왜 이런 기초 계산에서 발을 헛디디는지는 그 자체로 흥미로운 질문입니다. 논문은 이 현상에 대해 커뮤니티에서 떠돌던 세 가지 유력한 가설을 정리합니다. 첫째는 서브워드 토큰화가 문자 단위 정보를 가려버린다는 가설, 둘째는 사전학습 데이터에 문자 단위로 세는 과제가 충분히 없었다는 가설, 셋째는 모델의 임베딩 크기 자체가 문자 세기 능력을 구조적으로 제한한다는 가설입니다. 저자들은 이 세 가설을 각각 독립적인 실험으로 검증하고, 놀랍게도 셋 다 실패의 진짜 원인이 아니라는 결론에 도달합니다.
■ 실험 설계: 네 가지 세기 과제와 아홉 개 모델
연구진은 문제를 쪼개기 위해 500개의 영어 단어를 무작위로 추출하고, 네 가지 과제를 설계했습니다. Task I(Char Occur)은 특정 문자가 단어에 몇 번 등장하는지 세는 문제로 strawberry의 r 개수를 묻는 바로 그 유형입니다. Task II(Substring Occur)는 특정 부분 문자열이 단어에 존재하는지 여부를 판단하는 이진 분류 과제, Task III(Word Len)은 단어의 전체 글자 수를 세는 과제, Task IV(Distinct Char)는 단어에 등장하는 고유 문자의 개수를 세는 과제입니다. 평가 대상 모델로는 GPT-4o, Llama 3, Qwen 1.5, Gemma 1, InternLM 2, Phi 3, Mistral v0.3, DeepSeek V2, Yi 1.5 등 아홉 개 범용 모델과, 수학 특화 모델 Qwen2 Math, 코드 특화 모델 CodeGemma까지 포함시켜 특화 학습이 세기 능력에 도움이 되는지도 살펴봅니다.
■ 핵심 실험 결과: 모델마다 극심하게 갈리는 정확도
결과표를 보면 모델 간 편차가 상당히 큽니다. Char Occur 과제에서 GPT-4o는 82.4%의 정확도를 보인 반면, Llama 3는 34.6%, Gemma 1은 41.2%에 그쳤습니다. Substring Occur는 GPT-4o 87.4%, Llama 3 58.2%, Gemma 1 50.8%였고, Word Len에서는 GPT-4o가 92.0%였지만 Gemma 1은 26.0%까지 떨어졌습니다. 가장 극단적인 결과는 Distinct Char 과제로, GPT-4o가 89.2%를 기록한 반면 Gemma 1은 4.4%로 무작위 수준의 정확도를 보였습니다. 참고로 Llama 3는 더 복잡하다고 여겨지는 MMLU에서 64.2%, GSM8K에서 78.9%를 기록했는데, 세기 과제 정확도보다 오히려 높습니다. 즉 "어려운" 추론 벤치마크는 상대적으로 잘 풀면서 "쉬운" 세기 과제에서는 더 못하는 역전 현상이 수치로 확인된 것입니다. 특화 모델 실험도 흥미로운데, 수학 특화 모델 Qwen2 Math는 개방형 답변에서 베이스 모델 대비 개선을 보이지 못했고, 코드 특화 모델 CodeGemma는 파이썬 코드를 생성·실행하게 하면 완벽에 가까운 정확도를 냈지만 자연어로 직접 답하게 하면 여전히 실패했습니다. 강력한 특화 학습을 거친 모델이라도 그 능력이 단어 세기라는 기초 과제로 자연스럽게 전이되지 않는다는 뜻입니다.
■ 원인 분석: 세 가지 통념이 모두 기각되다
논문에서 가장 인상적인 대목은 원인 분석 부분입니다. 첫 번째로 토큰화 가설을 검증하기 위해 연구진은 문자 삭제, 삽입, 교환, 셔플 등 문자 단위 변형을 가한 입력과, 단어를 한 글자씩 토큰으로 쪼갠 입력을 각각 모델에 넣어보았습니다.
결과는 예상을 뒤집었습니다. "LLM은 암묵적이든 명시적이든 문자 단위 토큰으로 표현된 입력으로부터 이득을 얻지 못한다"는 것이 확인되었고, 오히려 서브워드 입력보다 비슷하거나 더 나쁜 성능을 보이는 경우도 있었습니다. 토큰화 자체를 바꿔줘도 문제가 해결되지 않았다는 뜻으로, 토큰화 가설은 기각됩니다. 두 번째로 훈련 데이터 부족 가설을 검증하기 위해 IMDB, Emotion, SST-2 같은 감성 분류 데이터셋을 문자 단위 입력으로 바꿔 풀게 했는데, 이진 분류에서는 90% 이상, 6단계 분류에서도 50% 이상의 정확도를 기록했습니다. 낯선 문자 단위 표현에서도 성능 저하가 크지 않았다는 것은 모델이 문자 단위 추론 능력 자체는 이미 갖고 있다는 뜻입니다. 세 번째로 임베딩 크기 및 고유 문자 수와 정확도의 상관관계를 분석했는데, "질의 단어에 포함된 고유 문자 수가 늘어나는 것 자체는 성능 저하로 이어지지 않는다"는 결과가 나와 이 가설도 기각되었습니다. 다만 총 글자 수가 10자를 넘어 계속 늘어나는 경우에는 확실한 정확도 하락이 관찰되었는데, 이는 단어 길이 자체가 늘어나면서 생기는 별개의 난이도 상승으로 해석됩니다.
■ 완화 기법: 추론을 시키면 거의 완벽해진다
세 가지 통념이 모두 기각된 뒤, 논문은 실제로 무엇이 효과가 있는지를 시험합니다. 가장 눈에 띄는 결과는 사고 사슬(Chain-of-Thought), 자기 일관성(Self-Consistency), 자기 수정(Self-Refine), 트리 오브 소트(Tree-of-Thought) 같은 명시적 추론 전략을 적용했을 때입니다.
논문은 "추가적인 추론 절차를 거친 GPT-4o는 과제를 거의 완벽하게 풀어낼 수 있다"고 밝히며, 기본 82.4%였던 GPT-4o의 Char Occur 정확도가 추론 절차를 더하면 100%에 근접한다고 보고합니다. 자기 일관성 기법은 다양한 모델에 걸쳐 일관되게 성능을 끌어올렸습니다. 반면 지도 미세조정(SFT)의 효과는 제한적이었습니다. Llama 3를 Task I 데이터로 미세조정하자 해당 과제 정확도는 34.6%에서 70.4%까지 올랐지만, Task II부터 IV까지 다른 세기 과제에서는 오히려 성능이 떨어졌고 MMLU, GSM8K 같은 일반 벤치마크 점수도 악화되었습니다. 특정 과제에 맞춘 파라미터 조정은 일반화에 취약하다는 뜻입니다. 인컨텍스트 러닝(few-shot 예시)도 일관되지 않았는데, Task I에서는 소폭 도움이 되었지만 Task II, IV에서는 "GPT-4o를 포함한 대다수 오픈소스 모델의 성능을 크게 해치는" 부작용이 관찰되었습니다.
■ 한계와 시사점
이 논문이 던지는 메시지는 단순히 "LLM이 셈을 못한다"는 데 그치지 않습니다. 저자들은 토큰화나 데이터 부족, 임베딩 용량이라는 한계가 진짜 원인이 아니라는 점을 짚어내면서, 문제의 본질이 모델이 답을 내놓는 방식, 즉 즉답형 응답 습관에 있다고 봅니다. 모델은 문자를 세는 데 필요한 정보와 능력을 이미 갖고 있지만, 단계별로 풀어내지 않고 곧바로 답을 내놓는 습관 때문에 실패한다는 것입니다. 특화 모델 실험에서도 같은 그림이 반복되는데, 수학이나 코드처럼 훨씬 어려운 과제로 훈련된 모델조차 기초 세기 문제에서는 그 능력을 자연스럽게 전이시키지 못했습니다. 저자들은 이를 "강력한 특화 LLM에서 나타나는 바람직하지 않은 실패"라고 표현하며, 모델의 진짜 역량과 벤치마크상의 역량 사이에 괴리가 있을 수 있음을 경고합니다. 다만 이 연구는 영어 단어와 알파벳 세기라는 좁은 범위에 초점을 맞추고 있어서, 다른 언어나 더 복잡한 세기 문제로 일반화될 수 있는지는 후속 연구가 필요합니다.
■ 마무리
"strawberry에 r이 몇 개냐"는 질문 하나가 이렇게 정교한 논문으로 이어진다는 사실 자체가 흥미롭습니다. 이 연구는 사소해 보이는 실패 사례를 진지하게 파고들어, LLM의 능력이 무엇에 의해 제한되는지에 대한 통념들을 실험으로 검증하고 기각하는 모범적인 사례를 보여줍니다. 저자들이 강조하는 것은 사전학습 단계에서부터 "답하기 전에 추론한다"는 습관을 모델에 심어주는 것이 중요하다는 점이며, 이는 최근 모델들이 추론 과정을 강화하는 흐름과도 맞닿아 있습니다. 단순한 단어 세기 문제 하나가 LLM 역량 평가와 훈련 전략 전반에 던지는 질문은 작지 않습니다.
댓글