전체 글1271 [논문리뷰] AI는 왜 "한 글자씩"만 예측하면 계획을 못 세울까? — How Transformers Learn to Plan via Multi-Token Prediction (COLM 2026) 이 논문을 고른 이유지금까지 대부분의 언어모델은 "다음 한 단어(토큰)"만 맞히는 방식으로 학습합니다. 이를 다음 토큰 예측(Next-Token Prediction, NTP)이라고 부르는데, 문장을 이어 쓰는 데는 효과적이지만 길을 찾거나 퍼즐을 풀듯 "여러 단계 앞을 내다봐야 하는" 과제에서는 자주 흔들립니다. 바로 앞 글자만 맞히는 데 익숙한 모델이, 전체 그림을 미리 그려두고 역산해야 하는 문제에는 약하다는 것이죠. 그런데 최근 몇몇 모델에서는 다음 토큰 하나가 아니라 앞으로 올 여러 개의 토큰을 동시에 예측하도록 학습시키는 멀티 토큰 예측(Multi-Token Prediction, MTP) 방식이 쓰이고 있습니다. 실무에서는 효과가 있다고 알려져 있었지만, "정확히 왜" 더 나은 계획 능력을 만들.. 2026. 10. 27. [논문리뷰] 영어만 잘 가르치면 다른 언어는 저절로 좋아질까 — English is Not All You Need: Systematically Exploring the Role of Multilinguality in LLM Post-Training 이 논문을 고른 이유요즘 나오는 거대 언어모델(LLM)들의 사후학습(post-training, 사전학습이 끝난 모델을 지시 따르기나 특정 과업에 맞게 다시 학습시키는 단계) 파이프라인은 대부분 영어 데이터 위주로 구성됩니다. 수학 문제 풀이, 도구 호출(API calling) 같은 실용적인 과업을 학습시킬 때도 영어 데이터만 모아서 학습시키고, 그 결과물이 다른 언어에서도 잘 작동하기를 기대하는 식입니다. 그런데 이렇게 만들어진 모델이 스페인어나 벵골어, 스와힐리어 같은 언어에서는 왜 성능이 떨어지는지, 그리고 애초에 다른 언어를 학습 데이터에 섞어주면 정말로 도움이 되는지는 생각보다 체계적으로 검증된 적이 많지 않았습니다(출처: arXiv:2604.13286).이번에 소개할 논문은 바로 이 질문에 정면.. 2026. 10. 27. [논문리뷰] 추측 디코딩, 나뭇가지를 더 치면 더 빨라질까? — Accelerating Speculative Decoding with Block Diffusion Draft Trees (COLM 2026) 이 논문을 고른 이유거대언어모델(LLM)이 느린 이유는 단순하다. 토큰을 한 개씩, 순서대로 만들어내기 때문이다("자기회귀 디코딩"). 이걸 빠르게 하려고 나온 기법이 "추측 디코딩(speculative decoding)"인데, 작고 빠른 "드래프트 모델"이 먼저 여러 토큰을 미리 써보고, 크고 느린 "타깃 모델"이 그 초안을 한 번에 검증해서 맞으면 통째로 채택하는 방식이다. 문제는 드래프트 모델이 보통 자기회귀 방식이라, 토큰을 한 개씩 순서대로 "예측"해야 하는 건 여전히 느리다는 점이다.이 논문은 이스라엘 테크니온(Technion) 소속 Liran Ringel과 Yaniv Romano가 쓴 연구로, "DFlash"라는 블록 디퓨전(block diffusion) 방식의 드래프트 모델을 바탕으로, ".. 2026. 10. 27. [논문리뷰] 모델을 "진화"시켜서 가볍게 만든다면? — DarwinLM: Evolutionary Structured Pruning of Large Language Models (COLM 2026) 이 논문을 고른 이유거대언어모델(LLM)을 실제 서비스에 쓰려면 느린 추론 속도와 큰 메모리 사용량이 항상 걸림돌입니다. 이 문제를 푸는 대표적인 방법이 프루닝(pruning, 가지치기)인데, 모델의 일부 가중치나 구조를 통째로 잘라내서 크기를 줄입니다. 그런데 모델의 어느 부분을 얼마나 잘라낼지 정하는 일은 생각보다 까다롭습니다. 어텐션(attention) 층과 MLP 층이 가지치기에 얼마나 민감한지가 서로 다르고, 층마다도 다르기 때문입니다(출처: arXiv:2502.07780).이 논문은 "어디를 얼마나 자를지"를 사람이 일일이 정하는 대신, 생물의 진화 과정을 본뜬 탐색 알고리즘으로 자동으로 찾아냅니다. 이름도 그래서 DarwinLM입니다. 자연선택에서 환경에 잘 적응한 개체가 살아남듯, 이 방법.. 2026. 10. 27. [논문리뷰] AI가 "위험한 질문이네요, 거절할게요"라고 생각하는 그 순간을 공격할 수 있다면? — Strong but Brittle: Simple Attacks Subvert Reasoning-based Safety Guardrails 이 논문을 고른 이유최근 공개된(오픈웨이트) 대형 추론 모델들은 더 이상 "장난감" 수준이 아닙니다. 논문은 이런 오픈웨이트 추론 모델들이 선도적인 비공개(proprietary) 모델들과 거의 비슷한 수준의 능력을 갖췄다고 지적합니다(출처: arXiv:2510.11570). 문제는 오픈웨이트 모델은 한 번 공개되면 회사가 나중에 "패치"하거나 실시간으로 감시하기 어렵다는 점입니다. 그래서 최근 업계는 모델이 답을 내놓기 전에 "이 요청이 안전한가"를 스스로 사고(reasoning)하게 만드는 "추론 기반 안전 가드레일"을 유력한 방어선으로 밀고 있습니다.이번에 소개할 논문 "Strong but Brittle: Simple Attacks Subvert Reasoning-based Safety Guardra.. 2026. 10. 27. [논문리뷰] LLM이 자기 생각을 스스로 압축해서 "기억"한다면? — MEMENTO: Teaching LLMs to Manage Their Own Context (COLM 2026) 이 논문을 고른 이유요즘 추론(reasoning) 모델들은 답을 내기 전에 아주 긴 "생각의 사슬(chain-of-thought)"을 만들어냅니다. 문제가 어려울수록 생각은 길어지고, 그만큼 컨텍스트 윈도우(context window)와 KV 캐시(KV cache)도 끝없이 늘어납니다. 그런데 이 모델들에게는 사람처럼 "지금까지 생각한 걸 한 줄로 요약하고, 세부 내용은 잊어도 되는" 능력이 전혀 없습니다. 중간 계산 과정이든 핵심 결론이든 모두 똑같은 무게로 끝까지 끌고 가야 하는 구조이기 때문입니다. 이 논문은 바로 이 지점을 공략합니다. "모델이 스스로 자기 생각을 블록 단위로 나누고, 각 블록을 압축된 요약으로 바꾸고, 이후에는 그 요약만 보면서 계속 추론하게 만들 수는 없을까?"라는 질문입니다(.. 2026. 10. 27. 이전 1 2 3 4 ··· 212 다음
