들어가며: 화려한 벤치마크 뒤에 숨겨진 진짜 실무
LLM 에이전트의 능력을 자랑하는 벤치마크는 대개 코딩, 수학, 일반 상식 문제 위주로 구성됩니다. 하지만 실제 기업 현장에는 훨씬 더 지루하고, 훨씬 더 정확성을 요구하는 업무들이 있습니다. 그 대표적인 예가 바로 수출입 상품에 붙는 관세 분류 코드, HS 코드(Harmonized System Code)를 매기는 일입니다. ACL 2026 Best Resource Paper인 HSCodeComp는 바로 이 지루하지만 돈이 걸린 실무 업무를 AI 에이전트에게 시켜본 벤치마크입니다.
저자는 Yiqian Yang, Tian Lan(공동 1저자), Qianghuai Jia(교신저자) 등으로 구성된 Alibaba International Digital Commerce(알리바바 국제디지털커머스) 소속 연구팀입니다. arXiv 2510.19631로 2025년 10월 공개됐고 ACL 2026 메인 트랙에 채택됐습니다.
왜 HS 코드가 어려운 문제인가
HS 코드는 단순한 카테고리 분류가 아닙니다. 10자리 숫자로 구성된 이 코드는 세계관세기구(WCO)의 방대한 위계적 규칙 체계를 따라 정해지며, 상품의 재질, 용도, 가공 정도, 심지어 포장 방식까지 고려해야 정확한 하위 항목까지 내려갈 수 있습니다. 예를 들어 같은 "의자"라도 재질이 나무인지 플라스틱인지, 접이식인지 아닌지에 따라 완전히 다른 코드가 부여됩니다. 실수로 코드를 잘못 매기면 관세를 잘못 내거나 통관이 지연되는 등 실질적인 금전적 손실로 이어지기 때문에, 이 업무는 전문 관세사들이 오랜 훈련을 거쳐야 숙달할 수 있는 영역입니다.
벤치마크 구성: 632개 실제 상품, 27개 챕터
저자들은 632개의 실제 이커머스 상품을 전문가가 직접 라벨링해 벤치마크를 구축했습니다. 이 상품들은 HS 코드 체계의 27개 서로 다른 챕터(상품 대분류)에 걸쳐 분포하도록 신중하게 선정되어, 에이전트가 특정 카테고리에만 특화되어서는 좋은 점수를 받을 수 없도록 설계되었습니다. 에이전트는 상품 설명을 입력받아 딥 서치(deep search)를 수행하며 관세 규칙을 단계적으로 적용해 최종 10자리 코드를 도출해야 합니다.
충격적인 결과: 최고 에이전트도 46.8%, 인간 전문가는 95.0%
결과는 냉정했습니다. 여러 최신 LLM 기반 딥 서치 에이전트를 테스트한 결과, 가장 좋은 성능을 낸 에이전트조차 10자리 코드 완전 정확도(10-digit accuracy)가 46.8%에 그쳤습니다. 반면 인간 전문가들은 같은 과제에서 95.0%의 정확도를 기록했습니다. 절반에도 못 미치는 정확도라는 것은, 이 과제가 흔히 말하는 "그럴듯해 보이는 답"으로는 결코 통과할 수 없는, 규칙의 정확한 계층적 적용을 요구하는 영역이라는 뜻입니다.
더 흥미로운 발견은 테스트 시점 스케일링(test-time scaling), 즉 에이전트에게 더 많은 추론 시간이나 검색 횟수를 허용해도 성능이 유의미하게 개선되지 않았다는 점입니다. 오히려 지나치게 깊은 추론을 시도할 경우 성능이 떨어지는 경향까지 관찰되었습니다. 이는 문제 해결에 필요한 것이 "더 오래 생각하기"가 아니라 "정확한 규칙 체계를 정교하게 따라가는 능력" 자체의 결여임을 시사합니다.
왜 중요한가
HSCodeComp는 AI 에이전트 연구에 두 가지 메시지를 던집니다. 첫째, 실무에서 정말 필요한 능력은 화려한 추론이 아니라 복잡하고 위계적인 규칙을 정확히, 끝까지 놓치지 않고 적용하는 꼼꼼함일 수 있다는 것입니다. 둘째, "더 많이 생각하게 하면 더 잘한다"는 통념이 모든 과제에 통하지는 않으며, 규칙 기반 전문 업무에서는 오히려 역효과가 날 수 있다는 경고입니다. 물류, 무역, 법률, 세무처럼 규정집을 정확히 따라야 하는 전문 직종에 AI 에이전트를 도입하려는 기업들에게 현실적인 눈높이를 제시하는 벤치마크입니다.
댓글