전체 글386 [자연어처리 입문 10장] RNN: 순서를 기억하는 신경망 CH 10 자연어처리 입문 · Part 3 순서를 읽는 모델RNN: 순서를 기억하는 신경망9장의 n-gram은 바로 앞 한두 단어밖에 보지 못했다. 문맥을 넓히려 하면 조합이 폭발했다. RNN은 다른 길을 간다 — 문장을 왼쪽부터 읽으면서 "지금까지의 요약"을 계속 갱신한다. 그 요약 하나에 문장 전체를 담는 것이 이 장의 아이디어이자 한계다.01 직관02 수식 읽는 법03 손으로 풀기04 코드05 시각화약어 및 기호 정의RNNRecurrent Neural Network, 순환신경망 — 이전 출력을 다시 입력으로 받는 신경망은닉상태hidden state ht — "여기까지 읽은 내용의 요약". 고정 크기 벡터다가중치 공유weight sharing — 모든 시점이 같은 W를 쓴다. 문장이 길어져도 파라미터.. 2026. 8. 28. [자연어처리 입문 9장] 언어모델의 기초: 다음 단어 맞히기 CH 09 자연어처리 입문 · Part 3 순서를 읽는 모델언어모델의 기초: 다음 단어 맞히기3장에서 순서를 버렸고, 8장까지 단어 하나하나의 뜻만 다뤘다. 이제 "나는 밥을 ___" 다음에 무엇이 올지 맞히는 문제로 들어간다. 이 단순한 게임이 GPT까지 이어지는 한 줄기이며, 이 장에서 배울 퍼플렉시티는 18장까지 계속 쓰인다.01 직관02 수식 읽는 법03 손으로 풀기04 코드05 시각화약어 및 기호 정의언어모델Language Model, LM — 단어 열의 확률 P(w1…wT)을 매기는 모델. 다음 단어를 맞히는 것과 같은 말이다n-gram이웃한 토큰 n개. 3장에서는 특징이었고 여기서는 확률의 단위다마르코프 가정Markov assumption — "먼 과거는 잊고 바로 앞 n−1개만 본다"퍼플렉.. 2026. 8. 28. [자연어처리 입문 8장] 임베딩의 성질과 한계: 유추, 반의어, 편향 CH 08 자연어처리 입문 · Part 2 단어의 의미를 벡터로임베딩의 성질과 한계: 유추, 반의어, 그리고 편향7장에서 얻은 벡터는 "왕 − 남자 + 여자 = 여왕" 같은 마법을 보여 준다. 그런데 같은 벡터가 "최고"와 "최악"을 0.557로 비슷하다고 말하고, 말뭉치의 편견까지 그대로 배운다. 이 장은 임베딩을 믿어도 될 곳과 믿으면 안 되는 곳을 가른다.01 직관02 수식 읽는 법03 손으로 풀기04 코드05 시각화약어 및 기호 정의유추analogy — "A는 B에 대해 C는 ?에 대해"를 벡터 산술 B − A + C로 푸는 과제OOVOut-Of-Vocabulary — 학습 어휘에 없는 단어. Word2Vec은 벡터 자체가 없다FastTextBojanowski 외(2017). 단어를 글자 n-gr.. 2026. 8. 28. [자연어처리 입문 7장] Word2Vec: 친구를 보면 그 단어를 안다 CH 07 자연어처리 입문 · Part 2 단어의 의미를 벡터로Word2Vec: 친구를 보면 그 단어를 안다6장에서 SVD로 동의어를 이었다. 이 장은 같은 아이디어 — "이웃이 같으면 뜻도 같다" — 를 신경망으로 구현한다. 결과물은 단어 하나당 100개의 숫자다. 그 숫자들이 현대 NLP의 출발점이 되었다.01 직관02 수식 읽는 법03 손으로 풀기04 코드05 시각화약어 및 기호 정의Word2VecMikolov 외(2013). 단어를 밀집벡터로 만드는 신경망. Skip-gram과 CBOW 두 가지가 있다분포 가설distributional hypothesis — "비슷한 문맥에 나타나는 단어는 비슷한 뜻이다"(Harris, 1954)원-핫one-hot — 해당 위치만 1이고 나머지는 0인 벡터. 어떤.. 2026. 8. 28. [자연어처리 입문 6장] LSA와 토픽모델링: 문서 뒤에 숨은 주제 CH 06 자연어처리 입문 · Part 2 단어의 의미를 벡터로LSA와 토픽모델링: 문서 뒤에 숨은 주제5장에서 문제가 하나 드러났다. "재미있다"와 "재밌다"의 코사인 유사도가 0.38이다. 같은 뜻인데 글자가 다르면 컴퓨터에게는 남남이다. 이 장은 "같이 나오는 단어끼리 묶으면 된다"는 아이디어로 그 벽을 넘는다.01 직관02 수식 읽는 법03 손으로 풀기04 코드05 시각화약어 및 기호 정의LSALatent Semantic Analysis, 잠재의미분석 — 문서-단어 행렬에 SVD를 씌워 차원을 줄이는 방법. LSI라고도 한다SVDSingular Value Decomposition, 특이값분해 — A = UΣVT. 어떤 행렬이든 세 개로 쪼갤 수 있다특이값singular value — Σ의 대각 원.. 2026. 8. 28. [자연어처리 입문 5장] 코사인 유사도: 비슷하다를 숫자로 정의하기 CH 05 자연어처리 입문 · Part 2 단어의 의미를 벡터로코사인 유사도: "비슷하다"를 숫자로 정의하기3·4장에서 문서를 벡터로 만들었다. 이제 두 벡터가 얼마나 비슷한지 재는 법을 배운다. 정의 하나만 있으면 검색·추천·군집이 전부 따라온다. 리뷰 3만 건으로 미니 검색엔진을 만들어 본다.01 직관02 수식 읽는 법03 손으로 풀기04 코드05 시각화약어 및 기호 정의코사인 유사도cosine similarity — 두 벡터가 이루는 각도의 코사인. 1이면 같은 방향, 0이면 직각내적dot product, a·b = Σaibi — 대응하는 값끼리 곱해서 더한 것L2 노름‖a‖ = √(Σai2) — 벡터의 길이유클리드 거리‖a − b‖ — 두 점 사이의 직선거리단위벡터길이가 1인 벡터. a/‖a‖BM.. 2026. 8. 28. 이전 1 2 3 4 ··· 65 다음