전체 글413 [자연어처리 입문 16장] 서브워드 토크나이저: BPE와 WordPiece CH 16 자연어처리 입문 · Part 4 어텐션과 트랜스포머서브워드 토크나이저: BPE와 WordPiece2장에서 토큰화를 다뤘고, 8장에서 OOV 때문에 Word2Vec이 무너지는 것을 봤다. 어휘를 3만 개로 늘려도 미등록어가 31%였다. 이 장의 해법은 어휘를 더 늘리는 것이 아니라 단위를 바꾸는 것이다 — 단어보다 작고 글자보다 큰 조각을, 규칙이 아니라 빈도 통계로 찾는다.01 직관02 수식 읽는 법03 손으로 풀기04 코드05 시각화약어 및 기호 정의서브워드subword, 부분단어 — 단어보다 작은 단위. "재미있었다" → "재미 / 있었다"BPEByte Pair Encoding — 원래 압축 알고리즘. 가장 자주 붙어 나오는 쌍을 하나로 합친다를 반복 (Sennrich et al., 201.. 2026. 8. 29. [자연어처리 입문 15장] 트랜스포머 ②: 멀티헤드, 위치인코딩, 블록 조립 CH 15 자연어처리 입문 · Part 4 어텐션과 트랜스포머트랜스포머 ②: 멀티헤드, 위치인코딩, 블록 조립14장에서 self-attention 하나를 손에 넣었다. 그런데 그것만으로는 모델이 되지 않는다. 순서를 버렸으니 좌표를 돌려줘야 하고(위치인코딩), 한 관점으로만 보면 아쉬우니 여러 관점을 동시에 두고(멀티헤드), 깊게 쌓으려면 우회로가 필요하다(잔차연결). 이 장에서 그 셋을 붙여 블록 하나를 완성하고, 빼면 정말 무너지는지 직접 학습시켜 확인한다.01 직관02 수식 읽는 법03 손으로 풀기04 코드05 시각화약어 및 기호 정의멀티헤드Multi-Head Attention — dmodel을 h등분해 어텐션을 h번 병렬로 수행하고 결과를 이어 붙인다dmodel모델 폭. 토큰 하나를 표현하는 벡터.. 2026. 8. 29. [자연어처리 입문 14장] 트랜스포머 ①: Self-Attention과 Q·K·V CH 14 자연어처리 입문 · Part 4 어텐션과 트랜스포머트랜스포머 ①: Self-Attention과 Q·K·V13장의 어텐션은 디코더가 인코더를 보는 장치였다. 이 장에서 한 걸음 더 간다 — 문장이 자기 자신을 본다. "그것"이 무엇을 가리키는지, "먹었다"의 목적어가 무엇인지를 같은 문장 안에서 찾는다. 그리고 그 순간 RNN이 필요 없어진다.01 직관02 수식 읽는 법03 손으로 풀기04 코드05 시각화약어 및 기호 정의Self-Attention자기어텐션 — 한 문장 안에서 모든 토큰이 모든 토큰을 보는 어텐션. 13장은 인코더↔디코더였다Q (질의)Query — "내가 찾는 것". X·WQK (키)Key — "내가 가진 색인". X·WK. Q와 짝지어 점수를 만든다V (값)Value — "내가.. 2026. 8. 29. [자연어처리 입문 13장] 어텐션: 매 단어마다 원문을 다시 본다 CH 13 자연어처리 입문 · Part 4 어텐션과 트랜스포머어텐션: 매 단어마다 원문을 다시 본다12장에서 병목을 직접 쟀다 — 컨텍스트 벡터 차원을 8로 줄이자 정확도가 0.019로 떨어졌고, 입력 길이를 20으로 늘리자 학습 시간이 79배가 되었다. 이 장의 해법은 병목을 넓히는 것이 아니다. 없애는 것이다. 통역사는 연설을 다 외우지 않는다 — 지금 필요한 부분을 그때그때 다시 본다.01 직관02 수식 읽는 법03 손으로 풀기04 코드05 시각화약어 및 기호 정의어텐션attention — 여러 값 중 어디를 얼마나 볼지 가중치를 계산해 가중 평균을 내는 장치 (Bahdanau et al., 2015)질의 qquery — "지금 내가 찾는 것". 이 장에서는 디코더의 현재 은닉상태점수score — .. 2026. 8. 29. [주간] 방산주 혼조 속 팔란티어 급등, 보잉은 노사 갈등에 약세 (8/24~8/28) 미국 증시 주간 브리핑2026.08.24 - 08.28주간 섹터 리포트 · 방산/우주항공 · 2026.08.24 - 08.28방산주 혼조 속 팔란티어 급등, 보잉은 노사 갈등에 약세록히드마틴과 RTX는 주간 보합권에서 방어적 흐름을 보인 반면, 노스롭그루먼과 보잉은 하락했고 팔란티어는 메이븐 프로그램 호재에 힘입어 주간 +3.53% 급등했다.록히드마틴(LMT)563.85달러(+0.05%)주 초반 조정 후 목요·금요 반등, 사실상 보합 마감RTX211.71달러(+0.86%)펜타곤 발주 훈풍 속 주 후반 완만한 반등세팔란티어(PLTR)186.29달러(+3.53%)메이븐 프로그램 ARR 10억달러 궤도 진입 소식에 급등이번 주 방산/우주항공 섹터 요약2026년 8월 24일(월)부터 28일(금)까지 미국 방산·.. 2026. 8. 29. [주간] 미국 금융주 동반 강세, JP모건 +1.7%·BofA +1.0%·골드만 -0.5% (8/24~8/28) 미국 증시 주간 브리핑2026.08.24 - 08.28주간 섹터 리포트 · 금융 · 2026.08.24 - 08.28미국 금융주 동반 강세, JP모건 +1.7%·BofA +1.0%·골드만 -0.5%8월 24일~28일 한 주간 JP모건은 351.58달러에서 357.62달러로 1.72% 올랐고 뱅크오브아메리카는 61.69달러에서 62.32달러로 1.02% 상승했다. 반면 골드만삭스는 1,039.28달러에서 1,033.99달러로 0.51% 소폭 하락하며 대형 은행주 사이에서도 온도차가 나타났다.JP모건(JPM)357.62달러(+1.72%)8/28 하루에만 +0.96%, 주 후반 반등 뚜렷뱅크오브아메리카(BAC)62.32달러(+1.02%)8/28 하루 +1.88% 급등하며 주간 상승분 대부분 견인골드만삭스(GS.. 2026. 8. 29. 이전 1 2 3 4 ··· 69 다음
