전체 글936 손으로 푸는 선형대수 20장 — 한 장으로 되짚는 ML의 선형대수 (완결) 20 손으로 푸는 선형대수 · 제5부 되짚기 · 완결한 장으로 되짚는 ML의 선형대수열아홉 장을 지나왔다. 이제 선형회귀 · 능형회귀 · PCA · 신경망 한 층 · 어텐션을 같은 그림 위에 올린다. 다섯 모형이 사실은 몇 개 안 되는 연산의 조합이라는 것을 보고, 능형회귀가 하는 일 — ATA의 고유값 16, 9, 1을 16+λ, 9+λ, 1+λ로 밀어 올려 조건수를 줄이는 일 — 을 숫자로 끝까지 따라간 뒤 시리즈를 닫는다.직관 — 모형이 다섯이지 연산은 다섯이 아니다수식 읽는 법 — 다섯 모형을 같은 표에 올린다손으로 풀기 — (G+λI)의 고유값 · 조건수 · 능형 해코드 — λ 훑기, 수축계수 검산, 다섯 모형 20줄시각화 — 20장 전체 지도약어 및 기호 정의A · G = ATA이 시리즈의 고.. 2026. 9. 24. 손으로 푸는 선형대수 19장 — 행렬로 하는 미분: 그래디언트·야코비안·헤시안 19 손으로 푸는 선형대수 · 제5부 머신러닝에서 다시 만나기행렬로 하는 미분 — 그래디언트·야코비안·헤시안스칼라 함수의 미분은 기울기 하나다. 벡터를 받아 벡터를 내놓는 함수의 미분은 숫자가 아니라 행렬이고, 그 행렬에는 야코비안이라는 이름이 있다. 딥러닝의 역전파는 이 행렬들을 순서대로 곱하는 일이다. 이 장은 ∇‖Ax−b‖² = 2AT(Ax−b)를 정의에서 끝까지 유도하고, ∇f=0이 10장의 정규방정식과 같은 식임을 확인한 뒤, 헤시안의 고유값이 경사하강의 속도를 어떻게 정하는지 숫자로 본다.직관 — 미분이 행렬이 되는 순간수식 읽는 법 — 레이아웃 규약 · 네 개의 기본 공식손으로 풀기 — ∇f=0, H=2G, 그리고 η* = 1/17코드 — 수치미분 · 경사하강 · 역전파를 torch와 대조시.. 2026. 9. 24. 손으로 푸는 선형대수 18장 — 저랭크 근사: 무엇을 버리는가 18 손으로 푸는 선형대수 · 제5부 머신러닝에서 다시 만나기저랭크 근사 — 무엇을 버리는가16장에서 A를 랭크1 조각 세 개로 쪼갰다. 이제 뒤에서부터 잘라낸다. 잘라내면 얼마를 잃는지, 그리고 놀랍게도 그 잘라내기가 가능한 최선이라는 것 — Eckart–Young–Mirsky 정리 한 줄에 PCA·LSA·추천시스템·LoRA가 전부 매달려 있다.직관 — 뒤를 자르면 무엇이 사라지나수식 읽는 법 — Eckart–Young–Mirsky손으로 풀기 — A1을 분수로 끝까지, 오차 √10코드 — 이론값 대조 · 이미지 압축 · 스펙트럼시각화 — 에너지가 어디에 쌓여 있는가약어 및 기호 정의σ1 ≥ σ2 ≥ σ3 특이값 singular value16장에서 구한 A의 특이값. 우리 예제에서는 4, 3, 1로 정수.. 2026. 9. 24. 손으로 푸는 선형대수 17장 — PCA는 결국 SVD다 17 손으로 푸는 선형대수 · 제5부 머신러닝에서 다시 만나기PCA는 결국 SVD다주성분분석을 배울 때는 "공분산행렬의 고유벡터"라고 배우고, 정작 sklearn을 열어 보면 공분산행렬이 없다. 대신 svd 한 줄이 있다. 두 계산은 수학적으로 같고 수치적으로 다르다. 이 장에서 같음을 손으로 확인하고, 다름이 어디서 생기는지 숫자로 본다.직관 — 가장 넓게 퍼진 방향 하나 고르기수식 읽는 법 — 분산 최대화 = 재구성 오차 최소화손으로 풀기 — A를 중심화해 AcTAc까지코드 — 공분산 경로와 SVD 경로, 그리고 갈라지는 지점시각화 — 축이 돌아가는 그림과 κ가 제곱되는 자리약어 및 기호 정의X 자료행렬 data matrix(n, d) 모양. 행이 표본, 열이 특징(1장). 이 장에서는 X = A, .. 2026. 9. 24. 손으로 푸는 선형대수 16장 — SVD: 모든 행렬의 정규분해 16 손으로 푸는 선형대수 · 제4부 고유값과 특이값SVD — 모든 행렬의 정규분해13장에서 대각화되지 않는 행렬을 보았고, 애초에 정사각이 아니면 고유값을 말할 수조차 없다. 그런데 특이값 분해는 모든 행렬에 존재한다. 예외가 없다. 이 장은 A = UΣVT를 15장의 양반정치성 하나에서 유도하고, 우리 A의 SVD를 분수와 근호만으로 종이 위에서 끝까지 완성한다. 2장이 "네 번째 읽기가 16장의 본체"라고 예고했던 그 약속을 여기서 회수한다.직관 — 회전 → 늘이기 → 회전수식 읽는 법 — ATA에서 존재를 끌어낸다손으로 풀기 — U, Σ, V 전부를 정수로코드 — np.linalg.svd와 소수점까지 대조시각화 — 단위구가 타원체가 되기까지약어 및 기호 정의특이값 분해 singular value .. 2026. 9. 24. 손으로 푸는 선형대수 15장 — 양정치와 이차형식: 공분산이 왜 대칭 양반정치인가 15 손으로 푸는 선형대수 · 제4부 고유값과 특이값양정치와 이차형식 — 공분산이 왜 대칭 양반정치인가행렬에 벡터를 양쪽에서 곱하면 숫자 하나가 나온다. 그 숫자가 항상 양수면 함수의 모양이 그릇이 되고, 그릇이면 최솟값이 하나뿐이다. 최적화가 잘 되는 조건, 공분산이 얌전한 이유, 그리고 17장 PCA가 성립하는 근거가 전부 이 한 성질에서 나온다.직관 — 그릇인가 안장인가 도랑인가수식 읽는 법 — 세 가지 동치 판정과 ATA손으로 풀기 — G에 세 판정을 전부 적용코드 — 판정 세 개를 직접 구현하고 깨뜨려 본다시각화 — 이차형식의 등고면은 타원체다약어 및 기호 정의이차형식quadratic form q(x) = xTSx벡터를 넣으면 스칼라가 나오는 함수. 모든 항이 xixj꼴, 즉 차수가 정확히 2인.. 2026. 9. 24. 이전 1 2 3 4 ··· 156 다음