DoubleDescent1 반응형 [딥러닝 논문 리뷰] Deep Double Descent : Where Bigger Models And More Data Hurt 이번에 리뷰할 논문은 Deep Double Descent : Where Bigger Models And More Data Hurt 라는 논문으로 2020ICLR에 accept된 논문이며, openAI에서 작성한 논문입니다. 수식은 거의 없고 거의 실험만 가지고 ICLR에 accept된 논문 입니다. 그런데 그 실험의 양이 어마어마합니다;; Bias-variance trade-off 는 통계적인 learning theory의 기본 컨셉이죠. 전통적인 통계분야에서는 '모델이 크면 좋지 않다'라고 주장을 하고 딥러닝은 이러한 인식을 깨는 모델입니다. 일반적으로 '모델이 크면 클수록 좋다'라고 말할 수 있습니다(물론, 복잡한 문제에 대해서 한해서). 그리고 전통적인 통계분야와 딥러닝 분야가 모두 동의하는 것은 .. 2020. 2. 5. 이전 1 다음
