pod3275

Using Pre-Training Can Improve Model Robustness and Uncertainty 정리 저자 : Dan Hendrycks, Kimin Lee, Mantas Mazeika 학회 : ICML 2019 날짜 : 2019.01.28 (last revised 2019.06.21) 인용 : 9회 논문 : paper 1. Introduction Pre-Training Pre-training이란 내가 원하는 task 이외의 다른 task의 데이터를 이용하여 주어진 모델을 먼저 학습하는 과정을...

Knowledge Distillation with Adversarial Samples Supporting Decision Boundary 정리 저자 : Byeongho Heo, Minsik Lee, Sangdoo Yun, Jin Young Choi 학회 : AAAI 2019 날짜 : 2018.05.15 (last revised 2018.12.14) 인용 : 4회 논문 : paper 1. Introduction 1-1. Knowledge Distillation 딥러닝의 대가 Hinton 교수님의 2015년 논문. 이미 학습된 DNN...

Fast AutoAugment 정리 저자 : Sungbin Lim, Ildoo Kim, Taesup Kim, Chiheon Kim, Sungwoong Kim 학회 : ICML 2019 (AutoML Workshop) 날짜 : 2019.05.01 (last revised 2019.05.25) 인용 : 2회 논문 : paper 1. Introduction 1-1. Data Augmentation Augmenation = Generalization = Avoid Overfitting Overfitting = 모델이 학습 데이터를 너무...

Dropout on CNN CNN에 dropout이 적용되는 여러 변형들을 제안한 논문들을 정리. 1. Introduction 1-1. Overfitting & Generalization 딥러닝 모델은 데이터가 많을수록 높은 성능을 낸다는 특성을 가짐. 출처:링크 하지만 데이터가 많다고 해서 모델 성능이 항상 좋은 건 아님. 모델의 복잡도(혹은 power)가 높으면 학습에서 본 데이터를 너무 따라가는 경향이 있음. “Overfitting” 출처:링크...

Training Confidence-calibrated Classifiers for Detecting Out-of-Distribution Samples 정리 저자 : Kimin Lee, Honglak Lee, Kibok Lee, Jinwoo Shin 학회 : ICLR 2018 날짜 : 2017.11.26 (last revised 2018.02.23) 인용 : 50회 논문 : paper 1. Introduction 모델의 Uncertainty 기계학습 또는 딥러닝 모델의 uncertainty란, 학습된 모델이 학습 과정에서 보지 못한 데이터에...