인공지능 및 기계학습 개론
-
ML lec 10-1: Sigmoid 보다 ReLU가 더 좋아인공지능 및 기계학습 개론/ML_LEC 2020. 2. 13. 19:59
Preview (WX+b), Sigmoid(Activation Function) multi-layer -> solved NN for XOR Input, hidden, output Layer 9 hidden layers use of Tensor Board Backpropagation problem Sigmoid 로인해 곱을 할수록 값이 점점 작아진다 Vanishing Gradient 경사도가 사라져 학습 보정이 어렵다 Sigmoid를 사용한것이 잘못(입력값을 1보다 작은 값으로 만드는것) ReLU Action Function ReLU : Rectified Linear Unit L1=tf.nn.relu(tf.matmul(X, W1) + b1) Other Activation Function Leaky ReLU..
-
-
-
ML lec 08-2: 딥러닝의 기본 개념2: Back-propagation 과 2006/2007 '딥'의 출현인공지능 및 기계학습 개론/ML_LEC 2020. 2. 12. 20:53
CIFAR Canadian Institute for Advanced Research 당장 돈이 안되고, 활용도가 낮아도 도전적인 연구를 지원함 도박과 같은 결정, Hinton의 연구를 지원 Everyone else was doing something different 2006, 2007 Breakthrough 복잡한 신경망 학습 불가?(2006) 초기값 잘못주고있었다. 잘 선택한다면 학습 가능 깊은 신경망을 구축하면 복잡한 문제 해결 가능 증명(2007) Deep Nets, Deep Learning 으로 Rebranding IMAGENET Classification Challenge AlexNet error 26% -> 15% MSRA -> 3%(2015), 인간 이상 Neural networks tha..
-
ML lec 08-1: 딥러닝의 기본 개념: 시작과 XOR 문제인공지능 및 기계학습 개론/ML_LEC 2020. 2. 12. 20:37
Deep Neural Nets 아이디어의 시작 Ultimate dream : thinking machine 뇌가 매우 복잡하게 연결되어있고, 최소 유닛(뉴런)이 너무나 단순하게 동작한다.. 어떤 input.. 전달 길이에 따라 신호의 양이 달라짐 x*w 의 양으로 신호가 들어와서 sum이 발생, bias가 더해져 다음으로 전달 그 값이 특정 값 이상이 되면 어떤 동작이 활성화가 되고, 이하면 활성화가 안된다 이정도면 기계적, 수학적으로 만들수 있지 않을까? -> Activation Function Logistic Regression Unit 57년도 컴퓨터가 없던 시절, HW로 선을 연결하여 기계를 만듬(프랭크 박사) 허황된 약속.. False Promises(58년도) 스스로 걷고, 말하고, 보고 쓸수..
-
ML lec 07-2: Training/Testing 데이터 셋인공지능 및 기계학습 개론/ML_LEC 2020. 2. 12. 20:12
데이터로 학습시킨 ML모델이 얼마나 성공적으로 예측할수 있는가? Evaluation using training set? 학습에 사용한 데이터 셋으로 평가할 경우 거의 100%, 공정하지 못함 데이터 셋의 50% 학습에 사용, 20% Validation set으로 조정, 30% 테스트 셋으로 사용 테스트 셋의 실제 값과 모델이 예측한 값을 비교하면 모델이 얼마나 잘 동작하는지 평가 가능 Online learning 형태의 학습 형태 100만개 training set 10만개 묶음으로 잘라서 학습을 시킴 모델은 첫번째 셋을 학습한 상태를 유지해야 함 Minist Dataset 손으로 쓴 숫자 이미지를 숫자로 인식 Accuracy 모델이 얼마나 정확한가? 실제 데이터 Y(label)값과 모델이 예측한 값을 비..
-
ML lab 01 - TensorFlow의 설치및 기본적인 operations (new)인공지능 및 기계학습 개론/ML_LEC 2020. 2. 12. 18:49
TensorFlow Data flow graphs를 사용해서 numerical computation을 할수있는 Python 오픈소스 라이브러리 Data Flow Graph Node(Operation)들이 Edge(Data, Tensors)로 연결된 작업 흐름도 constant : node를 만든다 Computational Graph TensowFlow Mechanics Build graph using tensorflow operation feed data and run graph : sess.run(op) update variables in the graph(and return value) Placeholder 특별한 노드 not constant sess.run(add_node, feed_dict={a:..