AI & BigData 56

머신러닝(ML) #10_ Learning and test data sets

안녕하세요.이번 포스팅에서는 머신러닝 모델이 얼마나 잘 동작하는지 알아보는 방법에 대해서 이야기하겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. Performance evaluation 우리는 지난 포스팅들을 통해, 머신러닝 모델을 만들고 데이터를 통해 학습을 시켰습니다.그런데 그 모델이 얼마나 훌륭한가, 얼마나 성공적으로 예측할 수 있을까를 어떻게 평가할 수 있을까요?우리가 만든 모델에 A라는 데이터를 통해서 훈련을 시켰는데 그 A를 토대로 그대로 평가한다면 어떨까요?당연히, 100%의 예측률을 보일 것입니다.예를 들면, 여러분들이 시험공부를 할..

머신러닝(ML) #9_ Learning rate, Data preprocessing, Overfitting

안녕하세요. 문범우입니다.이번 포스팅에서는 머신러닝에서 Learning rate를 조정하는 방법, 우리의 데이터를 선 처리하는 방법, 그리고 오버피팅을 다루는 방법에 대해서 알아보겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. Learning rate(학습률) 학습률, Learning rate 는 우리가 텐서플로우로 실습을 하면서도 직접 사용해보았습니다. 위의 그림과 같이, 우리가 Gradient descent, 즉 경사를 따라가면서 cost 를 최소화하는 단계에서 사용되었는데 쉽게말해서 경사를 얼만큼씩 이동할건지 정해주는 것이 learning r..

텐서플로우(Tensor Flow) #8_ TensorFlow로 Fancy Softmax Classification 구현하기

안녕하세요. 문범우입니다.이번 포스팅에서는 Fancy Softmax Classification을 구현하겠습니다.지난 포스팅에서는, 단순히 Softmax Classification을 구현해보았는데, 이번에는 보다 더 이쁘게, 기본적으로 제공되는 croso_entropy, one_hot, reshape을 이용해서 구현해보도록 하겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. softmax_cross_entropy_with_logits 먼저 알아볼 것은 softmax cross entropy with logits 이란 함수입니다.그 전에 잠깐, 우리가 ..

텐서플로우(Tensor Flow) #7_ TensorFlow로 Softmax Classification 구현하기

안녕하세요. 문범우입니다.이번 포스팅에서는 Tensorflow를 통한 Softmax Classification 구현을 진행해보도록 하겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. Softmax Classification 우리가 이론부분에서 알아보았던 거처럼, Softmax는 어떤 n개의 예측하고자 하는 것이 있을때 Softmax를 사용합니다. 물론 이러한 Softmax도 위의 그림에서 볼 수 있듯이, 주어진 X값에 학습할 W를 곱해서 값을 만드는 것으로 시작합니다.그리고 그러한 식의 결과로 나오는 것은 단순히 Score로써 실수값을 갖게되는데 이..

머신러닝(ML) #8_ Softmax classifier 의 cost 함수

안녕하세요. 이번 포스팅에서는 지난 포스팅에 이어 Softmax classifier의 cost 함수에 대해서 알아보도록 하겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. Softmax classifier 우리가 지난 포스팅에서 학습한바와 같이, 위의 사진에서 오른쪽에 x 표가 되어있는 것보다는 제일좌측에 있는 하나의 행렬을 곱함으로써 하나의 벡터로써 결과가 나오게 됩니다. 즉 위와 같이 간단하게 생각해볼 수 있고, 빨간색 글씨 처럼 위에서 부터 a, b, c가 될 확률로 볼 수 있습니다.그런데 빨간색으로 나와있는 숫자보다, 우측 알파벳 옆에 쓰인 ..

머신러닝(ML) #7_ Multinomial classification의 개념

안녕하세요.이번 포스팅에서는 Multinomial classification의 개념에 대해 알아보도록 하겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. Multinomial classification 이란? 앞으로 몇개의 포스팅에서 우리는 여러개의 클래스가 있을때 그것을 예측하는 Multinomial clssification, 그리고 그 중에서도 가장 많이 사용되는 softmax classification에 대해서 알아봅니다.먼저 Multinomial classification 이란 무엇일까요? 우리는 지난 포스팅을 통해 Logistic regre..

텐서플로우(Tensor Flow) #6_ TensorFlow로 Logistic Classification 구현하기

안녕하세요.이번 포스팅에서는 TensorFlow로 Logistic Classification을 구현해보도록 하겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. Logistic Classification 바로 텐서플로우로 구현하기 전에, 이론적인 내용을 간단히 살펴보겠습니다.보다 자세한 내용은 아래 포스팅에서 확인하실 수 있습니다. 머신러닝(ML) #5_ Logistic Classification의 가설 함수 정의 머신러닝(ML) #6_ Logistic Regression의 cost 함수 설명 위의 사진을 보시면 Logistic Regression에서..

머신러닝(ML) #6_ Logistic Regression의 cost 함수 설명

안녕하세요.이번 포스팅에서는 지난 포스팅에 이어, Logistic Regression의 cost함수에 대해 알아보도록 하겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. Logistic Regression의 Cost Function 우리가 지난 Linear Regression에서 Cost 함수에 대해서 이야기 해볼때는 아래와 같은 형태로 나왔습니다. 그래프를 보면 2차함수꼴로 최저점을 보다 쉽게 찾을 수 있었습니다. 그런데 지난 포스팅에서 알아보았듯이 Logistic Regression 에서는 Hypothesis가 다르게 세워졌습니다.그럼 Cost ..

머신러닝(ML) #5_ Logistic Classification의 가설 함수 정의

안녕하세요.이번 포스팅에서는 Logistic (regression) Classification 에 대해서 알아보도록 하겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. Logistic Classification 오늘 살펴볼 Logistic Classfication은 여러 classification 알고리즘 중에서도 굉장히 정확도가 높다고 알려져 있습니다. 따라서 우리가 정확히 학습하고 이해한다면 이러한 알고리즘을 실전문제에 바로 적용해 볼 수 있을 것 입니다.추후 우리가 알아볼 내용에 있어서도 굉장히 중요한 요소가 되니 확실히 이해해야 합니다. 먼저..

텐서플로우(Tensor Flow) #5_ 파일에서 데이터 불러오기

안녕하세요. 문범우입니다.오늘은 TensorFlow에서 데이터 파일을 읽어와 multi-variable linear regression을 구현해보도록 하겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. Loading Data From File 데이터가 많아지면 이러한 데이터를 직접 입력하는게 힘들어 집니다.이럴 경우 우리는 데이터들을 텍스트 파일로, 주로 csv파일로 저장하고 이를 불러오는 방법을 사용합니다.지난 번 실습에서 진행된 데이터들을 바탕으로 아래와 같은 내용을 메모장을 통해 작성하여 바탕화면에 data-01-test-score.csv 라는..

728x90