텐서플로우(Tensor Flow) #8_ TensorFlow로 Fancy Softmax Classification 구현하기

안녕하세요. 문범우입니다.

이번 포스팅에서는 Fancy Softmax Classification을 구현하겠습니다.

지난 포스팅에서는, 단순히 Softmax Classification을 구현해보았는데, 이번에는 보다 더 이쁘게, 기본적으로 제공되는 croso_entropy, one_hot, reshape을 이용해서 구현해보도록 하겠습니다.

* 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.

관련한 상세 내용은 아래 링크를 참고해주세요.

https://hunkim.github.io/ml/

---

1. softmax_cross_entropy_with_logits

먼저 알아볼 것은 softmax cross entropy with logits 이란 함수입니다.

그 전에 잠깐, 우리가 그전에 hypothesis를 어떻게 계산했는지 한번 더 확인해보겠습니다.

우리는 주어진 X에 대해서 학습할 W를 매트릭스로 곱하고 bias를 더합니다. 그리고 이것을 여기서 logits이라고 부르겠습니다. 그리고 이 logits를 softmax로 통과시키면 우리가 원하는 최종 hypothesis, 즉 확률로써 값을 얻을 수 있습니다.

그리고 이어서 cost를 계산했습니다.

softmax cross entropy with logits를 살펴보자면, 위 그림의 2번식과 같이 우리가 위에서 새롭게 정의한 logits을 이용합니다.

해당 softmax cross entropy with logits 함수는 두개의 인자를 받습니다. logits 과 labels을 받습니다. 각각의 인자에 우리가 설정했던 logits과 labels이름을 적절히 넣어주면 됩니다.

당연히 2번식을 통해 얻은 cost는 위의 1번, 우리가 원래 하던 과정과 동일한 cost입니다.

2. Animal classification

이번에는 우리가 배웠던 것을 이용해서 동물들을 분류해보는 실습을 진행해보도록 하겠습니다.

동물을 다리의 숫자, 뿔의 유무 등의 특징을 이용해서 0~6, 총 7종류로 분류해보겠습니다.

위 그림의 표는 잘 보이지 않지만, 제일 우측에는 예측되는 결과 값이고, 나머지의 값은 x_data 입니다.

따라서, 그림에 나와 있는 코드처럼 x와 y데이터를 알맞게 불러와 줍니다.

여기서 Y데이터의 모양에 대해서 한번 더 살펴보겠습니다.

y는 n개의 데이터에 대해 1줄로써 표현되기에 ( ? , 1 )과 같은 shape을 가집니다.

그리고 해당 Y값을 one_hot 함수를 통과시킵니다.

그런데 이때 주의해야 할점은, 위 코드에서 3번째 줄처럼 one_hot을 통과시키면 shape이 하나 증가하게 됩니다.

예를 들어 y의 값이 [[0],[3]] 이 었다면 3번째 줄의 one_hot 함수를 통해,

[[[1000000]],[0001000]] 이 될 것입니다.

이럴떄 우리가 사용하는 함수는 reshape 입니다. 

이후에는 우리가 그동안 했던 것처럼, placeholder 등을 적절히 설정하여 코드를 작성합니다.

전체적인 코드는 아래와 같습니다.

# Lab 6 Softmax Classifier
import tensorflow as tf
import numpy as np
tf.set_random_seed(777)  # for reproducibility
 
# Predicting animal type based on various features
xy = np.loadtxt('data-04-zoo.csv', delimiter=',', dtype=np.float32)
x_data = xy[:, 0:-1]
y_data = xy[:, [-1]]
 
print(x_data.shape, y_data.shape)
 
nb_classes = 7  # 0 ~ 6
 
X = tf.placeholder(tf.float32, [None, 16])
Y = tf.placeholder(tf.int32, [None, 1])  # 0 ~ 6
Y_one_hot = tf.one_hot(Y, nb_classes)  # one hot
print("one_hot", Y_one_hot)
Y_one_hot = tf.reshape(Y_one_hot, [-1, nb_classes])
print("reshape", Y_one_hot)
 
W = tf.Variable(tf.random_normal([16, nb_classes]), name='weight')
b = tf.Variable(tf.random_normal([nb_classes]), name='bias')
 
# tf.nn.softmax computes softmax activations
# softmax = exp(logits) / reduce_sum(exp(logits), dim)
logits = tf.matmul(X, W) + b
hypothesis = tf.nn.softmax(logits)
 
# Cross entropy cost/loss
cost_i = tf.nn.softmax_cross_entropy_with_logits(logits=logits,
                                                 labels=Y_one_hot)
cost = tf.reduce_mean(cost_i)
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1).minimize(cost)
 
prediction = tf.argmax(hypothesis, 1)
correct_prediction = tf.equal(prediction, tf.argmax(Y_one_hot, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))
# Launch graph
with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
 
    for step in range(2000):
        sess.run(optimizer, feed_dict={X: x_data, Y: y_data})
        if step % 100 == 0:
            loss, acc = sess.run([cost, accuracy], feed_dict={
                                 X: x_data, Y: y_data})
            print("Step: {:5}\tLoss: {:.3f}\tAcc: {:.2%}".format(
                step, loss, acc))
 
    # Let's see if we can predict
    pred = sess.run(prediction, feed_dict={X: x_data})
    # y_data: (N,1) = flatten => (N, ) matches pred.shape
    for p, y in zip(pred, y_data.flatten()):
        print("[{}] Prediction: {} True Y: {}".format(p == int(y), p, int(y)))
 
'''
Step:     0 Loss: 5.106 Acc: 37.62%
Step:   100 Loss: 0.800 Acc: 79.21%
Step:   200 Loss: 0.486 Acc: 88.12%
Step:   300 Loss: 0.349 Acc: 90.10%
Step:   400 Loss: 0.272 Acc: 94.06%
Step:   500 Loss: 0.222 Acc: 95.05%
Step:   600 Loss: 0.187 Acc: 97.03%
Step:   700 Loss: 0.161 Acc: 97.03%
Step:   800 Loss: 0.140 Acc: 97.03%
Step:   900 Loss: 0.124 Acc: 97.03%
Step:  1000 Loss: 0.111 Acc: 97.03%
Step:  1100 Loss: 0.101 Acc: 99.01%
Step:  1200 Loss: 0.092 Acc: 100.00%
Step:  1300 Loss: 0.084 Acc: 100.00%
...
[True] Prediction: 0 True Y: 0
[True] Prediction: 0 True Y: 0
[True] Prediction: 3 True Y: 3
[True] Prediction: 0 True Y: 0
[True] Prediction: 0 True Y: 0
[True] Prediction: 0 True Y: 0
[True] Prediction: 0 True Y: 0
[True] Prediction: 3 True Y: 3
[True] Prediction: 3 True Y: 3
[True] Prediction: 0 True Y: 0
'''
 

그리고 결과를 보면 아래와 같은 결과를 확인할 수 있습니다.

Step이 늘면서 Loss가 매우 적어지고, 이후 100%의 예측률을 보이게 됩니다.

---

이렇게 하여 TensorFlow로 Fancy Softmax Classification을 구현해보았습니다.

one_hot과 관련되어 reshape 함수도 사용해보았고, logits이라는 것을 사용하기도 하였습니다.

내용에 대한 피드백이나 궁금한 사항은 댓글 또는 이메일로 남겨주세요.