AI & BigData 56

텐서플로우(tensor flow) 튜토리얼 #4_Overfitting and Underfitting

4. Overfitting and Underfitting¶https://www.tensorflow.org/tutorials/keras/overfit_and_underfit?hl=ko by doorbw (https://doorbw.tistory.com) In [41]: # TensorFlow and tf.keras # 텐서플로우와 keras를 import한다. 이떄 tensorflow는 tf라는 별칭으로 사용할 것임. import tensorflow as tf from tensorflow import keras # Helper libraries # numpy와 matplotlib을 사용한다. import numpy as np import matplotlib.pyplot as plt # jupyter not..

텐서플로우(tensor flow) 튜토리얼 #3_Regression

3. Regression¶https://www.tensorflow.org/tutorials/keras/basic_regression?hl=ko by doorbw (https://doorbw.tistory.com) In [2]: # TensorFlow and tf.keras # 텐서플로우와 keras를 import한다. 이떄 tensorflow는 tf라는 별칭으로 사용할 것임. import tensorflow as tf from tensorflow import keras # Helper libraries # numpy와 matplotlib을 사용한다. import numpy as np import matplotlib.pyplot as plt # jupyter notebook에서 matplotlib을 사용하..

텐서플로우(tensor flow) 튜토리얼 #2_Text Classification

/*! * * Twitter Bootstrap * */ /*! * Bootstrap v3.3.7 (http://getbootstrap.com) * Copyright 2011-2016 Twitter, Inc. * Licensed under MIT (https://github.com/twbs/bootstrap/blob/master/LICENSE) */ /*! normalize.css v3.0.3 | MIT License | github.com/necolas/normalize.css */ html { font-family: sans-serif; -ms-text-size-adjust: 100%; -webkit-text-size-adjust: 100%; } body { margin: 0; } article, as..

텐서플로우(tensor flow) 튜토리얼 #1_Basic Classification

안녕하세요. 문범우입니다. 오랜만에 텐서플로우에 관련된 포스팅을 진행하게 되었습니다. 최근 기계학습과 관련되서 공부를 하며 텐서플로우를 다루는 방법에 대해서 좀 더 공부해야겠다는 필요성을 느껴서, 아예 처음부터 시작해보려 합니다. 이에 따라서 텐서플로우 공식 홈페이지에 나와있는 tutorial을 하나씩 따라해 가면서 필요한 부분들을 추가적으로 공부해 볼 예정입니다. https://www.tensorflow.org/tutorials/keras/basic_classification?hl=ko 위의 링크에서 overview 를 살펴보시면 아실 수 있듯이 해당 튜토리얼에서는 tensorflow내부의 keras 를 사용합니다. 먼저 오늘은 첫번째로 basic classification 에 대해서 진행해보도록 하겠..

나이브 베이즈 분류(Naive Bayesian Classification) 란?

안녕하세요. 문범우입니다.이번 포스팅에서는 나이브 베이즈 분류(Naive Bayesian Classification)에 대해서 알아보도록 하겠습니다.나이브 베이즈 분류는 스팸 필터나 문서 분류등에서도 많이 사용되는 분류 방법으로써, 분류 문제에 있어서 현재도 많이 이용되는 방법입니다.1. 확률 이론 - 조건부 확률 나이브 베이즈 분류에 대해서 알아보기 전에 확률 이론중 조건부 확률에 대해 알아야 합니다.크게 어려운 내용은 아니니 간단하게 짚고 넘어가보도록 하겠습니다. 먼저 간단하게, 확률은 다음과 같이 나타냅니다.위의 그림과 같이, 파란색 구슬3개, 빨간색 구슬 2개로 총 5개의 구슬이 있을때,P(파란색 구슬) = 3/5P(빨간색 구슬) = 2/5입니다. 즉,P( A ) = A 의 경우의 수 / 전체 경..

Matplotlib 기초 정리

안녕하세요. 문범우입니다. 이번 포스팅에서는 파이썬 기반 시각화 라이브러리인 matplotlib에 대해서 알아보도록 하겠습니다. 해당 내용은 flearning의 김길호님의 강의를 바탕으로 작성되었습니다. https://www.flearning.net/courses/61. Matplotlib 이란? matplotlib은 다양한 데이터를 많은 방법으로 도식화 할 수 있도록 하는 파이썬 라이브러리로써, 우리는 matplotlib의 pyplot을 이용하게 됩니다. 이는 mathworks에서 개발한 매트랩(MATLAB)과 비슷한 형태를 가지고 있습니다. matplotlib을 이용하면 우리가 이전에 알아본 numpy나 pandas에서 사용되는 자료구조를 쉽게 시각화 할 수 있습니다. matplotlib을 사용하기 ..

pandas(판다스) 기초 정리

안녕하세요. 문범우입니다. 이번 포스팅에서는 파이썬 라이브러리인 pandas(판다스)에 대해서 알아보도록 하겠습니다. 해당 내용은 flearning의 김길호님의 강의를 바탕으로 작성되었습니다. https://www.flearning.net/courses/6 1. Pandas 란? Pandas는 파이썬에서 사용하는 데이터분석 라이브러리로, 행과 열로 이루어진 데이터 객체를 만들어 다룰 수 있게 되며 보다 안정적으로 대용량의 데이터들을 처리하는데 매우 편리한 도구 입니다. 먼저 pandas를 사용하기 위해서는 pandas를 설치한 이후에 아래와 같이 import를 해야 합니다. import pandas as pd 아래 실습에서는 jupyter notebook을 사용하였습니다. Pandas 기초¶ 1. Pan..

numpy(넘파이) 기초 정리

Numpy_clear 안녕하세요. 문범우입니다. 이번 포스팅에서는 python을 통해 데이터 분석을 할때 기초 라이브러리로 사용되는 Numpy에 대해서 알아보도록 하겠습니다. 해당 내용은 flearning의 김길호님의 강의를 바탕으로 작성되었습니다.https://www.flearning.net/courses/6 1. Numpy란 Numpy는 C언어로 구현된 파이썬 라이브러리로써, 고성능의 수치계산을 위해 제작되었습니다. Numerical Python의 줄임말이기도 한 Numpy는 벡터 및 행렬 연산에 있어서 매우 편리한 기능을 제공합니다. 또한 이는 데이터분석을 할 때 사용되는 라이브러리인 pandas와 matplotlib의 기반으로 사용되기도 합니다. numpy에서는 기본적으로 array라는 단위로 데..

Kaggle 타이타닉(Titanic) 80.3% 성공 후기 및 코드

안녕하세요. 문범우입니다. 최근 데이터분석, 인공지능 분야에 관심이 있어서 스터디를 시작하여 kaggle문제를 풀어보기 시작했습니다.개인적으로는 김성훈 교수님의 '모두를 위한 딥러닝'과 '머신러닝 이론 및 파이썬 실습'이라는 온라인 강의를 듣고 바로 도전해보았습니다. '머신러닝 이론 및 파이썬 실습'에서 타이타닉 문제를 바탕으로 파이썬 실습을 진행하여 해당 내용을 통해 타이타닉 문제에서 어떤식으로 데이터를 보아야 하는지 감을 익혔고 이후 정확도 80%를 목표로 생각하고 진행하였습니다. 어떻게 시작해야 할지 막막하기도 했지만 이것저것 해보고, 아래의 사이트도 참고하면서 코드를 작성하였습니다.https://towardsdatascience.com/how-i-got-a-score-of-82-3-and-ende..

AI & BigData/Kaggle 2018.06.04 (1)

텐서플로우(Tensor Flow) #20_ Dynamic RNN

안녕하세요. 문범우입니다.이번 포스팅에서는 텐서플로우의 새로운 기능인 dynamic rnn에 대해서 알아보도록 하겠습니다. * 해당 포스트의 모든 내용은 김성훈 교수님의 '모두를 위한 딥러닝'을 바탕으로 제작되었습니다.관련한 상세 내용은 아래 링크를 참고해주세요.https://hunkim.github.io/ml/ 1. Dynamic RNN 우리가 그동안 다루어보았던 RNN모델을 다시한번 생각해보도록 하겠습니다.이전의 모델을 이용해서 'hello'와 같은 문자열을 다루어볼때는, 우리가 다루고자하는 문자열의 크기에 따라서 RNN을 구성하였습니다.하지만 실제의 데이터에서는 문자열의 크기가 가변적입니다.예를 들어, 누군가가 전달하는 문자열 데이터를 처리한다고 했을 때, 그 데이터가 항상 고정된 길이는 아닙니다...