관광이 블로그

안녕하세요. 감자코딩에 감자개발자 입니다. 이번강의에서 다룰 내용은 엠베딩 방법론입니다. 1. 단어를 벡터화하는 방법론 3가지를 설명드리겠습니다. 대표적인 벡터화 방법론은 Word2Vec, Glove, FastText 가 있습니다.이중에서 가장 큰 특징은 단어 동시 등장 정보(word's of no-occurence)를 보존한다는 점입니다. 2. Word2Vec 이란? 단어를 벡터로 바꾸어주는 방법론입니다. 3. Word2Vec의 종류? CBOW(Continuous Bag of Words) 와 Skip-Gram 방식 두가지가 있습니다. CBOW 방식 예) 감자코딩은 _____ 하는것을 좋아한다. ___에 들어갈 단어를 예측할 수 있으신가요? 주변단어를 통해 중심단어를 맞추어내면서 벡터화로 만드는 방식을 ..

1. Soft_cross_entropy_with_logics 들어가기 앞서, 기본적인것들 재복습 자 이제, Animal Classfication(with softmax_cross_entropy_with_logics 을 사용하여 예제를 확인해볼 이다. Y의 값을 보았을때, 0~6범위를 나타내고 있으며, Y축을 나타내는값은 1개인것을 알 수 있다. 우리는 이제 placeholder를 사용하여서 shape 값을 정의할 것인데, 현재 y의 값을 나타내는것은 1개 이고, N개의 필드가 들어올 수 있음을 시사한다. 이것을 표현하면 tf.placeholder(tf.int32,[None,1])로 나타낼 수 있다. 이제 우리는 이것들의 데이터들을 one_hot을 사용하여 분류를 하게될 것이다. 근데 이때, one_hot..

1. Softmax function XW 의 식을 tf.matmul(X,W)+b 의 식으로 간단하게 Tensorflow로 나타낼 수 있고 , Softmax를 구하기 위해서는 tf.nn.softmax(tf.matmul(X,W)+b)로 나타낼 수 있다. 2. Cost FunctionCost값을 구할때는 reduce_mean을 사용하여 평균값을 구한후, 위의 식대로 간단하게 표현이 가능하다. 이렇게 구한 cost값을 사용하여 경사의 Minimize값을 구하게 될것인데, 이때 GradientDescentOptimizer를 사용하여 최소값을 구하게 될 수 있다. 여기서 Step의 하나하나의 a 값은 변동값을 업데이트를 하기위함이다. 3. 실습하기Data value is onehot expression. 설명 : ..

1. Where is Sigmoid? 여기서는 2.0 , 1.0 , 0.1 이런식으로 나누어져 있지만, sigmoid 함수를 써서 우리는 0~1까지의 범위내에서 값을 구하기를 원한다. 우리는 Ya , Yb, Yc의 값의 합이 1이 되기를 원한다. 이때 사용하는것 softmax. 2. What is Sigmoid ? Sigmoid는 0~1사이의 값으로 추정해주는데, 이때 이렇게 만들어 주는것이 Softmax classfier이다. Softmax를 사용하면 값들의 합이 = 1 이 되도록 하고, 이때 A라는 결과를 얻었을 경우 1.0 의 값이 주어지고 나머지 경우에는 0.0 이라는값을 주어지게 하는 방법은 "One hot Encoding"방식이다. 3. One Hot Encoding방식 여기까지 예측하는값을 ..

1.Logistic Regression Logistic Regression 의 기본 개념 => 위의 그림 설명 A , B가 있다고 하였을 경우 그 두개의 그래프에서 두개의 A,B를 구분하는 선을 찾는것이다. 2. Multinomial Classfication C or not / B or not / A or not 의 경우로 나누어서 생각 할 수 있다. X라는 값이 들어왔을때 A,B,C의 값을 판별해낼 수 있다는것을 알면 된다. classfication을 구현할 수 있는데, matrix형태로 바꿀 수 있는데, 이런형식은 너무 값이 많아지고 표현하기가 어려워 진다. 이것을 어떻게 처리 할 수 있을까?하나의 벡터로 처리하게 되면 한번에 계산이 가능하다. 3개의 A,b,C의 값들이 독립적으로 동작되게 된다. 여..

1. Loading data from file 1)이번 강좌에서는 여러가지 파일에 있는 데이터들을 사용하여 활용하는 방법에 대해 알아 볼 것입니다.data-01.csv 파일을 이용할 것 이므로, data-01.csv파일을 준비합니다.(data file) * data-01.csv File 73 80 75 152 93 88 93 185 89 91 90 180 96 98 100 196 73 66 70 142 53 46 55 101 69 74 77 149 47 56 60 115 87 79 90 175 79 70 88 164 69 70 73 141 70 65 74 141 93 95 91 184 79 80 73 152 70 73 78 148 93 89 96 192 78 75 68 147 81 90 93 183 88..

1. Hypothesis None using matrix -1 import tensorflow as tftf.set_random_seed(777) # for reproducibility x1_data = [73., 93., 89., 96., 73.]x2_data = [80., 88., 91., 98., 66.]x3_data = [75., 93., 90., 100., 70.] y_data = [152., 185., 180., 196., 142.] # placeholders for a tensor that will be always fed.x1 = tf.placeholder(tf.float32)x2 = tf.placeholder(tf.float32)x3 = tf.placeholder(tf.float32) Y..

1. Recap 1) Hythesis H(x) = Wx+bW : Weightb : Bias 2) Cost function cost(W,b) = 1/m (∑ (H(x)i^ -y(i^))^2 predicting / true 3)Gradient descent algorigm 2. multi-variable 일경우 H(x1,x2,x3,xn) = w1x1 + w2x2 + w3x3 + wnxn .....+ b cost값도 변수만 증가시켜주면 Cost Function = cost(W,b) = 1/m (∑ (H(x1,x2,xn.....)i^ -y(i^))^2 그런데, 이러한것들을 계속 처리하기위해서는 불편함이 있음.어떻게 처리하면 될까? Matrix 이 식을 보게 되면 H(x) = XW 가 되는 과정을 볼 수 있음. ..

1. hypothesis 요약 cost가 최적화 된다는것은 최저가 되는 지점 Cost Function 을 간단히 요약하면 이렇게 표현이 가능하다. 2.Cost Minimizing Structure W.Assgin 함수를 통해서 Assgin할수 있다. 이것의 update에 할당해서 실행을 시키게 된다면,일련의 동작들이 수행되게 된다. 3. matplotlib 설치하기실습에 앞서 matplotlib 를 사용할것인데, 이것은 시각화 라이브러리라고 생각하면 편하다. 실습에서 사용할것이므로 (tensorflow) kgh-2:tensorflow kgh$ pip install matplotlib 4. 실습 Cost Minimizing -1 이제 이것을 사용하여 그래프를 그려보자# Lab 3 Minimizing Cos..

1. what cost look like? W=2 의 값일때 cost(W)의 값은 4.67로 동일하다 Y축 : Cost X축 : W로 두었을 때, minimize 시킬 수 있어야한다. 2. Gradient descent algorigm (1) minimize cost function (2) Gradient descent is used minimization problems (3) for a given cost function 3. how it works?gradient descent the lowest point부분을 찾는다.(경사가 있는 그래프의 minimize) 경사를 어떻게 구할 수 있을까? 미분을 사용한다.미분을 사용한다는것은 ? 그 그래프의 기울기를 구한다고 생각하면 쉽다. Ex)미분의 예제 C..

1. Hypothesis and cost functioncostfunction의 기본 원리 및 구조 2. 이제 tensorflow 실습-1 import tensorflow as tftf.set_random_seed(777) # for reproducibility # X and Y data 학습데이터 X,Yx_train = [1, 2, 3]y_train = [1, 2, 3] # Try to find values for W and b to compute y_data = x_data * W + b# We know that W should be 1 and b should be 0# But let TensorFlow figure it out Variable은 변수와 다른 개념인데, 텐서플로우가 자체적으로 변경시키..

1. Linear Regression Predicting exam score : regression supervised learning 을 통해 알아보자.supervised learning은 간단히 데이터를 가지고 학습을 시키는것이다. learning course : Train -> regression 간단히 말하면,데이터를 trainning 시켜놓은 후, 그 조건에 맞는 데이터에 대한 확률을 regression analysisX,Y의 표로 시행되고 있음을 알면된다. (1) Linear Regression이란?(hypothesis)데이터 분석에 있어서 하나의 가설 검증이 필요하다. 이 가설을 검증할때, Linear 한 모델이 우리 데이터에 맞을것이다. 라는의미 가설을 세우고, 가장 적합한 데이터를 결정하..

앞서 강좌에서 Tensorflow의 환경 구축을 완료해보았습니다. 1.기본 소스코드 분석>>> import tensorflow as tf >>> hello = tf.constant('Hello, TensorFlow!') >>> sess = tf.Session() 2018-03-11 00:55:58.218567: I tensorflow/core/platform/cpu_feature_guard.cc:140] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 FMA>>> print(sess.run(hello)) Hello, TensorFlow! 이 코드는 앞선 강좌에서 환경구축을 완료한후 기본 소스코드..

1. What is Tensorflow? - tensorflow is computer using data flow graph. - python(library) 2. what is a data flow graph?돌아다니는 데이터 = tensor흐름 = flow tensor + flow = tensorflow 3. Mac Tensorflow Env Setting(virtualenv 사용하여 Tensorflow 환경 구축하기) 가상으로 텐서플로우 환경을 만들어서 실행시킬것이다. 그 이유는, 기존의 시스템의 파이썬과의 충돌을 방지하기 위함(Anaconda도 많이 사용하는데 공식적으로 지침은 아니라고 한다.)필자는 virtualenv를 사용하여 설치하였다. (1) 터미널을 켠다(Mac기준)단, 여기에서는 파이썬..

- ML Algorigm 종류1. Linear regression2. Logistic regression(classfication)3. nerual Network - tool : tensorflow- note 참고 자료 : http://www.holehouse.org/mlclass/ 1. what is ML?* Spam Filter : many rules* Automatic Driving : too many rules 2. Supervised / Unsupervised ?(1) Supervised 와 Unsupervised를 나누는 기준은 학습하는 방법에 따른 분류에 따라 바뀐다. (2) Supervised learning에서는 카테고리가 있는 것 예를 들어 , 고양이,강아지등 동물을 카테고리 별로 나누..