딥러닝/Notions

Activation Function : Step/Linear Function

활성화 함수 (Activation Function)는 신경망의 출력을 결정하는 식이다. 기존 Perceptron 수식 $$ y= \begin{cases} 0 \quad (w_1x_1 + w_2x_2 \leq \theta) \\ 1 \quad (w_1x_1 + w_2x_2 > \theta) \end{cases} $$ 변형된 Perceptron 수식 $$ X = w_1x_1 + w_2x_2 + b $$ $$ h(x) = \begin{cases} 0 \quad x \leq 0 \\ 1 \quad x>0 \end{cases} $$ 입력 신호의 합 \(h(x)\)를 거쳐 변환되어 \(y\)를 출력. \(h(x)\) 함수는 입력 값이 0을 초과하면 1을 리턴하고, 0을 초과하지 않으면 0을 리턴한다. \(X\) :..

Perceptron

Perceptron 개념 인간의 신경 세포를 알고리즘화 한 것, 딥러닝의 기본 개념 N개의 입력을 받아 1개의 신호를 출력한다 신호가 임계값보다 크면 1을 출력, 임계값보다 작으면 0을 출력한다. (정보 전달 기능은 없음) 위위 그림에서 원은 Node or Neuron 라 지칭하며, 선은 Edge라고 지칭한다. Node에서 다음 Node로 정보가 전달될 때 가중치 /(w_1 \ w_2/)가 곱해져 전달된다. 전달되는 값과 가중치가 곱해진 값 /(w_1 \ x_1/)의 합 /(w_1 \ x_1 +w_2 \ x_2/)이 임계값 \(\theta\)보다 크면 1, 작으면 0이 출력된다. 퍼셉트론 수식 표현 $$ y= \begin{cases} 0 \quad (w_1x_1 + w_2x_2 \leq \theta) \..

Quantization

원문 출처 양자화는 연속 데이터를 이산 숫자로 변환하는 과정이다. 신경망 훈련 계산은 일반적으로 Floating point type (16bit, 32bit)를 사용하여 수행된다. 딥러닝에서 양자화는 일반적으로 부동 소수점에서 고정 소수점 정수로 변환하는 것을 말한다. 딥러닝에서 사용되는 양자화 기술은 Dynamic Quantization, Static Quantization 등이 존재한다. Quantization Mapping 양자화는 부동 소수점 값 \(x ∈ [ \alpha, \beta ]\)를 b-bit 정수 \(x_q ∈ [\alpha_q, \beta_q]\)에 맵핑한다. de-Quantization 프로세스 수학적 정의 $$ x = c(x_q + d) $$ Quantization 프로세스 수학..

CNN (Convolutional Neural Network) 개념 정리

1. CNN 개요 Image는 2차원 데이터고, 2차원 데이터를 1차원 벡터로 평활화하여 신경망 모델에 학습시켜야 한다. CNN의 특징은 Image Size를 줄이면서, 특징을 나타내는 이미지들을 추출 해낼 수 있다. FC Layer에 도달하기 전까지 평활화 과정 없이 이미지 정보를 효과적으로 유지하며, 특징 픽셀들을 추출한다. 위 과정에서 인접한 픽셀과의 관계를 효과적으로 인식 할 수 있고, 이미지의 특징을 모으거나 강화할 수 있다 CNN 주요 개념 정사각형 행렬 모양의 Filter가 이미지를 순회하며 Convolution을 계산한다. 계산 결과를 이용하여 Feature map을 만든다. Feature map을 모아 한 이미지에서 활성화된 픽셀만을 모은 Activation map을 만든다. 위 3가지 ..