📚 LSTM 개념 설명 ✅ RNN의 문제점 ✔ Problem of long term dependency (장기의존문제) 입력된 문서에서 상대적으로 초반부에 등장하는 단어들의 정보가 제대로 반영되지 않는다. 즉, 마지막 time step에 대한 RNN층의 출력 hidden state만 다음 층으로 전달하게 되면 앞쪽 RNN층의 정보를 잘 학습하지 못한다. ✅ LSTM (Long Short Term Memory) 기본적인 작동 원리는 RNN과 동일하다 즉, 현재 time step인 t에서 단어 t에 대한 벡터 정보(xt)와 이전 은닉층에서 전달하는 hidden state 정보를 담고 있는 벡터 ht-1를 같이 입력받는다. LSTM 기본 구조 RNN이 가지는 장기의존문제를 개선하기 위해서 LSTM은 기억 셀(..

📚 CNN 기본 개념 ✅ 이미지 처리에 일반 신경망 적용 시 문제점 ① 공간 정보의 손실 ② 파라미터의 수 증가 예를 들어, 1000 x 1000 크기의 컬러 이미지의 input 노드의 수는 1000 x 1000 x 3 = 3,000,000개이다. 첫 번째 은닉층에 은닉 노드가 100개라고 하면, 입력 층과 첫 번째 은닉층의 가중치 파라미터는 3백만x100=3억개가 된다. 3억 개의 파라미터를 모두 적절하게 튜닝할 수 있는 데이터를 확보하기가 어렵기에 과적합 가능성이 높아진다. https://wikidocs.net/62306 위의 예시에서 3x3 이미지를 처리할 때, 일반 신경망의 경우 9x4=36개의 가중치가 존재하지만, 합성곱 필터를 이용하면 가중치가 4개만 존재하기 때문에 연산이 훨씬 빠르다. ✅ ..

📚 신경망 기본 구조 및 용어 설명 ✅ 입력층, 은닉층, 출력층 기본 신경망 구조 설명 ① 입력층(Input Layer) - feature에 대한 정보(독립변수)를 입력받고 다음 층으로 전달한다. - 입력층 노드의 수 = 독립변수의 수 ② 은닉층(Hidden Layer) - 종속변수를 예측하는데 중요한 특성이나 패턴을 추출한다. - 입력 받은 데이터를 활성화 함수(activation function)를 거쳐서 변환해서 전달함 - 은닉층 노드의 수 = 사용자가 설정 ③ 출력층(Output Layer) - 종속변수의 예측치를 출력한다. 회귀의 경우 종속변수의 값을 그대로 출력하고 분류는 각 종속변수 클래스의 확률을 출력함 회귀문제 : 출력 노드의 수 = 1 분류문제 : 출력 노드의 수 = 종속변수의 클래스 ..

📚 딥러닝 기본 개념 설명 - 비용함수/경사하강법/규제 ✅ 비용함수(Cost Function), 손실함수(Loss Function) • 비용함수 : 학습데이터에 존재하는 전체의 에러 정도를 의미함. 즉 모델이 설명하지 못하는 정도를 나타냄 따라서, 파라미터의 최적 값은 비용함수의 값을 minimize 하는 값이라고 볼 수 있다. 대표적인 비용함수에는 MAE, MSE, RMSE가 있다. 비용함수 예시 ✔ Normal Equation(정규방정식) : 비용함수가 아래로 볼록한2차 방정식 형태(convex form)인 경우, 미분해서 기울기가 0인 지점을 계산하면 비용함수를 최소화하는 지점을 찾을 수 있다. 하지만 이러한 형태로 비용함수가 나타나는 경우는 드물다. 실제 딥러닝의 비용함수는 우측과 같은 형태로 복..

📖 Mini batch, Epoch, Iteration ✅ 미니 배치 (Mini Batch) https://wikidocs.net/55580 • 신경망 학습 시 전체 데이터를 이용해서 경사하강을 진행하면 계산량이 많기 때문에 시간이 오래 걸린다. 또한 메모리 문제로 연산 자체가 불가능한 경우도 있다. • 전체 데이터를 작은 단위로 나눠서 학습하는 단위를 미니 배치라고 한다. 전체 데이터를 여러 개의 그룹으로 나누었을 때, 한 그룹에 있는 데이터의 수 • 미니배치 학습을 진행하게 되면, 각 미니 배치에 대해서 비용을 계산하고 경사하강을 수행한다. 즉, 미니 배치는 가중치와 오차를 한 번 업데이트 하는 데에 사용한 데이터의 수이다. 그리고 모든 미니배치에 대해서 이 과정을 1회 수행하면 1 epoch라고 부..