📚 나이브 베이즈 개념 • 예측에 사용하는 특성과 결과 값 사이의 dependency relationship을 사용한다. Bayes theorem에 따라서 확률적인 계산을 수행하므로, 엄격하게 말해서 model-based 알고리즘과는 차이가 있다. • 조건부 확률을 기반으로, 분류할 데이터가 주어졌을 때 다른 유사한 데이터 레코드들이 어떤 class로 분류되는지를 계산하는 것이 핵심 아이디어. ✅ Bayes' Theorem · A : 알고자 하는 class(종속변수) / B : 주어진 predictor(독립변수) · 나이브 베이즈의 핵심, Bayes' Theorem을 이용하여 P(A|B)를 계산하기 위해서 P(B|A)를 사용한다. · 위와 같이 예측하고자 하는 레코드와 same predictor valu..

◈ 개념 • 작동 방식이나 개념이 상대적으로 이해가 쉬워서, 가장 빈번하게 사용되는 알고리즘 중 하나이다. • Make no assumptions about data. 즉, data-driven 성격이며 model-driven이 아니다. • 거리를 계산하는 방식은 여러가지가 있지만, 주로 Euclidean / Manhattan / Chybyshev distance 를 사용한다. • 계산에 사용하는 predictor 변수의 스케일 차이가 많이 나면, 거리 계산이 올바로 되지 않을 수 있으므로 정규화(normalize)를 실시하는 것이 적절하다. • 아래 예제에서 Manhattan은 2+1=3, Chybyshev은 2로 계산된다. ◈ 장점 • 데이터셋이 크고, 각 클래스가 multiple combinatio..

📖 Mini batch, Epoch, Iteration ✅ 미니 배치 (Mini Batch) https://wikidocs.net/55580 • 신경망 학습 시 전체 데이터를 이용해서 경사하강을 진행하면 계산량이 많기 때문에 시간이 오래 걸린다. 또한 메모리 문제로 연산 자체가 불가능한 경우도 있다. • 전체 데이터를 작은 단위로 나눠서 학습하는 단위를 미니 배치라고 한다. 전체 데이터를 여러 개의 그룹으로 나누었을 때, 한 그룹에 있는 데이터의 수 • 미니배치 학습을 진행하게 되면, 각 미니 배치에 대해서 비용을 계산하고 경사하강을 수행한다. 즉, 미니 배치는 가중치와 오차를 한 번 업데이트 하는 데에 사용한 데이터의 수이다. 그리고 모든 미니배치에 대해서 이 과정을 1회 수행하면 1 epoch라고 부..