GitHub - tenaan/AI-study: 💻 AI study 정리💻 AI study 정리. Contribute to tenaan/AI-study development by creating an account on GitHub.github.com7장 핵심 내용 정리Keywords | 그래디언트 부스팅 Gradient Boosting, 스태킹 Stacking이번 글에서는 지난 글에 이어서 Gradient Boosting과 스태킹 앙상블에 대해 소개한다. 그래디언트 부스팅 Gradient BoostingAdaBoost처럼 그래디언트 부스팅은 앙상블에 이전까지의 오차를 보정하도록 예측기를 순차적으로 추가한다.AdaBoost는 반복마다 샘플의 가중치를 수정하지만, 그래디언트 부스팅은 이전 예측기가 만든 ..

GitHub - tenaan/AI-study: 💻 AI study 정리💻 AI study 정리. Contribute to tenaan/AI-study development by creating an account on GitHub.github.com7장 핵심 내용 정리Keywords | Voting, Bagging, OOB, 랜덤 포레스트 Random Forest, AdaBoost 집단지성, 대중의 지혜 Wisdom of the crowd 와 비슷하게 여러개의 예측 모델에서 수집한 예측이 가장 좋은 모델에서 나온 것보다 좋은 예측일 수 있다. 이런 여러개의 모델을 앙상블 Ensemble 이라고 한다. 앙상블 학습 알고리즘은 앙상블 방법 Ensemble Method 라고 한다. 앙상블 방법의 예시로는..

GitHub - tenaan/AI-study: 💻 AI study 정리💻 AI study 정리. Contribute to tenaan/AI-study development by creating an account on GitHub.github.com5장 핵심 내용 정리Keywords | 슬랙 변수, 쌍대 문제, 커널 트릭, 라그랑주 승수법 이번 글에서는 SVM 예측과 학습 알고리즘에 대해 이론적으로 이해하고자 한다. SVM 이론예측선형 SVM 분류모델은 결정 함수 $W^Tx + b$ 를 계산해서 간단하게 새로운 샘플의 클래스를 예측할 수 있다.결괏값이 0보다 크면 예측클래스 $\hat{y}$은 양성(1), 아니라면 음성(0) 클래스가 된다. 학습학습과정에서는 마진 오류를 줄이며 마진을 가능한 한 넓게..

GitHub - tenaan/AI-study: 💻 AI study 정리💻 AI study 정리. Contribute to tenaan/AI-study development by creating an account on GitHub.github.com5장 핵심 내용 정리Keywords | 선형 SVM, 비선형 SVM, 커널 트릭, 가우스 RBF 함수, SVM 회귀 5장에서는 SVM (Support Vector Machine)에 대해서 알아본다. SVM은 선형/비선형 분류, 회귀, 특이값(이상치) 탐지에서 사용되는 다목적 머신러닝 모델이다.중소규모의 비선형 데이터셋 (수백, 수천 개의 샘플)의 분류 작업에서 유용하지만 큰 데이터셋으로 확장되기는 어렵다. 선형 SVM두 개의 클래스를 나눌 수 있으면서도 ..

GitHub - tenaan/AI-study: 💻 AI study 정리💻 AI study 정리. Contribute to tenaan/AI-study development by creating an account on GitHub.github.com6장 핵심 내용 정리Keywords | 지니 불순도 Gini Impurity, 엔트로피 Entropy, CART이번 장에서는 결정 트리 Decision Tree의 학습 방법, 예측 방법, 그리고 규제에 대해서 알아본다.또한 결정 트리는 강력한 알고리즘이지만, 결정 트리가 가지고 있는 한계에 대해서도 간단히 살펴본다. 결정 트리는 분류, 회귀, 다중 출력 작업 등에 활용될 수 있는 다목적 머신러닝 알고리즘으로 매우 복잡한 데이터셋도 학습 가능한 강력한 알고리..

GitHub - tenaan/AI-study: 💻 AI study 정리💻 AI study 정리. Contribute to tenaan/AI-study development by creating an account on GitHub.github.com4장 핵심 내용 정리Keywords | 릿지 회귀, 라쏘 회귀, 엘라스틱넷 회귀, 로지스틱 회귀, 소프트맥스 회귀이번 글에서는 4.5 규제가 있는 선형모델부터 4장 끝까지 정리한다. 선형 회귀 모델에서는 보통 모델의 가중치를 제한함으로써 규제를 가하여 과대적합을 방지한다.가중치가 크다는건 해당 특징이 모델의 예측에 큰 영향을 끼친다는 것이고, 이는 데이터의 잡음까지 포착해서 구불구불한 곡선을 그리게된다. 하지만 가중치가 작으면 모델은 보다 부드러운 곡선을 ..