[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
tag
- OLS 9
- ESL 6
- Python 5
- Subset selection 4
- Shrinkage method 4
- Ridge 3
- Lasso 3
- k-NN 2
- Forward Stagewise Selection 2
- Least Angle Regression 2
- Sparsity 2
- In-sample Prediction 2
- Splines 2
- Basis Expansion 2
- Kernel 2
- Bayes Classfier 1
- 과학 1
- 철학 1
- QR Decomposition 1
- Forward Stepwise Selection 1
- Backward Stepwise Selection 1
- PCA 1
- PLS 1
- Continuum Regression 1
- Dantzig Selector 1
- Piecewise linear path 1
- LDA 1
- Logistic Regression 1
- Seperating Hyperplances 1
- SVM 1
- Perceptron Learning 1
- Lagrange Dual Problem 1
- KKT condition 1
- Regression Splines 1
- Smooting Splines 1
- RKHS 1
- Thin Plate Splines 1
- Tensor Product Splines 1
- Local Regression 1
- Cross Validation 1
- Bootstrap 1
OLS
[ESL 리뷰] 교재 4-1장 LDA
“The Elements of Statistical Learning” 교재 4장 Linear Methods for Classification 내용을 요약한 것이다. Classification 문제에서는 종속 변수가 이산적인 값을 갖기에 input space에 대한 분리가 항상 가...
The risk inflation criterion
Foster, D. & George, E. (1994), ‘The risk inflation criterion for multiple regression’의 내용을 참고해서 글을 정리해보았다.
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
[ESL 리뷰] 교재 3장-2 Shrinkage Methods(Ridge, Lasso)
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods에 관한 내용을 정리해보았다. 앞서 subset selection을 통해 모델의 해석력과 더 나은 prediction error를 가질수 있음을 알 수 있었다. 하지만 ...
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
[ESL 리뷰] 교재 2장 figure
“The Elements of Statistical Learning” 교재 2장의 figure들을 python을 이용하여 작성해보았다.
ESL
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
[ESL 리뷰] 교재 3장-2 Shrinkage Methods(Ridge, Lasso)
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods에 관한 내용을 정리해보았다. 앞서 subset selection을 통해 모델의 해석력과 더 나은 prediction error를 가질수 있음을 알 수 있었다. 하지만 ...
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
[ESL 리뷰] 교재 2장 figure
“The Elements of Statistical Learning” 교재 2장의 figure들을 python을 이용하여 작성해보았다.
Python
[ESL 리뷰] 교재 7장-1 Model Assemssment and Selection
모델의 성능을 평가하는 것은 어떠한 모델과 파라미터를 선택할지를 나타내어주는 지표이며, 최종적으로 우리가 선택할 모델의 근거가 되므로 굉장히 중요한 과정이다. 이번 포스팅에서는 먼저 편향과 분산의 트레이드 오프 관계를 알아보고, 크게 in-sample error를 통해 predic...
[ESL 리뷰] 교재 6장 Kernel Smoothers
이번 포스팅에서는 저번과 마찬가지로 \(\mathbb{R}^p\)상에서의 회귀 모델 \(f(X)\)에 대한 유연성을 더해주는 방법으로 커널 함수를 이용하는 모델을 알아볼 것이다. 단순하게 각 입력 데이터 포인트 \(x_0\)마다 학습데이터 포인트들에 커널함수 \(K_{\lambda...
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
[ESL 리뷰] 교재 5장-1 Basis Expansion and Regularization in univariate case
이전 챕터까지의 모델들, Linear Regression, LDA, Logistic Regression, Seperating Hyperplane 등의 모델들은 독립변수들에 대한 선형성을 기반으로 모델이 구성되었었다. 하지만 대부분의 경우 \(f(X)\)는 \(X\)에 대해 선형적이...
[ESL 리뷰] 교재 2장 figure
“The Elements of Statistical Learning” 교재 2장의 figure들을 python을 이용하여 작성해보았다.
Subset selection
The risk inflation criterion
Foster, D. & George, E. (1994), ‘The risk inflation criterion for multiple regression’의 내용을 참고해서 글을 정리해보았다.
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
Shrinkage method
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
[ESL 리뷰] 교재 3장-2 Shrinkage Methods(Ridge, Lasso)
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods에 관한 내용을 정리해보았다. 앞서 subset selection을 통해 모델의 해석력과 더 나은 prediction error를 가질수 있음을 알 수 있었다. 하지만 ...
Ridge
[ESL 리뷰] 교재 6장 Kernel Smoothers
이번 포스팅에서는 저번과 마찬가지로 \(\mathbb{R}^p\)상에서의 회귀 모델 \(f(X)\)에 대한 유연성을 더해주는 방법으로 커널 함수를 이용하는 모델을 알아볼 것이다. 단순하게 각 입력 데이터 포인트 \(x_0\)마다 학습데이터 포인트들에 커널함수 \(K_{\lambda...
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
[ESL 리뷰] 교재 3장-2 Shrinkage Methods(Ridge, Lasso)
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods에 관한 내용을 정리해보았다. 앞서 subset selection을 통해 모델의 해석력과 더 나은 prediction error를 가질수 있음을 알 수 있었다. 하지만 ...
Lasso
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
[ESL 리뷰] 교재 3장-2 Shrinkage Methods(Ridge, Lasso)
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods에 관한 내용을 정리해보았다. 앞서 subset selection을 통해 모델의 해석력과 더 나은 prediction error를 가질수 있음을 알 수 있었다. 하지만 ...
k-NN
[ESL 리뷰] 교재 6장 Kernel Smoothers
이번 포스팅에서는 저번과 마찬가지로 \(\mathbb{R}^p\)상에서의 회귀 모델 \(f(X)\)에 대한 유연성을 더해주는 방법으로 커널 함수를 이용하는 모델을 알아볼 것이다. 단순하게 각 입력 데이터 포인트 \(x_0\)마다 학습데이터 포인트들에 커널함수 \(K_{\lambda...
[ESL 리뷰] 교재 2장 figure
“The Elements of Statistical Learning” 교재 2장의 figure들을 python을 이용하여 작성해보았다.
Forward Stagewise Selection
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
Least Angle Regression
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
Sparsity
The risk inflation criterion
Foster, D. & George, E. (1994), ‘The risk inflation criterion for multiple regression’의 내용을 참고해서 글을 정리해보았다.
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
In-sample Prediction
[ESL 리뷰] 교재 7장-1 Model Assemssment and Selection
모델의 성능을 평가하는 것은 어떠한 모델과 파라미터를 선택할지를 나타내어주는 지표이며, 최종적으로 우리가 선택할 모델의 근거가 되므로 굉장히 중요한 과정이다. 이번 포스팅에서는 먼저 편향과 분산의 트레이드 오프 관계를 알아보고, 크게 in-sample error를 통해 predic...
The risk inflation criterion
Foster, D. & George, E. (1994), ‘The risk inflation criterion for multiple regression’의 내용을 참고해서 글을 정리해보았다.
Splines
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
[ESL 리뷰] 교재 5장-1 Basis Expansion and Regularization in univariate case
이전 챕터까지의 모델들, Linear Regression, LDA, Logistic Regression, Seperating Hyperplane 등의 모델들은 독립변수들에 대한 선형성을 기반으로 모델이 구성되었었다. 하지만 대부분의 경우 \(f(X)\)는 \(X\)에 대해 선형적이...
Basis Expansion
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
[ESL 리뷰] 교재 5장-1 Basis Expansion and Regularization in univariate case
이전 챕터까지의 모델들, Linear Regression, LDA, Logistic Regression, Seperating Hyperplane 등의 모델들은 독립변수들에 대한 선형성을 기반으로 모델이 구성되었었다. 하지만 대부분의 경우 \(f(X)\)는 \(X\)에 대해 선형적이...
Kernel
[ESL 리뷰] 교재 6장 Kernel Smoothers
이번 포스팅에서는 저번과 마찬가지로 \(\mathbb{R}^p\)상에서의 회귀 모델 \(f(X)\)에 대한 유연성을 더해주는 방법으로 커널 함수를 이용하는 모델을 알아볼 것이다. 단순하게 각 입력 데이터 포인트 \(x_0\)마다 학습데이터 포인트들에 커널함수 \(K_{\lambda...
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
Bayes Classfier
[ESL 리뷰] 교재 2장 figure
“The Elements of Statistical Learning” 교재 2장의 figure들을 python을 이용하여 작성해보았다.
과학
[도서 리뷰] 나 없이는 존재하지 않는 세상 - 카를로 로벨리
언어가 표현하는 것은 존재하지 않는다. 생각의 영역은 존재하지 않는다.
철학
[도서 리뷰] 나 없이는 존재하지 않는 세상 - 카를로 로벨리
언어가 표현하는 것은 존재하지 않는다. 생각의 영역은 존재하지 않는다.
QR Decomposition
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
Forward Stepwise Selection
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
Backward Stepwise Selection
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
PCA
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
PLS
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
Continuum Regression
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
Dantzig Selector
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
Piecewise linear path
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
LDA
[ESL 리뷰] 교재 4-1장 LDA
“The Elements of Statistical Learning” 교재 4장 Linear Methods for Classification 내용을 요약한 것이다. Classification 문제에서는 종속 변수가 이산적인 값을 갖기에 input space에 대한 분리가 항상 가...
Logistic Regression
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
Seperating Hyperplances
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
SVM
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
Perceptron Learning
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
Lagrange Dual Problem
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
KKT condition
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
Regression Splines
[ESL 리뷰] 교재 5장-1 Basis Expansion and Regularization in univariate case
이전 챕터까지의 모델들, Linear Regression, LDA, Logistic Regression, Seperating Hyperplane 등의 모델들은 독립변수들에 대한 선형성을 기반으로 모델이 구성되었었다. 하지만 대부분의 경우 \(f(X)\)는 \(X\)에 대해 선형적이...
Smooting Splines
[ESL 리뷰] 교재 5장-1 Basis Expansion and Regularization in univariate case
이전 챕터까지의 모델들, Linear Regression, LDA, Logistic Regression, Seperating Hyperplane 등의 모델들은 독립변수들에 대한 선형성을 기반으로 모델이 구성되었었다. 하지만 대부분의 경우 \(f(X)\)는 \(X\)에 대해 선형적이...
RKHS
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
Thin Plate Splines
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
Tensor Product Splines
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
Local Regression
[ESL 리뷰] 교재 6장 Kernel Smoothers
이번 포스팅에서는 저번과 마찬가지로 \(\mathbb{R}^p\)상에서의 회귀 모델 \(f(X)\)에 대한 유연성을 더해주는 방법으로 커널 함수를 이용하는 모델을 알아볼 것이다. 단순하게 각 입력 데이터 포인트 \(x_0\)마다 학습데이터 포인트들에 커널함수 \(K_{\lambda...
Cross Validation
[ESL 리뷰] 교재 7장-1 Model Assemssment and Selection
모델의 성능을 평가하는 것은 어떠한 모델과 파라미터를 선택할지를 나타내어주는 지표이며, 최종적으로 우리가 선택할 모델의 근거가 되므로 굉장히 중요한 과정이다. 이번 포스팅에서는 먼저 편향과 분산의 트레이드 오프 관계를 알아보고, 크게 in-sample error를 통해 predic...
Bootstrap
[ESL 리뷰] 교재 7장-1 Model Assemssment and Selection
모델의 성능을 평가하는 것은 어떠한 모델과 파라미터를 선택할지를 나타내어주는 지표이며, 최종적으로 우리가 선택할 모델의 근거가 되므로 굉장히 중요한 과정이다. 이번 포스팅에서는 먼저 편향과 분산의 트레이드 오프 관계를 알아보고, 크게 in-sample error를 통해 predic...