[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
tag
- OLS 9
- ESL 6
- Python 5
- Subset selection 4
- Shrinkage method 4
- Multiple testing 4
- Ridge 3
- Lasso 3
- k-NN 2
- Forward Stagewise Selection 2
- Least Angle Regression 2
- Sparsity 2
- In-sample Prediction 2
- Splines 2
- Basis Expansion 2
- Kernel 2
- Weighting based 2
- Likelihood-ratio test 2
- Bayes Classfier 1
- 과학 1
- 철학 1
- QR Decomposition 1
- Forward Stepwise Selection 1
- Backward Stepwise Selection 1
- PCA 1
- PLS 1
- Continuum Regression 1
- Dantzig Selector 1
- Piecewise linear path 1
- LDA 1
- Logistic Regression 1
- Seperating Hyperplances 1
- SVM 1
- Perceptron Learning 1
- Lagrange Dual Problem 1
- KKT condition 1
- Regression Splines 1
- Smooting Splines 1
- RKHS 1
- Thin Plate Splines 1
- Tensor Product Splines 1
- Local Regression 1
- Cross Validation 1
- Bootstrap 1
- Grouping based 1
- Asymptotic analysis 1
- Mathematical Analysis 1
- Topology 1
- p-value based 1
- Martingale 1
- Stochastic process 1
- Sufficiency 1
- Complete 1
- UMVUE 1
- Rao-Blackwell 1
- Lehmann-Scheffé 1
- Cramer-Rao Inequality 1
OLS
[ESL 리뷰] 교재 4-1장 LDA
“The Elements of Statistical Learning” 교재 4장 Linear Methods for Classification 내용을 요약한 것이다. Classification 문제에서는 종속 변수가 이산적인 값을 갖기에 input space에 대한 분리가 항상 가...
The risk inflation criterion
Foster, D. & George, E. (1994), ‘The risk inflation criterion for multiple regression’의 내용을 참고해서 글을 정리해보았다.
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
[ESL 리뷰] 교재 3장-2 Shrinkage Methods(Ridge, Lasso)
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods에 관한 내용을 정리해보았다. 앞서 subset selection을 통해 모델의 해석력과 더 나은 prediction error를 가질수 있음을 알 수 있었다. 하지만 ...
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
[ESL 리뷰] 교재 2장 figure
“The Elements of Statistical Learning” 교재 2장의 figure들을 python을 이용하여 작성해보았다.
ESL
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
[ESL 리뷰] 교재 3장-2 Shrinkage Methods(Ridge, Lasso)
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods에 관한 내용을 정리해보았다. 앞서 subset selection을 통해 모델의 해석력과 더 나은 prediction error를 가질수 있음을 알 수 있었다. 하지만 ...
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
[ESL 리뷰] 교재 2장 figure
“The Elements of Statistical Learning” 교재 2장의 figure들을 python을 이용하여 작성해보았다.
Python
[ESL 리뷰] 교재 7장-1 Model Assemssment and Selection
모델의 성능을 평가하는 것은 어떠한 모델과 파라미터를 선택할지를 나타내어주는 지표이며, 최종적으로 우리가 선택할 모델의 근거가 되므로 굉장히 중요한 과정이다. 이번 포스팅에서는 먼저 편향과 분산의 트레이드 오프 관계를 알아보고, 크게 in-sample error를 통해 predic...
[ESL 리뷰] 교재 6장 Kernel Smoothers
이번 포스팅에서는 저번과 마찬가지로 \(\mathbb{R}^p\)상에서의 회귀 모델 \(f(X)\)에 대한 유연성을 더해주는 방법으로 커널 함수를 이용하는 모델을 알아볼 것이다. 단순하게 각 입력 데이터 포인트 \(x_0\)마다 학습데이터 포인트들에 커널함수 \(K_{\lambda...
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
[ESL 리뷰] 교재 5장-1 Basis Expansion and Regularization in univariate case
이전 챕터까지의 모델들, Linear Regression, LDA, Logistic Regression, Seperating Hyperplane 등의 모델들은 독립변수들에 대한 선형성을 기반으로 모델이 구성되었었다. 하지만 대부분의 경우 \(f(X)\)는 \(X\)에 대해 선형적이...
[ESL 리뷰] 교재 2장 figure
“The Elements of Statistical Learning” 교재 2장의 figure들을 python을 이용하여 작성해보았다.
Subset selection
The risk inflation criterion
Foster, D. & George, E. (1994), ‘The risk inflation criterion for multiple regression’의 내용을 참고해서 글을 정리해보았다.
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
Shrinkage method
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
[ESL 리뷰] 교재 3장-2 Shrinkage Methods(Ridge, Lasso)
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods에 관한 내용을 정리해보았다. 앞서 subset selection을 통해 모델의 해석력과 더 나은 prediction error를 가질수 있음을 알 수 있었다. 하지만 ...
Multiple testing
p-value based multiple testing with side information
부가정보(side information)을 활용한 p-value 기반의 다중 검정모델인 AdaPT와 IHW를 다뤄볼 예정이다.
Weighting based multiple testing cont
저번 포스팅에 이어 이번에는 wBH절차 하에서 가설의 수가 충분히 많은 경우에 대해 데이터에만 의존하는 FDR의 상한을 유도해보자. 먼저, 확률변수의 수렴에 대해 복습해보자.
Weighting based multiple testing
다중 검정에서 사전정보를 활용하여 p-value마다 가중치를 부여하여 검정하는 방법을 알아볼 예정이다.
Grouping based multiple testing
다중 검정에서 가설들이 교환가능하지 않을 경우, 군집화를 기반으로 이를 해결하는 방법론들을 다뤄볼 것이다. 다음의 내용을 참고하였다.
Ridge
[ESL 리뷰] 교재 6장 Kernel Smoothers
이번 포스팅에서는 저번과 마찬가지로 \(\mathbb{R}^p\)상에서의 회귀 모델 \(f(X)\)에 대한 유연성을 더해주는 방법으로 커널 함수를 이용하는 모델을 알아볼 것이다. 단순하게 각 입력 데이터 포인트 \(x_0\)마다 학습데이터 포인트들에 커널함수 \(K_{\lambda...
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
[ESL 리뷰] 교재 3장-2 Shrinkage Methods(Ridge, Lasso)
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods에 관한 내용을 정리해보았다. 앞서 subset selection을 통해 모델의 해석력과 더 나은 prediction error를 가질수 있음을 알 수 있었다. 하지만 ...
Lasso
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
[ESL 리뷰] 교재 3장-2 Shrinkage Methods(Ridge, Lasso)
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods에 관한 내용을 정리해보았다. 앞서 subset selection을 통해 모델의 해석력과 더 나은 prediction error를 가질수 있음을 알 수 있었다. 하지만 ...
k-NN
[ESL 리뷰] 교재 6장 Kernel Smoothers
이번 포스팅에서는 저번과 마찬가지로 \(\mathbb{R}^p\)상에서의 회귀 모델 \(f(X)\)에 대한 유연성을 더해주는 방법으로 커널 함수를 이용하는 모델을 알아볼 것이다. 단순하게 각 입력 데이터 포인트 \(x_0\)마다 학습데이터 포인트들에 커널함수 \(K_{\lambda...
[ESL 리뷰] 교재 2장 figure
“The Elements of Statistical Learning” 교재 2장의 figure들을 python을 이용하여 작성해보았다.
Forward Stagewise Selection
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
Least Angle Regression
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
[ESL 리뷰] 교재 3장-3 Forward Stagewise Selection, Least Angle Regression
“The Elements of Statistical Learning” 교재 3장의 Shrinkage Methods중 Forward Stagewise Selection, Least Angle Regression(LAR)에 관해 정리를 해보았다.
Sparsity
The risk inflation criterion
Foster, D. & George, E. (1994), ‘The risk inflation criterion for multiple regression’의 내용을 참고해서 글을 정리해보았다.
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
In-sample Prediction
[ESL 리뷰] 교재 7장-1 Model Assemssment and Selection
모델의 성능을 평가하는 것은 어떠한 모델과 파라미터를 선택할지를 나타내어주는 지표이며, 최종적으로 우리가 선택할 모델의 근거가 되므로 굉장히 중요한 과정이다. 이번 포스팅에서는 먼저 편향과 분산의 트레이드 오프 관계를 알아보고, 크게 in-sample error를 통해 predic...
The risk inflation criterion
Foster, D. & George, E. (1994), ‘The risk inflation criterion for multiple regression’의 내용을 참고해서 글을 정리해보았다.
Splines
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
[ESL 리뷰] 교재 5장-1 Basis Expansion and Regularization in univariate case
이전 챕터까지의 모델들, Linear Regression, LDA, Logistic Regression, Seperating Hyperplane 등의 모델들은 독립변수들에 대한 선형성을 기반으로 모델이 구성되었었다. 하지만 대부분의 경우 \(f(X)\)는 \(X\)에 대해 선형적이...
Basis Expansion
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
[ESL 리뷰] 교재 5장-1 Basis Expansion and Regularization in univariate case
이전 챕터까지의 모델들, Linear Regression, LDA, Logistic Regression, Seperating Hyperplane 등의 모델들은 독립변수들에 대한 선형성을 기반으로 모델이 구성되었었다. 하지만 대부분의 경우 \(f(X)\)는 \(X\)에 대해 선형적이...
Kernel
[ESL 리뷰] 교재 6장 Kernel Smoothers
이번 포스팅에서는 저번과 마찬가지로 \(\mathbb{R}^p\)상에서의 회귀 모델 \(f(X)\)에 대한 유연성을 더해주는 방법으로 커널 함수를 이용하는 모델을 알아볼 것이다. 단순하게 각 입력 데이터 포인트 \(x_0\)마다 학습데이터 포인트들에 커널함수 \(K_{\lambda...
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
Weighting based
Weighting based multiple testing cont
저번 포스팅에 이어 이번에는 wBH절차 하에서 가설의 수가 충분히 많은 경우에 대해 데이터에만 의존하는 FDR의 상한을 유도해보자. 먼저, 확률변수의 수렴에 대해 복습해보자.
Weighting based multiple testing
다중 검정에서 사전정보를 활용하여 p-value마다 가중치를 부여하여 검정하는 방법을 알아볼 예정이다.
Likelihood-ratio test
최대 가능도비 검정 2
모집단의 개수가 3개 이상인 경우의 최대 가능도비 검정과, 이변량 정규분포에서 상관계수에 대한 최대 가능도비 검정을 유도해 볼 것이다.
최대 가능도비 검정 1
최대가능도비 검정(LRT)은 주어진 데이터가 두 개의 경쟁 가설 중 어느 쪽을 더 지지하는지를 가능도비를 통해 판단하는 가설 검정 방법이다.
Bayes Classfier
[ESL 리뷰] 교재 2장 figure
“The Elements of Statistical Learning” 교재 2장의 figure들을 python을 이용하여 작성해보았다.
과학
[도서 리뷰] 나 없이는 존재하지 않는 세상 - 카를로 로벨리
언어가 표현하는 것은 존재하지 않는다. 생각의 영역은 존재하지 않는다.
철학
[도서 리뷰] 나 없이는 존재하지 않는 세상 - 카를로 로벨리
언어가 표현하는 것은 존재하지 않는다. 생각의 영역은 존재하지 않는다.
QR Decomposition
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
Forward Stepwise Selection
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
Backward Stepwise Selection
[ESL 리뷰] 교재 3장-1 Computing OLS Coefficients Using QR Decomposition, Subset selection
“The Elements of Statistical Learning” 교재 3장의 subset selection 파트의 앞부분에 관한 내용을 정리해보았다.
PCA
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
PLS
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
Continuum Regression
[ESL 리뷰] 교재 3장-4 Ridge regression, PCA, PLS, Continuum Regression
“The Elements of Statistical Learning” 교재 3장 section 3.5 Methods Using Derived Input Directions에 관해 정리해보았다.
Dantzig Selector
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
Piecewise linear path
[ESL 리뷰] 교재 3장-5 Lasso, LARS, Forward Stagewise Selection
Least Angle Regression과 Lasso, Forward Stagewise regression과의 관계와 Lasso의 추가적인 특징들을 다뤄볼 예정이다.
LDA
[ESL 리뷰] 교재 4-1장 LDA
“The Elements of Statistical Learning” 교재 4장 Linear Methods for Classification 내용을 요약한 것이다. Classification 문제에서는 종속 변수가 이산적인 값을 갖기에 input space에 대한 분리가 항상 가...
Logistic Regression
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
Seperating Hyperplances
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
SVM
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
Perceptron Learning
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
Lagrange Dual Problem
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
KKT condition
[ESL 리뷰] 교재 4-2장 Logistic Regression, Seperating Hyperplanes
이전 포스팅에서 분류 문제는posterior를 최대화하는 클래스를 찾는 것임을 알 수 있었다. Linear Regression의 경우 조건부 기댓값을 추정하는데, 종속 변수를 indicator 변수로 변환하면 조건부 기댓값이 posterior가 된다는 것을 이용하여 예측을 진행하였...
Regression Splines
[ESL 리뷰] 교재 5장-1 Basis Expansion and Regularization in univariate case
이전 챕터까지의 모델들, Linear Regression, LDA, Logistic Regression, Seperating Hyperplane 등의 모델들은 독립변수들에 대한 선형성을 기반으로 모델이 구성되었었다. 하지만 대부분의 경우 \(f(X)\)는 \(X\)에 대해 선형적이...
Smooting Splines
[ESL 리뷰] 교재 5장-1 Basis Expansion and Regularization in univariate case
이전 챕터까지의 모델들, Linear Regression, LDA, Logistic Regression, Seperating Hyperplane 등의 모델들은 독립변수들에 대한 선형성을 기반으로 모델이 구성되었었다. 하지만 대부분의 경우 \(f(X)\)는 \(X\)에 대해 선형적이...
RKHS
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
Thin Plate Splines
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
Tensor Product Splines
[ESL 리뷰] 교재 5장-2 Basis Expansion and Regularization in multivariate case
이번 포스팅에서는 저번 포스팅에 이어서 이번에는 다차원으로 확장한 Tensor product splines, Thin plate spines, 그리고 RKHS에 대하여 살펴볼 예정이다.
Local Regression
[ESL 리뷰] 교재 6장 Kernel Smoothers
이번 포스팅에서는 저번과 마찬가지로 \(\mathbb{R}^p\)상에서의 회귀 모델 \(f(X)\)에 대한 유연성을 더해주는 방법으로 커널 함수를 이용하는 모델을 알아볼 것이다. 단순하게 각 입력 데이터 포인트 \(x_0\)마다 학습데이터 포인트들에 커널함수 \(K_{\lambda...
Cross Validation
[ESL 리뷰] 교재 7장-1 Model Assemssment and Selection
모델의 성능을 평가하는 것은 어떠한 모델과 파라미터를 선택할지를 나타내어주는 지표이며, 최종적으로 우리가 선택할 모델의 근거가 되므로 굉장히 중요한 과정이다. 이번 포스팅에서는 먼저 편향과 분산의 트레이드 오프 관계를 알아보고, 크게 in-sample error를 통해 predic...
Bootstrap
[ESL 리뷰] 교재 7장-1 Model Assemssment and Selection
모델의 성능을 평가하는 것은 어떠한 모델과 파라미터를 선택할지를 나타내어주는 지표이며, 최종적으로 우리가 선택할 모델의 근거가 되므로 굉장히 중요한 과정이다. 이번 포스팅에서는 먼저 편향과 분산의 트레이드 오프 관계를 알아보고, 크게 in-sample error를 통해 predic...
Grouping based
Grouping based multiple testing
다중 검정에서 가설들이 교환가능하지 않을 경우, 군집화를 기반으로 이를 해결하는 방법론들을 다뤄볼 것이다. 다음의 내용을 참고하였다.
Asymptotic analysis
Weighting based multiple testing cont
저번 포스팅에 이어 이번에는 wBH절차 하에서 가설의 수가 충분히 많은 경우에 대해 데이터에만 의존하는 FDR의 상한을 유도해보자. 먼저, 확률변수의 수렴에 대해 복습해보자.
Mathematical Analysis
Basic Topology
루딘의 PMA 2단원을 정리한 내용이다. 열린집합과 닫힌 집합, 컴팩트 집합, 연결집합을 소개하고, 유클리드 공간을 넘어 일반적인 거리공간의 성질을 간략히 다룬다.
Topology
Basic Topology
루딘의 PMA 2단원을 정리한 내용이다. 열린집합과 닫힌 집합, 컴팩트 집합, 연결집합을 소개하고, 유클리드 공간을 넘어 일반적인 거리공간의 성질을 간략히 다룬다.
p-value based
p-value based multiple testing with side information
부가정보(side information)을 활용한 p-value 기반의 다중 검정모델인 AdaPT와 IHW를 다뤄볼 예정이다.
Martingale
p-value based multiple testing with side information
부가정보(side information)을 활용한 p-value 기반의 다중 검정모델인 AdaPT와 IHW를 다뤄볼 예정이다.
Stochastic process
p-value based multiple testing with side information
부가정보(side information)을 활용한 p-value 기반의 다중 검정모델인 AdaPT와 IHW를 다뤄볼 예정이다.
Sufficiency
추정량의 비교 1
랜덤 표본이 $X_1,…,X_n \sim F_{\theta}, \theta \in \Omega$의 형태로, 즉 모집단의 분포가 모수 $\theta$로 표현될 수 있는 모형에 대해서 모수에 대한 함수로 표현될 수 있는 $\eta = \eta(\theta)$의 추정량에 대한 비교를 다...
Complete
추정량의 비교 1
랜덤 표본이 $X_1,…,X_n \sim F_{\theta}, \theta \in \Omega$의 형태로, 즉 모집단의 분포가 모수 $\theta$로 표현될 수 있는 모형에 대해서 모수에 대한 함수로 표현될 수 있는 $\eta = \eta(\theta)$의 추정량에 대한 비교를 다...
UMVUE
추정량의 비교 1
랜덤 표본이 $X_1,…,X_n \sim F_{\theta}, \theta \in \Omega$의 형태로, 즉 모집단의 분포가 모수 $\theta$로 표현될 수 있는 모형에 대해서 모수에 대한 함수로 표현될 수 있는 $\eta = \eta(\theta)$의 추정량에 대한 비교를 다...
Rao-Blackwell
추정량의 비교 1
랜덤 표본이 $X_1,…,X_n \sim F_{\theta}, \theta \in \Omega$의 형태로, 즉 모집단의 분포가 모수 $\theta$로 표현될 수 있는 모형에 대해서 모수에 대한 함수로 표현될 수 있는 $\eta = \eta(\theta)$의 추정량에 대한 비교를 다...
Lehmann-Scheffé
추정량의 비교 1
랜덤 표본이 $X_1,…,X_n \sim F_{\theta}, \theta \in \Omega$의 형태로, 즉 모집단의 분포가 모수 $\theta$로 표현될 수 있는 모형에 대해서 모수에 대한 함수로 표현될 수 있는 $\eta = \eta(\theta)$의 추정량에 대한 비교를 다...
Cramer-Rao Inequality
추정량의 비교 1
랜덤 표본이 $X_1,…,X_n \sim F_{\theta}, \theta \in \Omega$의 형태로, 즉 모집단의 분포가 모수 $\theta$로 표현될 수 있는 모형에 대해서 모수에 대한 함수로 표현될 수 있는 $\eta = \eta(\theta)$의 추정량에 대한 비교를 다...