0%

KNN

降维与度量学习

  • KNN

     KNN(K-Nearset-Neighbour)k最近邻算法是一种常用的监督学习算法,给定测试样本基于某种性能度量找出与其最近的k个训练样本,基于k个样本的信息进行决策。对于分类问题采用投票法,回归问题用平均法,还可根据样本的远近进行加权平均。

    例如 $L_p$范数: $L_P(x_i,x_j)=(\sum_{u=1}^n|x_{iu}-x_{ju}|^p)^\frac{1}{p}$  

    有个有趣的结论就是:最近邻分类器的泛化错误率不超过贝叶斯分类器的两倍。  

  • 低维嵌入

    维度灾难:在高维情况下出现数据样本稀疏、距离计算困难等问题。
    这时候往往通过降维将原始高维属性空间转变为一个低维“子空间”,在这个子空间样本的密度大幅提升。
    $^{x\times y}$