噢
前面我们讲的也是串行的办法
但是它是固定的对吧
一次加一个或者减一个对吧
这次讲一下那个是浮动的办法
就是一下加多个减多个
这我们来看一下
这个ok也分前向
后项，也有matlab
还有那一个一个最大最小的方法
这也是怪怪的
后面我们来看一下
它这个主要是
为了解决那个串行固定点的
因为它前面并没有
加这个，后面有floating
所以我后面加了一个
fixing对吧
就是固定的这样定点的这样一个搜索办法
所以这个就是它有
一个加进去的就不能再减掉
减掉了就不能再加进去
主要是解决这样一个问题
所以他提出来一个先加
L个再去掉r个
就就就来回折腾
这个也是挺麻烦的
这个也是前向的选择的
L个特征，接着r个特征去掉
用反向的办法把这两个结合起来
然后这个主要缺点这个办法
就是说它不是一个理论的
就是你看着像那么回事
这就是说跟数学跟统计学那种不太一样
对吧 就是它不是这样很严格
但这个你觉得也比较合理
合情合理 也有一些效果
他是这样一个做法
所以这个改进就是他
不需要指定这个这个地方ok
如果这个数是动态确定的
那这个方法就运行
可以最大化这个准则函数了
每步只有单个特征加减
就这个地方这个地方也是好多种做法
保持这个浮动
它这个可以变对吧
逼近这个最优解，尽可能的
所以这个特征子集的维数
也不会单调的改变
对吧 就是说它可以浮动上下
一会儿多一会儿少，这样
然后我们来看一下加L个
减r个这个方法的就前面
加进去它会重新考虑再把它去掉去掉
还可以有办法再把它选择进来
大概是这样一个思路
这个大概有一个是
浮动的这个也分前向的
浮动前向的也有这个反向这个这个说法
不是 有的是这样说
你看下，他先有k是零个
这个地方ok这是加的，对吧
然后是加这个最重要一个
它这个这个也不是上来就加
这个也是那个，大家先来看一下好吧
加这个最重要一个特征到当前这个
子集，size这个K，k等于0的
就从那个，最开始的
时候其实也是从0开始的
从里面找个最重要的特征
先选进来作为那个子集的对吧
这个然后当然这个时候k多了一个
就k有一个了里面有一个了
然后再把这个移走
这个时候显然就是不能移走了是吧
移来移去他本来就那么一个就这个时候
如果这个是最好的这一个
然后这个再k减1就这么来回折腾
k+1，k-1，这个再回到上一步骤的
这个否则的话就是说再有条件移走
这个，再回到2，就这个。他这
有一个例子看的会好一点
有这4个特征
第一步是要这个子集是空的对吧
就是加加法的就是空集
然后找一个最重要的特征就4个里
找一个最重要的
但你用各种这个这个还是就前面
那些，找一个损失函数就可以了
对吧 计算一下
这个地方ok，然后假定是3，3加进来了对吧
就现在我选择子集是三，这个地方ok，加进来
然后这个时候再把
这个最次要的一个去掉
显然你是选中的
就因为就这么一个再把它去掉
这个其实就是没什么意思了是吧
这个并不改变
这个，所以这个时候它是不移走的
仍然保留在这儿
所以它其实这个地方也是比较严严格的是吧
就不会出现这个矛盾的情况
然后这个最重要发现
然后再发现一个最重要的是第二个，对吧，F2
就是这个时候就组合两个了
组合两个，又加了一个，对吧
一开始加一个
然后找到一个
然后再找一个
这就是变成两个了
两个这个时候再去掉一个
再看这两个 假设是2
然后这个条件失败的
因为三那个并不是
所以这个时候就是最重要这个
发现假设再是1，再把1加起来
就是321再加起来3个
这时候再从里面找个最次要的
那这个时候3，可能又把它去掉
他大概是举这样一个例子
就是最后找到21了
这个，因为它是考虑相关性的
明白意思吧，这个地方ok
然后所以它就是12这个，就是加加减减
但它最终也是取两个是吧
就这个的是吧
就这个 M等于2的时候
这个最优是这个，就跟前面不太一样
就加一个再加一个，对吧，就完事
就不能再加了或者减一个减一个
再就不能把那个再加进来
就可能然后这个是加一个再加一个
然后因为它是两个就不能去掉
然后再加一个
然后加一个发现又可以把那个去掉
就这个例子还是比较典型的
就这个做法对
这个，最后一个步骤最小
这可能是一，这个ok，这个2。是5
这个导致就是有循环
它不能走一个死循环对吧
这个，它这里是有一个例子的
这个地方当然也跟前面是比较简单
就floating这个的
这个下面这个就是把这个加进来
floating这个办法
当然我们也是选这个两个的时候
这是16就跟那个穷举的办法是一样的
看一下这个前向办法是把1找到
反向办法其实这个1跟6
他都没有找到，找了2跟9
所以也不能说反向办法
就所有的情况都是那个比前向办法要有效
但某些情况它是比较有效是吧
这是浮动的这个办法，前向浮动的这个办法
这也是向量，这都跟前面是一样的
就是浮动对吧
对 这也是
这些都是一样
大概这个他要去评价
这个，我就不仔细看，里面的嵌套好多函数
这些事情
就是加加减减
如果你仔细把这个，这也能看到
它这个其实是就是 step1对吧这个最开始
这个 while下面就是这些特征加加减减的一直，它有退出
这是step2的
这个是测试它
就这个
然后这个也要做这样评估
这是这个再把它去掉
including
这个这个
最后作为排序是吧
取出来，还有个练习题
这个这个是用不同的数对吧
这个就是4个、8个、10个20个，对吧，这个
这我们前面做过是吧
这个是两个的时候这个一直到浮动的时候
这是16在这
这两个是一样
刚才是做了反向的
这是4个的时候
这是1249
1249，你看下，他跟反向是一样的
然后他那个其实穷举的
办法是1、2、4、11
这个地方这个是1、4这个。这个好像
比这个反向是要比这个好
一点，对吧，这个浮动的办法
也比这个要好一点，是吧
就是这个，至少对这3个这是取8个的时候
这我没太仔细看
1234都有的
这个地方是有4、5，有90 46是吧
这只有个16
这个就是浮动的办法
而16也没有
13也没有，这个
就这个地方也不是说浮动
你看一下这个反向跟正向
都是1~5这是6
这反向19这是这个是跟
穷举办法是一样的是吧
所以这个时候浮动反而反而没有那么好
这个还是比较典型的一个
这是10的时候，你看一下一直到这，对吧
1234569对吧
这个是6去掉了
这是70，你看一下
这个是是这个还是穷举法
这是一个标准答案的
12 14 16，对吧
这个是16这个过来
这就出来两个
这个是你看这个反向的办法反而跟它就错了
11，你看他哪一个他6换成11了是吧
6换成11，这个反而错的更多
所以也不是浮动就是那么好是吧
这个地方这是20
这个当然就是比较是不是
20个全都进来对吧
这个都在这个没有什么区别
这个，对 然后还有一个反向的办法
这个办法也是跟那个前面那个串行的
固定点的fixing那个是类似的对吧
这个吧也就是先是一个全集
然后再一个把它去掉吧
但是它是去掉多个
这也是k等于0
对吧 这个，先反向再正前向的
后向反向的，这个我们这样来说比较对应的
它是移走一个最次要的
就起作用最小的一个
然后这个，然后再这个等于k
减k然后再加一个最重要
但你一旦这个再加这显然不变
就这个时候其实是没有意义的
对吧
然后当前这个，再接着再把它那个去掉一个的
这个再回到前面一个步骤
否则是移走这个，才能加，再回到第二步骤
开始所有的特征
然后逐渐移 然后他不总是给出
然后这个维数也是如果m是比较小
这个 D是比较大的
从里面选一个
然后这个时候也是比较耗时的
这个地方ok
但是说他说这个效果要比
这个前向的要好一点是吧
这个这个它里面就没有案例了
大家可以试试看这个地方好吧
还有一个这个是叫最大最小方法
这也是这本书也带一个
例子，我们一起来看一下好吧
这个他说它有像计算的一些优势
这个他说这个计算时间这个
地方它是比较省一点的
就是多维空间的
主要最小它要求计算一个两维的
这是它的一个优势
这个结果是通过一个就是它最终
结果其实并不是很令人满意的
就是它这个性能并不是太好了
但他计算相对比较简单一点的就是
它，你看下，它其实标记这个Fi特征
选择这个特征集合里面
对
这个然后在这个选择这个
步骤的第i个步骤获取的
这个这个就是下一个特征的
这个他是从这个没有选择的
就是两，分成两种
一种是选择里面
一种是没有选择里面
然后它是计算这两个之间的一个本来是
计算这个一个是把它选中了之后你看一下
这个是未选中的
假设把它放到一起计算一个再
是把它单独计算一个对吧
就这个已经是选择计算一个
然后看一下它这个之间差的一个绝对值
然后这个新的选择为下一个这个特征
就如果他得到这样一个就
从里面差值里面选一个最小的
这些里面再取出一个最大值
所以它最小最大是这样一个意思
这个ok
这个地方你能不能理解，你看一下
如果把它加进来
他这个值反而是最小
也就是说加这个特征没有起什么作用的
是不是这个意思
是不是
这个，就从里面取一个最小的然后再
从里面找一个最大的这个新的特征
选择为下一个特征
这个地方是它是它是这样一个意思
对
然后这个方法差的结果就是
他不可能选择这个高维空间的
它是基于一个两维的信息
也没有一些重要信息这个损失的是吧
这个地方ok它有这样一个例子
我们再来看下，你可能会理解好一点
他说有个数据集
这有4个特征，对吧
这个地方这个然后这个
函数当然你可以选一个
他说说你一下用两个特征是这个意思吧
这个就是说这两个，然后它就有一个表
所以它刚才说二维二维
其实我觉得到那也很难理解它就是这个就是
这两个特征之间的这样的有一个准则函数的值
然后它是用j1那个f1
这个，它这个是准则函数只有对于它是吧
接着这个你看下，它这个
是10，这个就是单个计算的
对吧
这两个一定是一个对称的是吧对称的是吧
这是好理解，对吧
这个单个的单个特征的
这个计算的，然后接着考虑那个
这个一跟二对吧
1跟3、1跟4这个之间的就是他这个然后这个时候
是要计算这是它的是要计算这两个的差值的
这就是10、5，然后它因为都是那个30是吧
就是f、f1、2加加了一个234是吧
是不是这个意思
F1f2这个f3这个 f1
跟4这个是它的差值
差值，对吧，就这两个，这个i
j，这两个这个地方ok
这是它的差值
然后从里面选一个最小的
就是这个5就是1跟3
这个，应该在这个是5的
然后再考虑下一个
他这个这是2跟1
n2跟4对吧
34 这个然后接着在从里面计算差值
再从里面选一个最小的
然后再考虑这个三对吧
三再跟其他的组合
然后再从里面求差值
然后看一下这个是 f三对吧
这个地方然后再从里面选最小值
这个地方是没问题
是二是吧
三跟4，这个是2，这个是没有问题的
这个地方，然后这个才是取4
这个，它是取f1
对
它是取这个后面这个后面这个你看f一这个是
就是对角线上的12 13 10 40的这个的
看这个是取10
所以它是45的
这是取二是33
这取三是12的
从里面面再找一个最小的，这12
然后从这里4个
最小值里面找1个最大值
它是这样一个然后得到
这个F4是选择下一个特征
然后只有两个特征可以考虑一次
所以这个他选择将是就是一次是两个
所以它只是在这个地方这个
这个最小最大是这样一个意思
这个ok，就是看那个例子
对前面那个理解好一点
对前面
那个我觉得他是。这是应该是
那个是springer那本书里带的一个案例
就这个地方一般很少有讲这个这些都
是那个希腊那本书里带来的好吧
就是讲变换这一部分
这个我们是从里面选
这个我们就叫特征选择
这叫特征变换
其实是从里面做一些数学变换就
变成投影就可能就变成比较少了
就那些成分再经过逆变换
其实用的会到那个原来那么多特征
明白我的意思吧，大大致是这样
就是跟我们那个图像视频的
有损压缩有点类似的意思
就是他经过数据转换之后
有些数据重要
有些数据是次要从这里选取的
一些重要的进行逆变换就几乎能恢复过来
这些起的作用比较大
好吧
这个，下次课我还会把那个小波
变换、傅里叶变换那些东西拿来给大家体会一下
所以这里是有主成分分析的
还有这个奇异值分解
这是线性代数的是吧
还有说LCD是基于分类信息的
就是线性判别分析的
LDA线性判别分析的
对LDA这个是PCA
Pca是不需要类别的
那个是跟分类那个正确率是有那个
类别信息是有的可以做这种事情，好吧。