您的位置 首页 > 数码极客

【矩阵的范数】浅谈机器学习中的范数

机器学习中标准的广义定义:

标准是满足以下三个条件的实际向量空间v的| |。| |的函数映射关系

(1)||x|| 0且x=0时,等号才成立

(2)||x||=|| ||x||

(3)| | x y | || x | | | | y | |(类似于三角形不等式)

几种不同标准的介绍

1)第一标准2)第二标准

我们平时看得最多的是第二次赌博。这表示欧几里得空间中某个向量的长度,即两点之间的D距离,又称欧式距离。下图中,在二维空间中,X的二赌博表示向量X到原点的距离。

同时,它可以在机器学习优化目标损失函数的时候可以做正则化的处理,以防止过拟合。


而第一范数则表示Mahatten Distance(曼哈顿距离),因为曼哈顿的街区都是横的或者竖的,只能横着走或者竖着走从A走到B,因此曼哈顿距离名称由此而来,如下图,故二维空间中曼哈顿的平面上,AB之间的距离为第一范数。


推广之,便有了第p范数


然后,还有两种特殊的范数,即为L-0范数和L-∞范数

L-0范数,很容易理解,它是求空间中某向量各维度上有多少为0的数,比如(1,2)向量的L-0范数为2,(1,0)向量的L-0范数为1,它的作用主要是在机器学习中需要稀疏矩阵的时候,那么t它的L-0范数越小越好。

L-∞范数,


推导如下。


故得到


关于作者: admin

无忧经验小编鲁达,内容侵删请Email至wohenlihai#qq.com(#改为@)

热门推荐