机器学习中标准的广义定义:
标准是满足以下三个条件的实际向量空间v的| |。| |的函数映射关系
(1)||x|| 0且x=0时,等号才成立
(2)||x||=|| ||x||
(3)| | x y | || x | | | | y | |(类似于三角形不等式)
几种不同标准的介绍
1)第一标准2)第二标准
我们平时看得最多的是第二次赌博。这表示欧几里得空间中某个向量的长度,即两点之间的D距离,又称欧式距离。下图中,在二维空间中,X的二赌博表示向量X到原点的距离。
同时,它可以在机器学习优化目标损失函数的时候可以做正则化的处理,以防止过拟合。而第一范数则表示Mahatten Distance(曼哈顿距离),因为曼哈顿的街区都是横的或者竖的,只能横着走或者竖着走从A走到B,因此曼哈顿距离名称由此而来,如下图,故二维空间中曼哈顿的平面上,AB之间的距离为第一范数。
推广之,便有了第p范数
然后,还有两种特殊的范数,即为L-0范数和L-∞范数
L-0范数,很容易理解,它是求空间中某向量各维度上有多少为0的数,比如(1,2)向量的L-0范数为2,(1,0)向量的L-0范数为1,它的作用主要是在机器学习中需要稀疏矩阵的时候,那么t它的L-0范数越小越好。
L-∞范数,
推导如下。
故得到