您的位置 首页 > 装修房产

【商用货架】货架战争打响!27页PPT详解货架商品识别的难点及落地实践

出品 | 智东西公开课讲师 | 魏勋 品览数据技术合伙人

导读:

6月8日晚,品览数据技术合伙人魏勋在智东西公开课进行了AI零售合辑第三讲的直播讲解,主题为《商品识别算法在货架商品智能巡检中的应用》。

在本次讲解中,魏勋老师首先分析新零售下货架巡检存在现状,给出了以图像识别和目标检测实现货架巡检的方案,之后分别从图像分类与目标检测发展历史,货架商品识别的难点、落地关键及实际应用案例等方面进行深入讲解。

本文为此次专场主讲环节的图文整理:

正文:

大家好,我是魏勋,是上海品览数据的技术合伙人,今天由我为大家带来在快消零售领域的一个具体落地方案,是讲货架商品的智能巡检的应用,今天分享的主题为《商品识别算法在货架商品智能巡检中的应用》,主要分以下5个部分:

1、新零售赛道:货架战争2、图像分类与目标检测发展历史3、货架商品识别的难点4、货架商品识别落地实践5、货架巡检应用实例

新零售赛道:货架战争

新零售的概念是马云于2016年提出,它是用大数据、人工智能等先进的技术手段,对商品的生产、流通与销售过程进行升级改造,进而重塑业态结构和生态圈,并对线上服务、线下体验以及现代物流进行深度融合的零售新模式。

按照传统,在零售领域可以分为三大元素,分别为人、货、场,人是指消费者,货是指商品,即SKU,场是指各种大卖场、超市、全家便利店或夫妻老婆店等。场可以再细分到最小的有机单元,就是货架。随着新零售时代到来,货架已经逐渐成为零售企业的战场。

货架的情况包括商品有多少,它被放在哪里?放在哪里比较适合?同时也包括陈列哪些品类,有没有竞品,竞品是如何放置?这些对于零售企业都很重要,对于未来销售、营销的策略有很大的参考意义,所以把它称为一场关于货架的战争。

举个简单的例子,比如当货架上的商品缺货了,作为一个消费者,会做什么样的行为?可能会买别的品牌,还可能去别处买,或者干脆不买,或买另一种类型替代。无论如何若货架上缺货时,品牌商可能会失去46%的购买者,而零售商可能会失去30%的购买者。

为了要打赢这场货架战争,我们必须要精确的获取线下商品的实际陈列信息。为了做到这一步,我们必须要对货架图像中的商品进行识别,这就会用到计算机视觉领域中的图像分类和目标检测技术。

如果在CV领域研究比较久的同学肯定清楚,图像分类跟目标检测是计算机视觉中非常基础的研究方向,且非常重要。图像分类是最基础的,例如上图显示的小猫,可以直接对它进行分类,判断到底是猫还是狗。检测就额外增加了一部分,必须进行定位,才知道它到底是在哪里,同时对定位的目标进行分类。

从图像分类和目标检测的发展历史来看,在2012年以前都是通过提取手工特征,比如SIFT、HOG、LBP等,然后才有后续的分类和检测。随着AlexNet在2012年横空出世,后面所有的方法都是用了CNN或者深度学习的方式来自动提取图像特征,进而帮助我们进行图像分类和目标检测。

对于目标检测的发展脉络,可以从1999年SIFT的提出开始,还有Cascades、HOG、DPM等,这些都是2012年之前提出用来实现目标检测的手段。随着AlexNet提出之后,AlexNet最早用于图像分类。2013年后,开始有学者在想目标检测是否也可以用CNN来做,所以第一个作品是Overfeat,在与它很接近的时间里,出现了一个非常经典的网络RCNN,然后像Fast R-CNN、Faster R-CNN还有YOLO系列及SSD和RetinaNet等。诸如此类的很多网络可以从上图中看到,从13年到了19年,这段时间里涌现了非常多的网络,标红的都是些比较有影响力的网络。

目标检测的深度学习模型通常是分为两种,第一种是两阶段模型,有Overfeat和RCNN系列,它先要对目标框有一个比较粗的定位,然后再对粗的目标框进行精细的修正,同时进行分类识别。有学者觉得这太麻烦了,能不能一步到位,直接从图像里得到bounding box和它的类别信息。这就是YOLO系列,还有SSD和RetinaNet等。通常,两阶段模型的精度会比较高,但速度会比较慢;单阶段模型的精度通常要低些,但它的速度会很快,如上图右边所示,不仅是说两阶段、单阶段的问题,还考虑了backbone的问题,若backbone越大,速度可能越慢。我们可以看到同一个backbone,在单阶段的模型下,它的速度远远要快于两阶段模型,但是精度mAP会要低一些,这张图是在COCO数据集上计算的结果。

货架商品识别的难点

上面简要介绍了图像分类及目标检测的大致情况,下面直接进入具体场景,就是货架商品识别。识别包含检测和分类两部分。对于货架商品识别的难点分成两块,首先,是算法难点,主要有四点。第一是商品种类繁多,像ImageNet用来刷榜时,一般用到1000个种类,但商品的SKU种类基本上是上万,甚至是几十万,对真实世界里面的SKU数量可能是百万千万级;第二是在货架场景中,通常会摆放的非常密集;第三是某些商品非常相似,特征看上去没有明显的差异,这也是图像分类的难点,只是在货架上体现程度可能会更大;第四点比较特殊,同一款商品可能有不同的规格,比如可口可乐,它可能会有330毫升、500毫升,或一升的,它更像是等比例缩放,因为计算机视觉天然是要求有尺度不变性的,这种情况通常是很难区分的。

上图是具体的图片展示,最左边的图是一个调味料的货架,可以看到种类非常多,一排货架里面应该有几十种,摆放也非常密集,基本上是紧挨着的情况。中间的图是一个比较典型的情况,两个商品属于同一个商家,左边是一个常规的,右边的可能是为了某种活动促销特别特意加了100克,可以看到商品其实非常相像,除了中间多了“100克”之外,其他方面没有任何差异。因为在PPT的图比较大,看得比较清楚,如果是在货架上,是很难分辨出来的。右面的图片是同类商品具有多种规格,可以看到最左上角的酱油是300毫升,中间第二排的是500毫升,倒数第二排是800毫升。它们的外观很像,只是存在不同的规格,如果你只是用常规的分类模型去训练,或者用常规的操作去处理,这三种分错的概率很大。

第二个是数据难点,也包括四个部分。第一个是拍摄的货架可能是一种非常倾斜的状态,倾斜很容易导致透视,很多商品就会被遮挡,检测跟分类会受到很大的干扰;第二个是采集到的货架图片是模糊的,里面可辨识的特征基本上看不清,第三个是货架图片翻拍,有一些从业人员可能会偷懒,对着电脑拍一张图片作为工作业绩,然后上传图片,这就是翻拍的情况,这种翻拍也会影响模型的准确率,客户也会要求我们把这类图片识别出来;第四个是货架图片存在曝光过度或者曝光不足的情况,在这种情况下货架的商品基本上看不清的。

针对上面四点,再给大家展示下,第一张图是货架过度倾斜,在过度倾斜的情况下,靠右边的商品还可以看出,但靠左边的商品基本上被遮挡,即使能检测出来,它的类别也识别不了,因为大部分的特征都被遮挡。第二张图展示货架图片模糊的情况,模糊导致看不清商品的主要区分特征,尤其涉及到一些比较相似的商品,模糊基本上就看不清了。第三张图是翻拍的情况,通过肉眼能看出一些情况,它里面会有一条条纹理信息,一般叫摩尔纹,由屏幕的发射光和自然光不一样导致。最后是货架图片过暗或特别亮的情况,过亮时特征都被遮挡,你只能看到一片闪亮,过暗时可以隐约看到一点,但也不知道具体是什么商品。

货架商品识别落地实践

下面介绍下整体落地实践的流程,流程是比较通用的。首先是数据标注,这是深度学习不可避免的。通常先手标一部分,再利用一个比较弱的模型,进行一个预标注,最后是人工调整,这很大程度上节省人力的成本。

第二个是模型的训练调优,通过模型选型和超参的调整去训练模型。训练完后,先做内部测试,内部测完后,还要再做公测,根据公测的反馈,再去迭代上面的步骤,也可能会重新补一批数据,再重新训练模型,达到公测的要求之后,我们会部署上线。目前我们主要是云端部署的方式,模型的云端部署用的是tf serving的方式,外部端是 flask框架。

对于数据难点,其实有一句机器学习的名言:数据是模型的上限,必须要保证数据质量,你才能谈模型的准确率。所以对刚才的几种情况:货架倾斜、模糊、翻拍、过暗和过亮,再把图片送给模型之前,先对图像质量进行分析。实际情况可能还不止这4种。对于货架倾斜,我们会做一个货架检测,根据检测出来的货架层的一个角度来判断倾斜情况。后面三种是通过图像处理的方式来进行判断,一张图片必须通过质量检测,同时满足这4个条件后,才把它送到模型里面去做后续的检测和识别。

在最早期时,对于场景货架商品的识别,我们直接应用检测模型来做检测,但实际上,我们尝试了很多种检测模型,但是效果不太理想,mAP也很低,只有40%左右,与COCO的情况就差不多,SKU类别非常容易分错,根本无法商用。

通过分析发现,首先,直接用检测模型去进行检测、识别,在COCO数据集上在SOTA模型上有54%左右的准确率。由于数据量及SKU的种类数量非常大,所以不容易实现。通过大量的阅读论文,发现目标检测里面的定位和分类,其实是有一定矛盾的,通过上图右边看到,若要检测北极熊,它关注的地方是语义信息比较丰富的,主要集中在中间的部分,对于定位通常是更倾向于去关注物体的边界处。对于检测相当于一个多任务学习,同时去做定位跟识别,是有一定的矛盾的,它会影响检测器的训练。

第二点是一旦更新了某些SKU,就必须要重新训练检测器。若大家对目标检测比较熟悉,发现检测器的训练会花费很长时间,时间成本很大,训练复杂度也很高。所以,是否有一种比较通用的检测器,可以避免了上面提到的两种情况。

经过多方讨论,我们决定对SKU不按具体的类别去标注,而是按它的包装对它进行标注,比如像调味品,主要以瓶装、罐装、盒装主为主,然后以这个标注再去训练检测器,定位到具体的SKU位置,之后对定位出来的SKU进行crop操作,对抠出的小图进行后续的识别,相当于是把它分为两个阶段来做。

为什么要这样做?第一点看使用包装,包装相当于SKU的形状,我们在对SKU形状进行定位及分类时,会削弱定位及分类之间的矛盾。第二点是SKU的种类是成千上万甚至十几万,但是它的包装种类数量是有限的,通常不到10种,具有很强的通用性。一旦训练完成后,如果有SKU的更新,我们不需要再重新训练。除非包装发生了很大的变化,才会重新训练检测模型。

到底要使用一个什么样的检测模型呢?在模型选型时,同时还要兼顾检测精度和速度,目前以云端部署为主,虽然不要求实时性,但也希望尽量快的响应,客户通过web请求,上传图片、做检测分类,还有后续一系列的逻辑处理,在这种情况下,希望能够在几秒内有一个实时响应。

在V100上测试过,早期时分别尝试了Faster-RCNN、RetinaNet、YOLO v3。可以看到Faster-RCNN的backbone用的是ResNet50+FPM,它的检出率能达到能到97.1%,但是它的速度很慢,因为是一个二阶段的模型,只有6FPS;RetinaNet经过调优之后,能达到一个96.7的检出率,速度为15FPS;YOLO v3的效果也不是特别理想,检出率只有94.5%,但是它的FPS很高,能超过30。右图是RetinaNet和YOLO v3对同一张图的检测效果,可以看到YOLO v3会把上面的两个箱体漏掉,而且右边会多检测出非商品的东西,这个与YOLO v3的机制有关,它对如此密集的商品摆放支持不太友好,而RetinaNet使用了一个更密集的Anchor设置,效果上会更好。

介绍完检测后,下一步如何对成千上万的SKU进行有效的识别?最开始考虑用图像检索的方式,这也是比较自然、省力的想法,只需要训练一个比较通用的提特征模型,如有一个新的SKU,只需要提供几张样例图片作为检索库,然后对一个小图进行识别,直接去检索库里面检索即可。所以先通过模型先提取特征,提完后跟检索特征库进行匹配,比如可以直接计算余弦距离或者欧式距离,然后去找Top1。经过多次实验,它的识别准确率最高也只能达到90%左右,这是无法达到商用标准,商用标准一般至少得到97%、98%,对有些客户比较严格会要求99%以上。

原因分析下来发现,首先是不同商品之间的特征差异很大,现实场景很复杂,训练提取特征的模型无法达到很强的鲁棒性。而且业界SOTA的图像检索方法准确率也只有90%左右。最终,还是通过图像分类的方式对小图进行识别。

由上图可以看出,货架上的商品摆放是非常密集的,很容易影响定位精度,造成重框的现象,左边这张图是早期的情况,可以看到第二排下有很多的重框,第三排也是类似的情况。经过优化之后,基本上都能够把重框去掉。分析发现用传统的 smooth-l1的回归loss,以及传统NMS技术无法高效的定位去除重复的框。我们的改进方法是使用一种针对性的回归loss,使得这种密集的商品摆放能够有比较好的回归定位。第二是使用后处理的去重框逻辑,经过这两部分操作后,最终能达到像右边的一个效果。

针对商品十分相似的情况,比如1000种的SKU类别,里面可能有几十种是很相似的,相似商品之间的类间距会很小,它混在大量的类间距很大的类别中,比如酱油跟豆瓣酱,它们可能差异会很大,因为一个是瓶装,一个是罐装;比如两种酱油,一种是红烧酱油,另一种是天然酱油,它们就很接近,可能只是颜色上有差异。之前也实验过用细粒度图像分类来做,但发现细粒度分类是有要求的,必须要求图片的分辨率很高,才能去做细粒度分类,货架图片通常是几百万到千万级的像素,再从里面抠出来的小图,宽、高可能就200×200,是无法满足用细粒度分类要求的。

可以通过一个分治的方法,对SKU进行层级划分,非相似的划在一起,相似的划在一起,相似的都统一一个label,统一完label后,再把相似的具体细划分。相当于在同一层级之下,它们的类间距是在一个量级,至少分类器是不容易去忽视这样的情况。

对于同一类商品具有不同的规格,跟刚才略有差异,因为刚刚只有相似,但还有一些特征差异的,这里并没有太大的特征差异,只是等比例缩放的情况,分析下来发现,对于2D计算机视觉,它本身需要满足尺度不变性,仅靠视觉特征基本是无解的,所以必须要借助非视觉特征。我们会采用机器学习的方法来提取一些关键有用的特征,比如高度、宽度等进行区分,当然这种情况必须得满足拍摄距离是比较固定的。通常拍摄距离不会有大幅的改变,而且我们不仅有高度这样的特征来进行机器学习模型的训练,还会有一些别的非视觉特征。可能有同学会问,如果2D视觉解决不了,为什们不用3D视觉?这受限于我们的场景,图像本身其实主要是由客户来提供,他来调用我们的服务,所以我们是无法要求他持一个3D的设备去进行数据采集,这是无法做到的,也限制了我们的一个技术实施。

货架巡检应用实例

上面介绍了把货架商品识别的难点,以及所采取的方案,下面简单介绍下货架巡检的应用实例。比如跟欣和的合作,它主要生产各种调味料,像酱油、豆瓣酱等。我们给他做好商品识别后可以用来做什么?首先,他们内部的一些陈列规则,比如看它的排面是否少于竞品,当看到同一排里面少于竞品的,这说明什么?他们要加强这家店或者这些相关货架的陈列数量;第二个是说不在黄金位置,黄金位置是你能进到一个店里,或者是在货架面前最容易拿到或者最容易看到的货架层的位置,通常5层货架,第二层、第三层是黄金位置,第一层可能很不好拿得到,下面两层弯腰也不方便,所以黄金位置,对于商家来说也是很重要的一个指标;第三是缺货、陈列不合格,看货架是否能陈列饱满;第四个是本品没有集中陈列,就是商品不应该隔开来放,应该放在一起。

同时也跟国内味全果汁也有合作,我们主要是在AI巡店通上做的产品,味全果汁包装的更新速度非常快。所以,我们迭代的速度必须要满足他们更新速度。我们基本能够精确地识别出他们具体有哪些果汁,以及它的一个陈列位置,以及各种陈列信息。

责任编辑: 鲁达

1.内容基于多重复合算法人工智能语言模型创作,旨在以深度学习研究为目的传播信息知识,内容观点与本网站无关,反馈举报请
2.仅供读者参考,本网站未对该内容进行证实,对其原创性、真实性、完整性、及时性不作任何保证;
3.本站属于非营利性站点无毒无广告,请读者放心使用!

“商用货架,商用货架产品,商用货架产品cots,商用货架器件cost”边界阅读