鲁达 - 项目应用场景 ：图像处理丨电影业
- 望潮君独家测评
望潮君独家测评
用户使用Photoshop给图片更换背景或添加元素时，需要圈选图形的边界，因此常常会使用磁性套索或者魔术套索工具。这样的方式耗时，而且需要用户睁大眼睛看一个个细节，伤害视力。
麻省理工学院的研究人员Yagiz Aksoy也指出同样的问题：“处理图片棘手问题在于并非每个像素都只属于一个对象，在许多情况下，很难确定哪些像素是背景的一部分或是特定人物的一部份，这是因为柔和的转换会导致两个事物共享边缘周围的像素。”
为此，MIT的计算机科学与人工智能实验室（CSAIL）研发出了一款AI图片编辑器Semantic Soft Segmentation（SSS），利用神经网络将图片中的对象和背景自动分成不同的图层，用户不再需要手动改变就能对任意图层进行独立修改，3分钟内自动完成抠图，用户可以任意替换背景，可供Instagram等社交平台使用。
这个看似简单的操作背后涉及大量复杂的算法和运算，因为成功的图像编辑必须要找到编辑对象和背景之间的审美转换点。处理毛发等复杂材质时，用户通过肉眼很难分辨一些像素的归属。下面，通过一张图片来了解这个AI图片编辑器处理图片的方式吧。
先看看更换背景前后的效果。
首先，AI编辑器通过神经网络来估计图片的区域和特征。在这一步之前，神经网络已经经过了大量图片的输入和训练，能够识别一些常见事物的特征。
随后，神经网络检测到了图像中不同对象和背景之间的“SoftTransitions”（软分割段），也就是刚刚提到的审美转换点，例如区别出狗狗的毛发和草的边界，玩具和背后树叶的边界。人眼可以轻易分别草和毛发的区别，可是要确定边界上每一个像素的归属是十分耗时耗力的。
接着，AI编辑器自动通过颜色将图片中的像素关联，关联后与神经网络检测到的特征结合，将图片中的对象自动分成不同的图层，如下图所示。
经过这些操作以后，用户就可以对不同图层中的对象进行独立操作，例如更换背景。目前，自动处理一张640×480大小的图片需要三分钟左右。对于AI编辑器的功能，研究人员Yagiz Aksoy表示：“一旦计算出这些软分割段，用户就不必手动套索，也不用对图像的特定图层的外观进行单独修改，这样一来，更换背景和调整颜色等手动编辑任务将变得更加容易。”
这个AI图片编辑器现阶段仅支持对静态图片的处理，不过研究团队认为这项技术很快能应用在视频上。这意味着，在未来AI能自动处理一些电影特效。同时，研究团队也正致力于缩短图像处理的时间，希望从目前的几分钟减少到几秒钟。除此之外，SSS还能供Instagram等一些社交软件使用，让滤镜的效果更逼真。