边缘智能+小样本模型，「智媒云图」破解图像识别私有化部署的秘密

文｜ 廖尧 

编辑｜许璧端 

起步时间与人工智能相近，最早可以追溯到20世纪60年代的图像识别技术，早已是人工智能领域最成功的应用领域之一，如今亦已随处可见：日常生活中的指纹识别、人脸识别、身份证识别；商业、工业应用中的安全检查、信息收集、交通、医疗…… 

但信息技术的不断发展，对图像识别技术亦产生不少新挑战：如何将数据有效运用？如何保护数据隐私？如何实现边缘智能计算？如何解决极度依赖大规模标注数据导致的实际运用受限问题？…… 

“图像识别类的应用场景应该是全球深度学习市场的主要应用，市场规模大概占30%~40%的比例，中国比例可能会更高。”广东智媒云图科技股份有限公司（下称「智媒云图」）CEO陈谷川直言，“图像获取越来越便利，成本相对来说越来越低廉，因此图像资源其实‘堆积如山’，相当于成为了电子垃圾。如何使得图像识别、分析能够更高效、更实用、更安全，是所有从业者都在探索和思考的问题。” 

理解图像关系，才能对齐市场需求

图像识别，是一种对输入图像信息建立图像识别模型，分析提取图像特征，根据图像特征进行分类识别的一种技术，过程大致分为三步：数据获取、数据处理以及判别分类。简单理解，这项技术主要实现图像识别、图像分类、目标检测等任务目标。 

“2016年期间，我们做了一些研判，因为人类获取信息80%以上是来自视觉，而且视觉的非结构化程度比文本更复杂，也就意味着该领域有更广泛的信息处理需求。”因此，「智媒云图」在2017年确立了机器学习，尤其是应用在图像领域的深度学习为技术的研发方向，并于2020年确立为企业主营业务方向。 

而随着技术的发展和市场需求的变化，图像识别不应再仅限于完成上述基础任务，如何深层次理解图像关系及其包含的多模态信息，成为技术发展的方向。这也是解决市场实际需求的更优方案。 

“传统计算机视觉任务检测分类、语义分割、姿态评估，其实都是最基础的简单任务，在此基础上，我们要让机器不仅要识别图像目标，还要具备图像理解的能力。”陈谷川称，“怎么样能让机器从感知智能到具备一定认知水准？它不仅要识别图像里面的目标，还要理解目标之间的关系、语义和场景。这需要更高层次的抽象和推理能力。” 

简而言之，相当于让机器具备人的理解能力。如一张两人聊天的图片，传统图像识别会识别出两个人，或者扩展出图像中通用的物品。但对场景中涉及的目标关系，包括两个人在干什么，处于什么样的场景，周边事物与任务有何关系，机器并没有做出表达。 

落到实际应用中，陈谷川举了这样一个例子：在宠物识别方面，譬如狗，除了识别出具体的犬种，还要识别出主人是否牵有狗绳，狗绳是否拴在狗脖子上……“识别关系才是解决市场需求问题的核心。正如犬种识别，市场买单的并非识别犬种的单一功能，而是通过图像识别，发现如在特定区域出现、可能伤人、或者是不按规定佩戴安全设备的犬只。” 

“图像识别的技术难点，是在识别的基础上，拓展图像本身的语义特征及其关联的多模态特征，而不仅仅是简单的分类检测。”陈谷川指出，“市场的需求，要更高层次的语义理解才能对齐。” 

「智媒云图」的核心产品之一——算法定制平台Wonder How（欲知），便是为行业+AI发展提供基于图像识别的核心算法定制，并通过深度学习及优化自研算法，不断扩充基于图像语义可识别、可理解、可转换、可推理的智力深度和广度，从专用智能逐步到通用智能，构建机器视觉中枢雏形。 

市场发展的关键：边缘智能

需求变化的背后，是人工智能从2016年火热至今，市场对其已经趋于理性，企业对人工智能实际应用的理解已迈入成熟阶段。换言之，技术要更加落地。 

从风起云涌的大语言模型，到计算机视觉再到多模态模型，亦或是具体到图像识别领域，陈谷川认为未来都将以两大部分组成：一是云服务平台，即以大平台提供的通用图像识别能力，这部分提供通用性的能力；二是私有化部署，即针对客户特定需求，将通用化能力无法真实有效落地的部分落实。“整体上两大阵营会慢慢形成，互相补充，又分别服务不同对象。” 

简单而言，通用化方案会存在，而 基于企业自身更高效、更安全的发展需求， 私有化部署会是未来发展更重要的支撑点。

“还是需要去做边缘智能（Edge AI），早期公司上市的产品要真正落地，只有做了‘边缘智能’或者‘本地化部署’后，才能解决客户的疑虑。”陈谷川直言，“具备边缘智能和私有化部署能力的企业，技术水平一定不会太差。” 

据了解，边缘智能是一种将计算和存储从云端向边缘移动的技术，可以将数据处理和识别下放到边缘设备，避免大量数据传输。虽然云技术蓬勃发展，但是即使5G无处不在，与云的链接亦无法保证，带宽亦无法保证，这也使得市场越来越需要边缘智能。 

于「智媒云图」而言，突破传统算法模型对大算力的要求和限制，实现跨模态的边缘智能的终端部署应用，是其除基于机器学习（神经网络），实现图像分类、目标检测、图像分割、姿态评估等单一或组合任务；通过机器学习对物种/物件/人物/作品等图像对象的特征提取，实现特征重现（图像生成）外，最重要的核心技术。 

Wonder Adventure是其中一项代表产品，该产品针对数字标牌、广告机、智慧屏等数字户外媒体（DOOH），研发的边缘智能应用，核心是通过设备RGB摄像头实现情境感知，在终端实现本地计算分析丰富的识别维度，并驱动一系列可自定义的智能反馈和交互。 

不过，值得注意的是，边缘智能虽然避免了大量数据传输，但边缘设备的计算和储存能力，以及数据样本不足，是边缘智能的掣肘。而图像识别在传统模式下，基本上都是采用大数据或大样本训练。 

边缘智能解决方案：小样本模型

一方面图像识别实际运用落地需要边缘智能，另一方面图像识别的深度学习又依赖大规模标注数据，如此似乎形成一种悖论：业务功能需求的场景，无法满足图像识别的培训；充分深度学习的图像识别，又难以落地到实际。 

如何基于少量的图像识别标注样本来训练识别模型成为行业发展方向。 

“我们在两年前，申请了一个少样本学习专利技术，去年已经成功获得授权。它其实是改进传统神经网络的一个学习模式，可以通过一个独立的全局链路结构去影响各个层。”陈谷川解释道，“原有的模式是一个多层或者说是黑盒，最原始的输入只对第一层或前面几层产生效果，在样本量不大的情况下，模型中间层的参数得不到充分训练，只能通过最后结果再看反馈，再做调整。” 

“我们看到的是，这项成果应用于基于视觉语料做强化学习，能够突破现有以文本数据为训练对象的LMA，大视觉模型将距离通用人工智能更近一步。”陈谷川表示，少样本学习的模型，其实是为了有效解决AI实际运用中的问题。“客户的使用场景本身提供的样本，尤其高质量样本是相对较少的，我们能够有效，或者说比较准确建立模型的收敛性，最终形成比较好的鲁棒性。” 

近期，「智媒云图」发布一项新产品：“欲知图像检索系统（WHIRS）”，该产品基于Wonder How平台能力，融合预训练大模型的泛化能力与小样本机器学习的定制能力，可实现图像内容语义的自动标注及索引，提供以自然语言进行跨模态搜索的AI 2.0生产力应用。 

据悉，该产品通过Docker挂载的方式独立部署运行，支持x64和ARM架构CPU，Windows / Linux服务器环境，并提供标准的Web API调用方式。而该产品最大的优势便是以标准软件应用模块化嵌入客户本地化部署，可离线运行，无需调用外部API，可确保私有数据安全，符合国家数据安全要求，逐步构建起企业自有的AI大模型，通过自有数据和业务驱动持续进化升级。 

“相当于把我们的关键核心技术，即多模态和少样本学习的核心技术封装到一个标准产品中，然后部署到客户本地，并提供模型及服务的定期更新。”陈谷川称。事实上，欲知图像检索系统可以说是「智媒云图」一个阶段性成果。 

“2020年确定图像识别为主营业务以来，我们一直在做技术的积累和产品化的标准化开发。”据介绍，「智媒云图」已拥有及申报超过300余项专利（其中超过80%均为发明），在图像识别和图像生成领域拥有核心算法设计及底层框架定制能力。

而拥有标准化产品后，「智媒云图」亦希望重新开始业务扩张。“接下来几年是作为二次创业重新出发。”陈谷川称，“公司希望寻找有战略产业资源投资者，这也能让「智媒云图」加快在垂直行业的落地。” 

36氪广东——在广东观察世界，在湾区链接全球。

36氪广东作为广东地区领先的新商业媒体，以大湾区为核心，为各位创业者、投资人以及科技、财经、新经济领域从业者提供最前沿的深度商业报道，搭建最畅通的产业对接通道，让一部分人先看到未来。

如果你希望得到36氪广东的报道，或转载相关文章，请将你的需求和BP发送至指定邮箱：guangdong@36kr.com。如果你希望转载公众号文章，或进入社群（备注：社群），请联系小编微信。我们将在24小时内回复。

小编微信ID：gd36kr001微信公众号ID：gd36kr官方微博：@36氪广东抖音：湾区会氪