计算实时性和功耗效率突出，SiMa.ai打造边缘AI软硬件平台

自生成式AI爆发以来，目前最主流的大模型是托管在云计算平台上的云端大模型，代表性的产品就是OpenAI、Anthropic，Google提供的聊天机器人服务。这一类模型的尺寸通常较大，而且提供通用性能。

另一种是端侧大模型，PC、手机厂商们纷纷推出AI PC或AI手机，它们就搭载一些尺寸相对较小，能力垂直的中小尺寸模型，这些模型使用端侧算力为终端提供AI能力。

还有一种具有不错发展潜力的是边缘大模型，这些边缘模型以较低的功耗在边缘运行，为制造业，机器人，医疗保健等对实时性要求高的行业提供AI能力。

SiMa.ai是一个边缘AI软硬件一体平台，它既提供机器学习系统芯片（MLSoC） ，也提供相应的软件平台，赋能企业实现AI/ML创新。

近日SiMa.ai获得Maverick Capital领投，Point72和Jericho参投的7000万美元B+轮融资，包括Amplify Partners、Dell Technologies Capital、Fidelity Management和著名的半导体投资人Lip-Bu Tan等现有投资者也参与了投资。SiMa.ai在2022年5月获得3000万美元B轮融资，目前累计融资2.7亿美元。

Maverick Capital的董事总经理Andrew Homan表示：“生成式AI的计算强度已引发数据中心架构的范式转变。下一个阶段将是AI在边缘的广泛采用。”

实时性是边缘AI的生存价值，SiMa.ai提供一体化MLSoC平台

边缘生成式AI应用的潜力是巨大的，根据IDC的未来企业韧性和支出调查，38%的企业预计通过在边缘使用AI。

在过去，边缘计算主要用于工业部署，连接机器并从传感器收集数据，这些用例的计算需求相对较低。现在，AI的兴起为边缘计算市场注入了新活力。

在面向消费者领域，边缘AI可以帮助呼叫中心和客服提高用户的个性化体验，在零售业，边缘AI可以提供个性化产品推荐、回答查询甚至指导客户进行虚拟试穿。

边缘AI还可用于工业操作和供应链管理，例如自动化质量控制系统可以实时识别缺陷和异常，预测性维护模型可以分析传感器数据并生成主动警报，最小化停机时间并优化资源分配。

麦肯锡的研究显示，边缘生成式AI还可对医疗保健带来巨大利益，包括实时患者监测系统可以分析生命体征、生成早期警报并提供个性化治疗建议。AI辅助诊断工具可以帮助医疗专业人员做出更准确、及时的决策，改善患者结果并减轻过度劳累的医疗人员的负担。

在这些用例中，我们能够看到一个共同点，就是实时性，这也是托管在云端的AI模型目前难以做到的，除了实时性外，边缘AI还具有能耗和资源使用量低，更安全的隐私保护，更少的数据泄露风险，以及更好的可定制性等优点。

具有最佳能耗的MLSoC平台

SiMa.ai的核心产品是机器学习系统芯片（MLSoC），MLSoC通过四核中央处理单元执行通用计算任务。CPU基于ARM的Cortex A65核心设计。

MLSoC还包括一套针对AI优化的电路，当处理FP8时，这些电路可以提供50 TOPS（每秒万亿次运算）的性能。

这些电路与一个25兆字节的内存池集成在一起，这使它们可以将处理的数据存储在内部，而不是在较慢的外部RAM中。

AI优化电路得到四个矢量处理单元的支持，这些单元专门用于运行计算机视觉算法。MLSoC还包括执行视频编码的模块，或者说改变计算机视觉算法处理的媒体文件格式的任务。SiMa.ai表示，其芯片驱动的设备可以同时处理多达八个视频流。

SiMa.ai的第一代MLSoC在MLPerf推理4.0的闭环、边缘和功率部门类别中，交付了最高的FPS/W结果，但是它只能处理计算机视觉的问题，而即将在2025年推出的第二代MLSoC能够支持更多种类型的模型和传感器，并且支持音频、文本、图像等多种模态，将采用台积电的6nm工艺制造。

该公司随芯片一起提供了一套名为Pallet的软件开发工具。通过将SiMa.ai MLSoC与Palette软件相结合，如静态调度和双缓冲，允许在计算时间之前预取数据的分层方法，客户将不受模型大小的限制。

SiMa.ai的创始人兼首席执行官Krishna Rangasayee透露，全球已有超过50家公司使用了这种MLSoC与Palette软件的组合。

例如，SiMa.ai的MLSoC可与戴尔的PowerEdge服务器集成，使公司能够将生成型 AI 用例带到边缘。

在目标应用场景上，SiMa.ai瞄准了工业和机器人，智能汽车，医疗健康等领域。

边缘AI对应的场景在中国市场具有广泛机会

SiMa.ai的创始团队和核心团队由经验丰富的半导体老兵们组成，他的创始人(CEO)Krishna Rangasayee曾在半导体巨头Xilinx（赛灵思）有18年工作经验，并且担任过高级副总裁兼总经理以及全球销售执行副总裁，它还曾是新锐AI芯片公司Groq的首席运营官。

Krishna Rangasayee

SiMa.ai的董事会主席Moshe Gavrielov目前也是台积电的董事会成员，而且曾经担任Xilinx的CEO超过10年时间；另一位董事会成员林步钦（Lip-Bu Tan）则是专注于半导体的投资机构华登国际（Walden International）的创始人，他同时是Cadence （EDA巨头）的执行主席。

对于SiMa.ai的创业机会，创始人Rangasayee表示，尽管NVIDIA在云计算中“表现出色”，但它没有建立足够好的AI边缘平台，而且也没有很好的功率效率和边缘AI软件。而SiMa.ai的其他竞争对手们则在软件和系统上不够完善。

云端大模型和端侧大模型（众多主流的PC和手机厂商会投入）确实会是AI的两大主流流派，但是边缘大模型和其对应的计算平台仍有很大的发展潜力，因为在很多对实时性要求高的场景，可能云端的大模型会太慢，而端侧的大模型及其算力又可能有成本问题。目前边缘AI对应的工业场景，医疗保健场景在中国市场也有巨大需求，并且边缘AI可以基于开源的ARM架构来构建，对于中国的创业者来说有足够的机会。

本文来自微信公众号“阿尔法公社”（ID：alphastartups），作者：发现非凡创业者的，36氪经授权发布。