在边缘计算环境中部署人工智能的指南

　　将人工智能与边缘计算结合起来可能很复杂。边缘是一个必须控制资源成本的地方，其他IT优化计划，如云计算，很难应用。

　　边缘计算是一种应用程序部署模型，其中应用程序的部分或全部托管在其旨在支持的现实世界系统附近。这些应用程序通常被描述为实时和物联网，因为它们直接与现实世界元素(如传感器和效应器)交互，需要高可靠性和低延迟。

　　边缘通常位于本地，靠近用户和流程，通常位于系统软件和性能有限的小型服务器上。此本地边缘通常链接到在云中运行的另一个应用程序组件。

　　随着人工智能功能和复杂性的增加，它为边缘部署场景创造了更多机会。当部署在边缘计算环境中时，人工智能可以为各个行业提供一系列好处。但正确实施需要某些功能和平台考虑。

　　边缘计算中人工智能的好处

　　部署在边缘计算环境中的人工智能(有时称为边缘人工智能)提供了许多好处。

　　对于处理事件并向效应器设备返回命令或向用户返回消息的边缘应用程序，边缘人工智能可以实现比单纯的边缘软件更好、更灵活的决策。这可能包括在生成响应之前关联来自单个或多个来源的事件的应用程序，或需要对事件内容进行复杂分析的应用程序。

　　边缘计算环境中的人工智能的其他好处包括：

　　提高速度。

　　更强的隐私性。

　　更好的应用程序性能。

　　降低延迟和成本。

　　边缘计算中人工智能的注意事项

　　在实时边缘计算中部署人工智能时，组织必须解决两个重要的技术限制：托管要求与边缘系统功能以及延迟预算。

　　托管要求

　　大多数机器学习工具都可以在适合边缘部署的服务器配置上运行，因为它们不需要 GPU 组。越来越多的研究人员也在开发资源密集程度较低的更复杂人工智能工具版本(包括生成 AI 服务所推广的大型语言模型)，只要系统软件兼容，这些工具就可以在本地边缘服务器上运行。

　　如果所需的人工智能功能没有以适合本地边缘服务器部署的形式提供，则可能可以将事件传递到云或数据中心进行处理，只要可以满足应用程序的延迟预算即可。

　　延迟预算

　　延迟预算是应用程序在接收触发处理的事件和响应生成该事件的实际系统之间可以容忍的最大时间。此预算必须涵盖传输时间和所有处理时间。

　　延迟预算可以是一种软约束，如果未满足该约束，则会延迟某项活动 — — 例如，读取车辆 RFID 标签或货单条形码并安排车辆卸货的应用程序。它也可以是一种硬约束，如果未满足该约束，则可能导致灾难性故障。后者的示例包括将干物料倾倒到行驶中的火车上的车厢中或高速交通汇合。

　　何时在边缘部署人工智能

　　决定何时在边缘托管人工智能涉及平衡给定点的可用计算能力、该点与触发事件源之间的往返延迟以及响应的目的地。延迟预算越大，放置人工智能流程的灵活性就越大，它们可以为应用程序带来更多的功能。

　　虽然一些物联网系统单独处理事件，但复杂的事件关联在其他应用中很有用。例如，在交通控制中，最佳命令取决于来自多个来源的事件，例如交通传感器。

　　事件内容的分析在医疗保健中也非常有价值。例如，如果当前读数、读数趋势或不同同时发生的健康指标之间的关系表明患者有问题，人工智能可以分析血压、脉搏和呼吸以触发警报。

　　如果延迟预算允许，也可以访问本地、云端或数据中心存储的数据库。例如，送货卡车可能会使用 RFID 获取装载清单的副本，然后可以使用其中的内容将卡车引导至货位，派遣工人卸货并生成处理货物的说明。

　　即使人工智能不托管在云或数据中心，边缘应用程序也经常会根据事件生成传统交易，以及本地处理和周转。在规划边缘人工智能时，组织需要考虑边缘主机、人工智能和面向交易的处理之间的关系。

　　选择边缘人工智能平台

　　选择边缘人工智能平台的首要考虑因素是如何对其进行集成和管理。在边缘人工智能仅与云或数据中心松散连接的情况下，像Nvidia EGX这样的专用平台针对低延迟和人工智能进行了优化。对于与云中或数据中心的其他应用程序组件紧密耦合的边缘人工智能，实时Linux变体更容易集成和管理。

　　在某些情况下，如果公共云提供商提供边缘组件，如AWS IoT Greengrass或微软的Azure IoT edge，则可以将人工智能功能划分为边缘、云和数据中心。这种方法可以简化边缘托管的人工智能工具选择，使组织能够在可用时简单地选择边缘包中包含的人工智能软件。

　　大多数边缘人工智能托管可能使用更简单的机器学习模型，这些模型的资源密集度较低，可以经过训练来处理大多数事件处理。深度学习形式的人工智能需要更多的托管能力，但根据模型的复杂性，它可能仍然适用于边缘服务器托管。LLM和其他生成人工智能模型正变得越来越可分发到边缘，但目前，完整的实现可能需要云或数据中心托管。

　　最后，考虑人工智能使用的边缘资源的管理。虽然与其他形式的边缘计算相比，人工智能本身并不需要不同的管理实践，但为边缘和人工智能选择一个专门的平台可能需要不同的管理实践和工具。

　　作者：Tom Nolle 是 Andover Intel 的创始人兼首席分析师

　　来源：千家网