公有云计算平台使企业能够使用全球服务器补充其私有数据中心,将基础设施扩展到任何位置,并根据自身需求扩展和缩减计算资源。这些公私混合云为企业计算应用提供了前所未有的灵活性、价值和安全性。
但在全球各地实时运行的AI应用可能需要巨大的本地处理能力,而且往往是在远离中央云服务器的偏远地区。由于低时延或数据驻留要求,一些工作负载需要保留在本地或特定地点。
这就是为什么许多企业使用边缘计算部署AI应用,边缘计算能够在产生数据的地点处理数据,在本地边缘设备中处理和存储数据,而不是在遥远的中央数据存储库中进行云处理。因此,此类设备无需联网就能作为一个独立的网络节点运行。
云和边缘计算有许多优点和用例,并且可以一起使用。
什么是云计算
根据研究机构Gartner的定义,“云计算是一种使用网络技术以服务形式提供可扩展、弹性IT功能的计算方式。”
云计算有许多优点。《哈佛商业评论》中的“云转型状况”报告,83%的受访者表示,云对企业机构的未来战略和增长极其重要。
云计算必定会日益普及。企业采用云基础设施并将继续这样做的原因包括:
更低的前期成本:省去了购买硬件、软件、IT管理以及24小时供电和冷却的资本支出。云计算使企业机构能够迅速将应用推向市场并降低进入市场的财务门槛。
灵活的定价:企业只需为所使用的计算资源付费,因此可以更好地控制成本,减少意外情况。
无限的按需计算:云服务能够通过自动配置和删除资源来即时应对和适应不断变化的需求,从而降低成本,提高企业机构的整体效率。
简化的IT管理:云供应商为其客户提供IT管理专家服务,使员工能够专注于企业的核心需求。
易于更新:只需点击一次就可以获得最新的硬件、软件和服务。
稳定可靠:由于可以在云供应商网络上的多个冗余站点建立数据镜像,因此能够以更低的成本轻松地实现备份、灾难恢复和业务连续性。
节省时间:企业在配置私有服务器和网络时会浪费时间。有了按需提供的云基础设施,企业能够在很短的时间内部署应用并更快进入市场。
什么是边缘计算
边缘计算将算力移动到产生数据的硬件附近(通常是物联网设备或传感器),它因将算力移动到网络或设备边缘而得名,能加快数据处理速度、增加带宽并确保数据主权。
通过在网络边缘处理数据,边缘计算减少了大量数据在服务器、云和设备或边缘位置之间传输的需求。这对于数据科学和AI等现代化应用尤为重要。
边缘计算的优点
Gartner预测:“在生产中部署边缘用例的企业数量将从2019年的约5%增长至2024年的约40%。”许多高性能计算应用已经成为现代生活的支柱,例如深度学习和推理、数据处理和分析、模拟以及视频流等。随着企业逐渐意识到这些应用由边缘计算驱动,生产中的边缘用例数量也将会增加。
投资于边缘技术的企业可以获得以下优势:
减少时延:边缘数据处理避免或减少了数据的传输,因此可以更快洞悉具有低时延要求的复杂AI模型用例,例如全自动驾驶汽车和增强现实等。
降低成本:与云计算相比,使用局域网进行数据处理可以让企业以更低的成本获得更高的带宽和存储。此外,由于在边缘进行处理,因此需要发送到云或数据中心进行进一步处理的数据变得更少,这减少了需要传输的数据量,同时也降低了成本。
模型精度:AI依赖高精度模型,尤其是对于需要实时响应的边缘用例。当网络带宽过低时,一般会通过降低输入模型的数据大小来缓解。这会导致图像尺寸减少、视频跳帧和音频采样率降低。当部署在边缘时,数据反馈回路可提高AI模型的精度,并且可以同时运行多个模型。
更广泛的覆盖范围:互联网接入是传统云计算的必备条件。但边缘计算可以在本地处理数据并且无需连接网络,这将计算范围扩大到了以前无法接入或远程的位置。
数据主权:当数据在采集地点得到处理时,企业机构就可以通过边缘计算将所有敏感数据和计算保留在局域网和公司防火墙内。这能降低云端遭受网络安全攻击的风险,并使企业能够更好地遵守严格而不断变化的数据法律。
云计算在边缘AI中扮演什么角色
边缘和云计算都可以充分使用容器化的应用。容器是一种易于部署的软件包,可以在任何操作系统上运行应用。这些软件包从主机操作系统中提取,因此它们可以在任何平台或云端运行。
云和边缘容器的主要区别在于位置。边缘容器位于网络的边缘,更接近数据源,而云容器则在数据中心运行。
已实施容器化云解决方案的企业机构可以十分轻松地将它们部署在边缘。
企业机构一般会使用云原生技术来管理他们的边缘AI数据中心。这是因为边缘AI数据中心的服务器常常分布在成千上万个地点,而且这些地点无法既没有物理安全保障也没有受过培训的人员。因此边缘AI服务器必须是安全、有弹性并且易于大规模管理的。
何时使用边缘计算和云计算?
边缘计算和云计算具有不同的特点,大多数企业机构最终会同时使用这两种计算。下面是您部署不同工作负载时需要考虑的一些因素。
云计算 |
非时延敏感型数据处理 |
可靠的网络连接 | |
动态工作负载 | |
存储在云端的数据 |
边缘计算 |
实时数据处理 |
网络连接受限或无网络连接的远程地点 | |
大型数据集的成本太高,无法发送到云 | |
高度敏感的数据和严格的数据法律 |
边缘计算优于云计算的应用示例之一是医疗机器人。外科医生需要访问实时数据,而这些系统包含了大量可以在云中执行的软件,但手术室中日益增加的智能分析和机器人控制系统无法容忍时延、网络可靠性问题或带宽限制。在该应用示例中,边缘计算直接关乎病人生死。
两全其美的选择:混合云架构
许多企业机构必须融合云和边缘,他们会尽可能采取集中式管理并在必要时采取分散式管理。混合云架构使企业能够发挥本地系统的安全性和可管理性,同时充分运用服务供应商的公有云资源。
不同的企业机构所采用的混合云解决方案也有所不同,例如在云端训练+在边缘部署、在数据中心训练+在边缘使用云管理工具、在边缘训练+将模型集中到云端进行联合学习等。云与边缘的结合可以创造无限的可能性。
与NVIDIA产品相关的图片或视频(完整或部分)的版权均归NVIDIA Corporation所有。