华为 张琦 云原生的边缘计算

2020-03-01 1880浏览

  • 1.KubeEdge --- 云原生的边缘计算 张琦 华为 公有云智能边缘计算服务首席架构师
  • 2.
  • 3.关于我 • 华为公有云智能边缘 计算服务首席架构师 • CNCF KubeEdge项目 Maintainer • Apache ServiceComb项 目committer
  • 4.议题 • 站在云端看边缘 • 云原生的边缘计算 • 边缘计算的生态构建 • 应用案例
  • 5.计算边缘化正在加速，边缘计算正在成为云计算的有力补充 • Gartner公布2019十大技术趋势，边缘计算位列其中， Gartner认为从云到边缘(Cloud to the Edge) 被视为未来科技发展重要趋势； • Gartner预测：2017年 10% 的企业数据产生在云和数据中心之外，到2022年这一比例将超过 50%； 计算、存储、网络传输能力发展 不平衡 存储能力的增长远超计算能力和网络带 宽 网络延迟的改进远远落后于计算能力的 增长 计算边缘化正在加速 未来5年边缘计算主要推动 力：IoT （视频+传感器）、 和 VR/AR等浸入式交互体 验 商用无人机、VR/AR、认 知计算和认知专家系统、 智能家庭、智能办公室等 即将成熟的技术创新在边 缘测产生大量数据Source:Stephen Rumble, Stanford University, It’s Time for Low Latency 协同互补 云计算和边缘计算并不是对 立的。边缘计算是云计算向 终端和用户侧延伸形成的新 解决方案。可以说，边缘计 算本身就是云计算概念的延 伸，即便是赋予其独立的概 念，也无法做到与云计算切 割开，二者本就是相依而生、 协同运作的。 --- 中国信息通信研究院 《云计算与边缘计算协同 九大应用场景（2019年）》
  • 6.4大因素推动边缘计算的快速发展 • 4大因素推动边缘计算的快速发展 低时延 • 海量数据 隐私安全 本地自治 低时延：为满足低时延要求，需要在离业务现场最近的“边缘”构建解决方案，减少业务处 理时延； • 海量数据： 物联网时代边缘数据爆炸性增长，难以直接回传至云端且成本高昂，数据在 本地进行分析和过滤，节省网络带宽； • 隐私安全： 数据涉及企业生产和经营活动安全，在边缘处理企业保密信息、个人隐私； • 本地自治： 不依赖云端的离线处理能力、自我恢复能力；
  • 7.边缘计算的不同形态 近场计算 现场计算 中心云 园区商超 视频分析 Edge 轻量化边缘节点 DaaS PaaS 工业制造 IoT IaaS 边缘计算站点 企业分支机构 共机柜、共带宽、 共安全防护 CDN 边缘 集群 共机柜、共带宽、 共安全防护 CDN 边缘 集群 共机柜、共带宽、 共安全防护 虚拟边缘集群 商贸区/ 边缘 集群 铁塔 MEC 边缘 离线计算 集群 类SnowballEdge/Azure Data BoxEdge 娱乐视频 AR/VR 在线教育 移动应用 视频监控
  • 8.议题 • 站在云端看边缘 • 云原生的边缘计算 • 边缘计算的生态构建 • 应用案例
  • 9.传统方案的问题 • 边云生态的割裂，物理设备访问难度高，与IT技术割裂，开发难度高产品上市周期 长 • 日趋复杂的边缘业务的部署 • 缺少和云的协同以及边缘和边缘的协同，构建分布式系统难度高 • OT和IT世界技术割裂，协同门槛高
  • 10.KubeEdge --- 云原生的边缘计算解决方案
  • 11.将K8S部署模型延伸至边缘 Kubernetes Cluster Kubernetes Master DaemonSet Controller ReplicSet Controller API Server EN CN Container 容器 Deployment 部署 Pod 容器组 ReplicaSet 多副本集 DaemonSet 单一副本集 Service 服务 Container Container Container Container Label 标签 Pod Pod Pod Pod Node 节点 Kubelet 节点Agent Kubernetes Master 主节点 kubelet Kube-proxy docker kubelet Node Kube-proxy docker Node = Labels = Service
  • 12.使用K8S Device Plugin机制支持边缘GPU、NPU 端到端流程 Scheduler Device Plugin原理 K8S Master nodestatus Edgecontroller edged device plugin edge init Register grpc注册接口 Register nodestatus device健康状态 Edgeaccess ListAndWatch ListAndWatch nodestatus container creation set NPU to NodeStatus extendResources edged Edgecore Register ListAndWatch deviceplugin 申请device Allocate Allocate
  • 13.从ServiceMesh到EdgeMesh 1. 使用标准的istio进行 服务治理控制 K8S Master App ServiceController Router EdgeCore Istio Edgecontoller 3. 支持跨越边云的一致 的服务发现和访问体 验 CloudHub EdgeHub EdgeCore EdgeHub MetaManager Edgemesh-Proxy RuleM gr EdgeD 控制流 MetaManager Edgemesh-Proxy Dispatcher Dispatcher Resolver Resolver Listener(Iptables) Listener(Iptables) App EdgeNode RuleM gr EdgeD App 数据流 2. EdgeMesh-proxy负 责边缘侧流量转发 边云通道 边边通道 EdgeNode 4. P2P技术跨子网通信
  • 14.Device CRD： 设备访问微服务化 通过K8S Custom Resource Definitions（CRD）定义设备和设备访问模型，边缘节点上连接的设备可以被KubeEdge提供的 DeviceTwin统一管理和控制。DeviceTwin模型参考自Mozilla Web Of Things(WOT)，设计目标是为物理设备提供一组类似 微服务的访问接口，让IT开发人员以云原生统一的技术和生态访问物理设备。 设备模型 Device model properties propertiesVisitor Device Instance deviceModelRef protocal nodeSelector Status(deviceTwin) Device CRDDesign:https://github.com/kubeedge/kubeedge/blob/master/docs/proposals/device-crd.mdMozilla WOT :https://iot.mozilla.org
  • 15.使用Connector接入设备数据 Kubernetes Edge Controler 应用 Device Controler Cloud Hub Router Edge-Core Edge Hub Device Twin Event Bus Mqtt Broker Edge Connector 模型解析 驱 动 插 件 opc-ua plugin bluetooth plugin 设备A 温度感应器 （temperature） modbus plugin
  • 16.传统本地开发 V.S 云原生边缘计算 应用管理 设计 本地计算 云原生边缘计算 与硬件绑定 瀑布 单体架构 重新发明轮子 传统编程语言（C、ASM） 独立于平台 敏捷 微服务架构 重复利用 新型小足迹编程（Go、Node.JS） 软件著作权、成本高、封闭 开源、开放 在工厂里完成，并在出货之前测试 任何时间、任何地点快速部署 现场更新与升级 随时升级，按需更新 手动故障恢复 自动校验和故障恢复 逐个管理 集群管理，预期状态模式 当地完成 安全性不足 难以进行数据分析 联网远程完成 端到云的加密技术 连续的数据统计与分析 分布式 缺少自动分析 集中化、汇总 可以利用多种算法 开发 部署 运维 分析 译自 Zededa 《Cloud-Native Edge for Connected Operations》
  • 17.议题 • 站在云端看边缘 • 云原生的边缘计算 • 边缘计算的生态构建 • 应用案例
  • 18.边缘计算生态圈：经济学互补品原理 云 IEF 边缘硬件 边缘应用
  • 19.对接云原生生态 引自:https://landscape.cncf.io/
  • 20.KubeEdge在云原生基金会 KubeEdge(https://kubeedge.io)是一个CNCF项目，也是云原生基金会中首个边缘计算 项目和边缘计算参考架构 Kubernetes IoT Edge WG： 聚焦实现 Kubernetes 在 IoT/边缘计算 场景的方案 Co-chair Cindy Xing (@cindyxing), FutureWei Dejan Bosanac (@dejanb), Red Hat Preston Holmes (@ptone), Google Steve Wong (@cantbewong), VMWare 目标 提供适用于各种 IoT/边缘计算 环境的参考架构 构建端到端的 PoC，验证设计，并提供系统集成样例 ……
  • 21.议题 • 站在云端看边缘 • 云原生的边缘计算 • 边缘计算的生态构建 • 应用案例
  • 22.IEF：产品化的商业边缘计算公有云服务 在开源KubeEdge上进行的产品化增强： 华为及第3方IOT平 台与应用 园区安防 视频智能分平台 大数据分析平台 大数据 PaaS 深度学习框架与任务 调度引擎 RDS 函数、容器、流处理作 业云端DevOPS … 应用(函数容器) 生命周期管理 IEF IaaS (计算/存储/网络) 行业大脑 车联网 国家大制造 边云高速通道 边缘节点安全管 理与运维 1. 支持各组件横向扩展以支持大 规模边缘接入 2. 多租户支持 3. 边缘保密数据提供业务安全性 保证 4. 边缘节点、设备、边缘应用连 接证书控制提升系统安全性 5. 边缘节点自动安装、自动升级 6. 内置边缘智能视频处理、边缘 机器推理、流处理等边缘智能 和数据分析能力 7. 支持边缘函数 8. 完整的边缘运维(日志、指标、 告警) 9. 直接对接各种公有云服务 10. 完善的UI控制台 大集中化云Region/AZ 边缘节点 节点安全 管理 认证注册 设备(含摄 监控运维 轻量级安 容器函数 管理 像头)管理 代理 全沙箱 管理 边云高速 通道 边缘流处 边缘视频 边缘机器 理 智能 推理 OTA 边缘应用 开发框架 Linux OS @ 裸机/虚拟机 Edge Node Edge Node （ARM/NPU/FPGA） （ARM/NPU/FPGA） … Edge Node （X86集群 + GPU） 园区网/企业内网/家庭网络/WiFi接入/AR路由器/4G-5G基站 车联网 安防监控 工业制造 IoT 智慧家居
  • 23.九大典型场景应用解析 --- 中国信通院《云计算与边缘计算协同九大应 用场景（2019年）》 • CDN结合边缘计算向下一代内容分发平台升级 • 新时代的万亿云游戏市场 • 云边协同是工业互联网的重要支柱 • 传统能源产业的智慧升级 • 加速数字中国在农业领域落地 • 家庭智能化信息服务成为可能 • 智慧交通借助云边协同向车路协同方向发展 • 云边协同引领安防智能化技术潮流
  • 24.智慧园区：边缘云服务打造智慧园区 原始驱动力：通过“视频监控+AI分析”实现从人防到技防，提升园区运营效率，提高园区住户体验 人脸 检测 模型 人脸检测 智慧园区应用 人流 监控 模型 模型、应用推送、应用管理、边缘设备托 管 周界 检测 模型 人流分析 容 器 容 器 容 器 IEF智能边缘平台 智能视频分 析服务IVS 人脸图、原始图片、元数据（摄 像头信息、时间等）上传 DIS OBS 周界检测 边缘计算设备+视频分析模型 华为云 FRS（人脸识别）
  • 25.工业柔性质检：边缘视觉检测，提升产品良品率 原始驱动力：通过AI视觉提升质检效率、质检准确率。替代人工质检模式。 模型推送、应用管理、边缘设备管理 IEF智能边缘平台 视觉AI模 型 视觉AI模 型 容器 容器 模型训 练 ModelArts 数据回 传 DIS Nvidia GPU /Ascend910 光伏电池片产线 华为云 边缘计算设备 + 视觉质检模型
  • 26.面向煤矿安全生产边缘计算 端 边 专网 设备影子 云 智能边缘平台 互联网 工作负载管理 设备接入 边缘节点管理 设备鉴权 设备控制 算法推送 设备管理 EI & PaaS 数据接入 视频分析模型和算法 视频分析引擎 流分析模型和算法 流分析引擎 终端设备 工业网关& 边缘服务器 大数据引擎 EI企业智能 PaaS服务平台 IaaS 华为云
  • 27.在CDN部署边缘转码服务，充分利用CDN边缘冗余资源 • 智能化调度 提供节点间亲和性调度以及应用间亲和性调度 华为云 SWR 部署升级 视频转码/视频渲染/视频切片任务 北京CDN边缘站点 IEF智能边缘平台 智能调度 • 立体化运维 实时监控业务健康状态和边缘节点状态，保障 应用稳定运行 AOM 运维监控 • 本地自治 支持边缘节点离线处理，在边缘节点与云中心 网络断开后，业务可以正常运行 视频转码/视频渲染/视频切片任务 视频转码/视频渲染/视频切片任务 上海CDN边缘站点 广州CDN边缘站点
  • 28.社区贡献和技术交流 ➔ Official Website：https://kubeedge.io➔ Slack：https://kubeedge.slack.com/➔ MailingList:https://groups.google.com/forum/#!forum/kubeedge➔ Github Repository：https://github.com/kubeedge/kubeedge➔ License：Apache 2.0 微信公众号容器魔方 欢迎投稿 K8S容器交流群小助手 欢迎入群分享或演讲议题
  • 29.欢迎关注msup微信公众账号 关注大会微信公共账号，及时了解大会动态、 日程及每日更新的案例！ 关注公众号获得 更多案例实践