Pouch和阿里容器技术演进

2020-02-27 194浏览

  • 1.Pouch和阿里容器技术演进 阿里巴巴系统软件事业部-林轩
  • 2.
  • 3.
  • 4.
  • 5.侯前明 阿里巴巴资深技术专家 花名林轩，2009年加入阿里巴巴，负责中间件分布式数据层 TDDL 2011年开始孵化TAE项目，建设了TAE第一代和第二代平台 2015年开始转向基础设施建设，负责电商和大数据的混布实 施。先后打造了Pouch容器和Sigma调度引擎，目前专注于容 器技术在集团内外的推广和迭代，以及不同形态业务负载的混 部和调度
  • 6.Pouch在阿里内部的使用现状 阿里容器技术的演进和实践 Pouch的技术特点和开源路线
  • 7.在阿里内部的使用现状 Pouch的规模： l  服务了阿里集团和蚂蚁金服大部分BU l  2017年双11容器百万级别 l  活跃应用100%完成了容器化 使用了Pouch的场景： l  运行模式- 标准APP，购物车，广告、测试环境 l  编程语言- Java ，C/C++，Nodejs，Golang l  技术栈- 电商，DB，流计算，大数据，专有云 使用了Pouch的业务： l  蚂蚁&交易&中间件 l  B2B/CBU/ICBU/1688/村淘 l  搜索&广告&数据库 l  合一集团(优酷) &高德&UC l  菜鸟&钉钉&盒马 l  安全&无线&阿里云专有云输出 l  集团测试环境 l  ……
  • 8.Pouch在阿里内部的使用现状 阿里容器技术的演进和实践 Pouch的技术特点和开源路线
  • 9.阿里从物理机到容器的演变 架构演变 l  运行：从集中式到分布式 l  运维：从分散到云化 资源使用的演变 l  从物理机到VM l  从VM到容器 容器的要素--阿里内部运维和应用视角 l  有独立IP l  能够ssh登陆 l  有独立的，隔离的文件系统 l  资源隔离—使用量和可见性 和物理机的 使用体验一致
  • 10.阿里容器发展轨迹 容器的要素--阿里内部运维和应用视角 l  有独立IP l  能够ssh登陆 l  有独立的，隔离的文件系统 l  资源隔离—使用量和可见性 手工Hack实现容器要素 虚拟网卡，网桥 sshd Chroot (pivot_root) CGroup，Namespace 引入LXC ( Linux Container ) T4 内核可见性隔离Patch 内核磁盘空间配额Patch 引入Docker镜像
  • 11.软件的本质 软件 = 文件(集) + 进程(组) ᶉா๶፡ғ෈կ -- Ӟӻํׁᩢ੶ེጱ෈կᵞ! ۖா๶፡ғᬰᑕ -- ӞӻํԻ԰‫ى‬ᔮጱᬰᑕᕟ!
  • 12.T4和Docker的整合 2015年 cpu隔离 内存隔离 进程隔离 文件系统隔离 磁盘空间隔离 网络带宽隔离 网络模式 镜像系统 执行引擎 文件系统分层 资源可见性 支持的内核和OS T4 cgroup.cpuset,cpu,cpuacct cgroup.memory pid namespace chroot dirquota 飞天的netqos模块 网桥+独立IP 只有简单的t4模板 LXC overlayfs 内核补丁隔离 alios5u,6u; 2.6.32-358; ali1172 Docker cgroup.cpuset,cpu cgroup.memory pid namespace chroot 无 无 网桥、Host 完备的Docker镜像系统 LXC，libcontainer aufs，device mapper， overlayfs 无隔离 7u+, 3.10+
  • 13.研发和运维的改变 Ի՞դᎱ۱! app.tgz! ‫ڠ‬ୌ ਻࢏! ਞᤰ चᕚ! ‫ץ‬ද ᯈᗝ! ᮱ᗟ ଫአ! ‫ۖސ‬ ଫአ! चᕚ! Ի՞! ෆ֛᳒‫!؟‬app:v1!‫࢏਻ۖސ‬ ޾ଫአ! Dockerfile!
  • 14.研发关注的要素 传统要素 l  功能与性能 l  稳定性 l  可扩展性 l  可测试性 DevOps要素 l  可运维性 l  运维成本 研发 思维 安全 思维 测试 思维 运维 思维 DevOps八荣八耻 以可配置为荣，以硬编码为耻 以系统互备为荣，以系统单点为耻 以随时可重启为荣，以不能迁移为耻 以整体交付为荣，以部分交付为耻 以无状态为荣，以有状态为耻 以标准化为荣，以特殊化为耻 以自动化工具为荣，以人肉操作为耻 以无人值守为荣，以人工介入为耻
  • 15.阿里容器Roadmap
  • 16.Pouch在阿里内部的使用现状 阿里容器技术的演进和实践 Pouch的技术特点和开源路线
  • 17.技术优势 隔离性 P2P镜像分发 富容器 规模化考验 内核兼容性
  • 18.技术优势-更好的隔离性 l  传统容器的隔离维度：namesapce，cgroup l  更优的容器可见性隔离：内核patch，lxcfs l  额外隔离维度：磁盘，网络等：diskquota l  基于Hypervisor的强容器隔离 l  runV l clear container
  • 19.技术优势-隔离性支持混部
  • 20.技术优势-镜像P2P分发
  • 21.内部版本的体系结构
  • 22.开源版本系统结构
  • 23.开源版本系统结构
  • 24.开源版本 欢迎参与：https://github.com/alibaba/pouch如何贡献：https://github.com/alibaba/pouch/blob/master/CONTRIBUTING.md
  • 25.开源计划 孵化 开源 2017.10.10 合作伙伴共同孵化 外部开发者邀请内测 2017.11.11 后正式开源 与生态共建Pouch 发布版本 2018.03.31 发布第一个 大版本
  • 26.