Pouch和阿里容器技术演进 侯前明 阿里巴巴

2020-03-01 325浏览

  • 1.Pouch和阿里容器技术演进 阿里巴巴系统软件事业部-林轩
  • 2.
  • 3.
  • 4.
  • 5.侯前明 阿里巴巴资深技术专家 花名林轩，2009年加入阿里巴巴，负责中间件分布式数据层 TDDL 2011年开始孵化TAE项目，建设了TAE第一代和第二代平台 2015年开始转向基础设施建设，负责电商和大数据的混布实 施。先后打造了Pouch容器和Sigma调度引擎，目前专注于容 器技术在集团内外的推广和迭代，以及不同形态业务负载的混 部和调度
  • 6.Pouch在阿里内部的使用现状 阿里容器技术的演进和实践 Pouch的技术特点和开源路线
  • 7.在阿里内部的使用现状 Pouch的规模： 使用了Pouch的业务： l 服务了阿里集团和蚂蚁金服大部分BU l 蚂蚁&交易&中间件 l 2017年双11容器百万级别 l B2B/CBU/ICBU/1688/村淘 l 活跃应用100%完成了容器化 l 搜索&广告&数据库 l 合一集团(优酷) &高德&UC 使用了Pouch的场景： l 菜鸟&钉钉&盒马 l 运行模式- 标准APP，购物车，广告、测试环境 l 安全&无线&阿里云专有云输出 l 编程语言- Java ，C/C++，Nodejs，Golang l 集团测试环境 l 技术栈- 电商，DB，流计算，大数据，专有云 l ……
  • 8.Pouch在阿里内部的使用现状 阿里容器技术的演进和实践 Pouch的技术特点和开源路线
  • 9.阿里从物理机到容器的演变 架构演变 l 运行：从集中式到分布式 l 运维：从分散到云化 资源使用的演变 l 从物理机到VM l 从VM到容器 容器的要素--阿里内部运维和应用视角 l 有独立IP l 能够ssh登陆 l 有独立的，隔离的文件系统 l 资源隔离—使用量和可见性 和物理机的 使用体验一致
  • 10.阿里容器发展轨迹 容器的要素--阿里内部运维和应用视角 l 有独立IP l 能够ssh登陆 l 有独立的，隔离的文件系统 l 资源隔离—使用量和可见性 手工Hack实现容器要素 虚拟网卡，网桥 sshd Chroot (pivot_root) CGroup，Namespace T4 引入LXC ( Linux Container ) 内核可见性隔离Patch 内核磁盘空间配额Patch 引入Docker镜像
  • 11.软件的本质 软件 = 文件(集) + 进程(组) --! !
  • 12.T4和Docker的整合 2015年 cpu隔离 T4 cgroup.cpuset,cpu,cpuacct Docker cgroup.cpuset,cpu 内存隔离 cgroup.memory cgroup.memory 进程隔离 pid namespace pid namespace 文件系统隔离 chroot chroot 磁盘空间隔离 dirquota 无 网络带宽隔离 飞天的netqos模块 无 网络模式 网桥+独立IP 网桥、Host 镜像系统 只有简单的t4模板 完备的Docker镜像系统 执行引擎 LXC LXC，libcontainer 文件系统分层 overlayfs aufs，device mapper， overlayfs 资源可见性 内核补丁隔离 无隔离 支持的内核和OS alios5u,6u; 2.6.32-358; ali1172 7u+, 3.10+
  • 13.研发和运维的改变 ! app.tgz! ! ! ! ! ! ! ! !app:v1!! Dockerfile!
  • 14.研发关注的要素 传统要素 l 功能与性能 l 稳定性 l 可扩展性 l 可测试性 DevOps要素 l 可运维性 l 运维成本 研发 思维 测试 思维 安全 思维 运维 思维 DevOps八荣八耻 以可配置为荣，以硬编码为耻 以系统互备为荣，以系统单点为耻 以随时可重启为荣，以不能迁移为耻 以整体交付为荣，以部分交付为耻 以无状态为荣，以有状态为耻 以标准化为荣，以特殊化为耻 以自动化工具为荣，以人肉操作为耻 以无人值守为荣，以人工介入为耻
  • 15.阿里容器Roadmap
  • 16.Pouch在阿里内部的使用现状 阿里容器技术的演进和实践 Pouch的技术特点和开源路线
  • 17.技术优势 隔离性 P2P镜像分发 富容器 规模化考验 内核兼容性
  • 18.技术优势-更好的隔离性 l 传统容器的隔离维度：namesapce，cgroup l 更优的容器可见性隔离：内核patch，lxcfs l 额外隔离维度：磁盘，网络等：diskquota l 基于Hypervisor的强容器隔离 l runV l clear container
  • 19.技术优势-隔离性支持混部
  • 20.技术优势-镜像P2P分发
  • 21.内部版本的体系结构
  • 22.开源版本系统结构
  • 23.开源版本系统结构
  • 24.开源版本 欢迎参与：https://github.com/alibaba/pouch如何贡献：https://github.com/alibaba/pouch/blob/master/CONTRIBUTING.md
  • 25.开源计划 孵化 2017.10.10 合作伙伴共同孵化 外部开发者邀请内测 开源 2017.11.11 后正式开源 与生态共建Pouch 发布版本 2018.03.31 发布第一个 大版本
  • 26.