云端上的生存之道

2020-02-27 94浏览

  • 1.云端上的⽣生存之道! — 七⽜牛云存储最佳实践 许式伟! 2014年7⽉月15⽇日
  • 2.纲要 • 概览篇! • 实践篇 !2
  • 3.概览篇
  • 4.七⽜牛云存储 • 产品! • 提供⾮非结构化数据的⼀一站式托管服务! ! • 客户群体! • 直接使⽤用者：开发者! • 间接使⽤用者：终端⽤用户! • 数据拥有者/付费者：企业 !4
  • 5.数据处理 数据分析 数据加⼯工 决策者 ⾏行为记录 统计分析 建模预测 数据存储 内容采集 内容分发 海量存储 海量、⾮非结构化数据 内容⽣生产者 内容消费者 !5
  • 6.云存储 • 推荐阅读! • 《存储系统的那些事》! •http://open.qiniudn.com/things-aboutstorage.pdf!• 存储可靠性的计算⽅方法! •http://www.infoq.com/cn/articles/virtual-forum-three-basic-issuesabout-distributed-storage !6
  • 7.云加速 • 上传加速! • 就近上传! • 断点续上传! • 并⾏行分块上传! ! • 下载加速! • CDN !7
  • 8.云处理 • 图⽚片处理! • 缩略、裁剪、打⽔水印、等等! • ⾳音视频处理! • ⾳音视频转码、截帧、打⽔水印、等等! • Office⽂文档处理! • 格式转换（转PDF、转图⽚片等）! • … !8
  • 9.实践：加速篇
  • 10.下载加速的“功与过” • 功! • 访问速度提升! • 过! • 带来⼀一致性问题，部分区域不能⽴立刻获得 最新版本 !10
  • 11.场景1: 托管图⽚片/⾳音视频 • 图⽚片/⾳音视频很少修改，⼀一致性问题不突出! • 七⽜牛云存储的主体应⽤用场景，坑相对少 !11
  • 12.场景2: 托管程序分发包/APK • 程序会有升级，有多版本，有更新问题! • 建议⽅方案! 1. 程序分发包带版本号! • ⽐比如 devtools-v1.0.02.zip! 2. 通过 30x 跳转提供通⽤用下载地址! • qboxrsctl redirect! • qboxrsctl redirectdevtools.zip devtoolsv1.0.02.zip! • 由于 CDN 不缓存 30x 跳转，所以这种⽅方法可以保证资源 的实时更新! • 未来 qrsync / qrsbox 也会⽀支持 redirect !12
  • 13.场景3：托管⺴⽹网站静态资源 • 如：js、css、image 等! • 由于⺴⽹网站会升级，故此有版本问题! • 考虑! • 由于⽂文件⼀一般⽐比较⼩小（典型尺⼨寸：32K）、数⺫⽬目⽐比较多，所以 30x 跳转⽅方式不是很好! • 建议：让资源 url 带版本! •http://static-staff.qiniudn.com/public/v790/css/global/main.css!• ⽅方案! • ⽤用 qrsync 来同步所有资源! • 发布⼀一个版本到线上后，⽴立刻升级版本号（⽐比如 将上⾯面的 v790 ⺫⽬目录改名 v791） !13
  • 14.场景4：既有业务如何试⽤用七⽜牛 • 感觉七⽜牛云存储不错，我想体验，怎么样做 能够快速体验？! • 答：“镜像存储”! • 镜像存储可以⾃自动镜像你的⺴⽹网站! • 如果你的⺴⽹网站没有新增资源，那么⼀一 段时间后，源站的流量趋近于 0 !14
  • 15.实践：云处理篇
  • 16.云处理的三种模型 • 实时处理: 裸命令! • eg.http://cyj.qiniudn.com/22734/1359639667984p17i8ddoi31ara1ccp1njsq319s62.jpg? imageView2/1/w/200! • 实时处理: 样式! • eg.http://cyj.qiniudn.com/16730/894F71B9-A70A-4295BD89-095002FBF371.jpg-display_ll! • 异步&持久化处理! • ⽂文档：http://developer.qiniu.com/docs/v6/api/overview/fop/persistentfop.html!16
  • 17.场景1：图⽚片缩略图 • 绝⼤大多数情况下，图⽚片缩略图基于“实时处 理”模式（第⼀一次访问时转换并进⼊入缓存） 即可满⾜足；! • 如果原图⾮非常⼤大，或者图⽚片处理模式较为复 杂（⽐比如打⽔水印），要获得绝佳效果，可以 考虑⽤用“异步&持久化处理”模式；! • 为了获得更好的灵活性，⽐比如修改图⽚片处理 规格时不需要重新发布客户端，建议使⽤用 “样式” 功能； !17
  • 18.场景2：⾳音视频转码 • ⾳音视频转码通常耗时较⻓长，适合⽤用“异步&持 久化处理”模式；! • 结合七⽜牛上传⽂文件⾃自动触发 “异步&持久化 处理” 功能，以及转码完成通知接⼝口，可完 美解决⾳音视频的异步转码；! • 在特殊场景下（⽐比如短⾳音频⽂文件），可以考 虑使⽤用“实时处理”模式；! • 为了避免客户误⽤用，我们⺫⽬目前关闭了⾳音视频的“实时处 理”模式，特定客户可以独⽴立申请开放 !18
  • 19.场景3：Office⽂文档转换 • ⽐比如! • 演讲稿发布必备利器: ppt/pptx => pdf! • ⽂文档发布利器：markdown => html! ! • 样例! •http://open.qiniudn.com/go-next-c-pptx.pdf!•http://open.qiniudn.com/qrsbox-md.html!•http://talking.qiniudn.com/go-next-c.pdf!•http://talking.qiniudn.com/qrsbox.html!19
  • 20.!20
  • 21.! ! Q &A !21