桂创华：京东图片系统演进

2020-03-01 84浏览

1.2 C C A S 7 1 0
2.京东图片系统演进桂创华 2 C C A S 京东商城基础架构部技术总监 7 1 0
3.目录 1 2 2 C C A S 3 7 1 0
4.京东业务高速增长京东集团历年交易额 2 C C A S 2011 2012 2013 7 1 0 2014 2015 2016
5.京东图片规模变化京东图片规模变化 2 C C A S 2013 2014 2015 7 1 0 2016 2017
6.网络流量变化 2013年11月11 2014年6月18 2014年11月11 2015年6月18 2 C C A S 互联网总流量 2015年11月11 2016年6月18 7 1 0 CDN 2016年11月11
7.目录 1 2 2 C C A S 3 7 1 0
8.技术革新自研分布式存储规模驱动开发，从开源走向自研 70% 17 65% 75% 0 2 C C A S 100% 跨机房容灾从单机房到同城跨机房，再到两地三中心高速图片压缩通过技术升级将图片压缩效率提升3倍更小图片存储引入webp技术，降低图片存储空间
9.JFS分布式文件系统 jfs/t5/8/10240/10000/A5B8FC33-Y Java client coordinator coordinator coordinator datanode 2 C C A S 7 1 0 monitor checker replica group
10.JFS分布式文件系统存储引擎复制协议 2 C C A S follower client primary follower 7 1 0 Follower A Primary Follower B
11.图片系统 CDN 2 C C A S ImageImage Image Image processing processing processing processing ServerServer ServerServer 7 1 0 JFS Upload Service
12.同城跨机房图片应用 IMP IMP IMP 廊坊IDC IMP 2 C C A S 数据层廊坊 IDC 副本 1 副本 2 副本 1 副本 2 7 1 0 马驹桥IDC 副本 3 Repl Group1 副本 3 Repl Group2 马驹桥 IDC
13.两地三中心图片应用 IMP IMP IMP 北京IDC IMP 广州IDC 2 C C A S 北京IDC 同步 7 1 0 广州IDC 异步
14.缩放效率提升速度X3 2 C C A S 速度X2 库优化、ICC编译 7 1 0 IPP编译
15.WEBP图片格式偏远地区3G用户提速40% 图片平均大小减少45% 45% 2 C C A S 25% 页面加载速度整体提升25% 7 1 0 40% 0 移动端页面加载投诉降为0
16.Guetzli 压缩耗时压缩率 2 C C A S libjpeg Guetzli 7 1 0 libjpeg Guetzli
17.目录 1 2 2 C C A S 3 7 1 0
18.图片合规 2 C C A S 7 1 0
19.商描合规 2 C C A S 上线效果： • 无效审核下降73%： 7 1 0
20.自营店铺价格合规 2 C C A S 7 1 0
21.基于全卷积网络的文本行定位 2 C C A S 7 1 0
22.端到端的通用字符串识别系统 2 C C A S 7 1 0
23.商详页图片信息抽取 0 2 C C A S 17 标签：60、70年代怀旧风袖型：荷叶袖领型：飘带领布料：数码雪纺印花 • 补齐商品属性 • 富足商品标签
24.图文属性校验 2 C C A S 7 1 0 reception和resnet结构
25.智能化图片系统业务使用知识图谱图片信息档案以图搜图 7 1 0 智能排版智能图片识别图片质量清晰度曝光度色情 2 C C A S 二维码商品识别视觉识别颜色识别文字识别属性识别图片基础服务图片存储图片裁剪图片缩放水印服务 OCR
26.智能识图获取图片图片质量评估 2 C C A S 图片清晰度图片亮度图片牛皮癣背景复杂度 … 图像识别 7 1 0 商品主体识别颜色识别纹理识别人像识别人像面向识别… 结果输出
27.图片信息档案 2 C C A S 7 1 0
28.智能排版图像智能分析 2 C C A S 商品主体：短裤正面颜色：棕黄色系卡其商品主体：短裤侧面颜色：棕黄色系卡其 7 1 0 平铺细节图模特图正面模特图侧面商品主体：短袖正面颜色：黑白灰系白色模特图正面商品主体：短袖侧面商品主体：短袖正面颜色：黑白灰系白色颜色：黑白灰系白色
29.7 1 Thank you！ 0 2 C C A S