构建有业务价值的数据分析系统

2020-02-27 130浏览

  • 1.
  • 2.范成涛@珍爱网
  • 3.自我介绍 范成涛 珍爱 网 数据分析副总裁 珍爱魔方 广告预测 营销平台 团队建立 推荐 资源分配 定向营销 日GMV6亿 淘宝 腾讯 4代数据平台 腾讯罗盘 CLM
  • 4.三件事情对我的触动  某数据牛人离开阿里  曾经的屌丝项目获得1.6亿的收入  我团队挖掘人员的故事
  • 5.数据的几个误区 大总是好的 快总是有利的 技术要牛B 大数据，
  • 6.数据的常用案例
  • 7.数据工作的壁垒 业务人员 技术人员 有强烈的业务提升需求 不了解业务 不知道数据能干啥 知道数据的技术实现 思维很受局限 思维很受局限
  • 8.数据的价值分层 了解业务现状 了解业务趋势 发现问题所在 认清用户 对接营销
  • 9.常用分析方法经验分享 事前分析 • 如何预测各类数据 • 收入、用户数 • 如何建立考核指标 • 活动、功能 • 支持决策 • 科学决策，事实决策 • 精细化运营 事中分析 • 实时监控收入、用户 事后分析 • 产品有问题吗？哪里？ • 接触点效果反馈 • 收入是否正常 • 用户行为跟踪 • 用户是否健康 • 实时查看流量 • 网络环境，运营环境 • 实时分析活动效果 • 根据效果调整策略 • 准确触达，数据挖掘 以分析对象为中心的数据分析方法 • 渠道是否安全 • 流程是否顺畅 • 活动效果如何？ • 功能效果如何？ • 如何指导后续工作？
  • 10.常用分析方法经验分享 • 来源、PV、UV、人数、次数 • 收入、arup、用户属性、活跃度 时间维度 • 环比、同比、流动模型 • 增长率、留存率、流失率 用户群维度 发现问题 • 漏斗模型 • Ab test、调查问卷 用户价值维度(等级等) 认清用户 • 功能使用情况 • 热度分析 自然属性维度 • 精准化投放 • 挽留、拉新 版本维度 产品现状 了解趋势 营销与推 广 基于维度切分的数据分析方法
  • 11.生命周期管理示意图 ·品牌引导 ·关联性交叉销售 衰退 转移 ·潜在客户识别 应 用 模 型 9 ·客户流失预警 10流失 8 交叉销售/ 叠加销售 ·价值评级模型 5 11回流 6 0 优惠调整 7 ·客户关怀回流 续费 1 购买意向 4 2 获取成本 服务成本 ·精确营销 3 经常收入 ·客户分群 ·渠道评估 ·消费分析 管理 模型 客户生命周期健康度 基础 模型 客户价值模型 ·优惠弹性模型 客户生命周期曲线 客户生存分析 客户细分模型 客户生命周期识别
  • 12.用户生命周期周期管理的目标 粉丝 付费用 户 高活跃用户 普通用户 非用户
  • 13.生命周期管理怎么做 问题的 识别 用户识 别 用户画 像 营销
  • 14.决策树模型 APP only app+basic Basic Only
  • 15.预测模型的作用 15%的累积人数可以预测41%的转化成目标用户的人 未来黄钻转化率和Qzone人数累计百分比图 百分数 未来黄钻 转化率 100 90 80 70 60 50 40 30 20 10 0 我们的拉新模型 15%的累积人数 可以预测41%的 转化成黄钻的人 0 10 20 随机曲线 40%的累积人数 可以预测77%的 转化成黄钻的人 30 40 50 60 70 80 90 100 Qzone人数累计百分比
  • 16.用户群特征分析 装扮爱好者 心理需求 钻族收集群 喜欢漂亮的东 拥有3个钻以 西尤其是装扮 上；喜欢在第 类的例如花藤；三方游戏或者 兴趣广泛，比 应用上花钱， 较博爱：活跃 但对活动有特 于多种活动； 别偏好：仅在 喜欢购买新颖 装扮和音乐盒 和有吸引力的 等少数产品上 东西。年龄比 活跃。该人群 较年轻，朋友 男性比较多 数量和大多数 用户相当 APP付费 作家 相册狂热者 QQ整体活跃 他们喜欢互动 娱乐，愿意为 此花钱； 最近 活跃次数是越 来越高的，但 是不大使用 Qzone基础功 能，对他们而 言，有趣的游 戏是关键。他 们往往比一般 用户年龄大， 朋友较少，男 性居多 喜欢在说说日 非常喜爱相册， 非常活跃的用 志上表达观点， 尤其是上传照 户，而且变的 也喜欢在自己 片；对游戏/应 越来越活跃。 和朋友页面上 用不感兴趣， 几乎活跃于所 分享、发表， 对装扮也不感 有基础功能， 和在别人的页 兴趣。他们有 但不愿在单买 面上评论；时 时候自己写写 APP； 也比较 刻都要跟朋友 日志，他们喜 喜欢买红钻， 连在一起，手 欢作为客户看 对绿钻，蓝钻 机功能活跃； 别人的Qzone。 和黑钻等不感 不太关心相册。 这群人一般Q 兴趣。 这个 这个人群有很 龄较长，朋友 客户群比较年 多朋友 较多，相对年 轻，有很多 龄较大 朋友 沉默用户 总体活跃度低。 基本功能上8 周呈下行趋势； Qzone里还有 余额。这部分 人年龄较大。 细分规模 百分比 15% 2% 27% 18% 7% 4% 26% 转化率是平 均数的倍数 (转化率） 4X 0.4% 7X 0.7% 3X 0.3% 2X 0.2% 3X 0.3% 8X 0.8% 1X 0.1% 价值 百分比 22% 5% 28% 15% 8% 12% 10%
  • 17.客户细分 b 1 深入研究博爱的装扮爱好者发现了他们的行为和需求 博爱的装扮爱好者 喜欢漂亮的东西尤其是装扮类的例如花藤；兴趣广泛，比较博爱： 活跃于多种活动；喜欢购买新颖和有吸引力的东西。年龄比较年 轻，好友数量和大多数用户相当 关键行为 装扮爱好者与一般用户比较 ▪ 上月进入装扮商城次数 登录和保存装扮次数远多于一般用户 占比大小 ，% （第一梯队15%的） 15% 转化率 4X 价值, % 22% 男性所占比率, % 平均年龄 好友数量 关键需求 • 3 3X 1 ▪ 喜欢花藤 上月玩花藤次数 0.4 ▪ 他们在装扮上的活动不断增加 这些用户兴趣多样，玩Qzone上几乎所有功 能，包括Qzone外普及率低的活动和产品 （如朋友和微博） 0.3 • 3X 上月活动次数 4 6 一般用户 装扮爱 好者 1一般用户每个月登录商城一次、保存一次。装扮爱好者平均登录商城3次，保存3次 • • • 2X 过去8周活动增加率 0.1 ▪ 0.9 1.5X 55%（vs 平均67%） 22（vs 23) 167 (vs 168) 希望别人关注，喜欢新事物，如新应 用/游戏 在Qzone功能上较有经验 喜欢看自己和他人的网页 有些希望通过Qzone打造理想形象， 喜欢参观他人的装扮并与自己的做比 较；他们特别不希望在看过的Qzone 上留下足迹 其他人在基本功能上很活跃，如日志 和相册，喜欢装扮。他们的动力在于 他们希望别人听到自己、吸引人们的 注意力，交更多朋友
  • 18.云标签+生命周期管理 建模 付费人数： 付费渗透率： Arup值： 活动效应： 生成用户标签 30% 40% 提供标签验证服务 5% 156% 活动开发 效果跟踪 模型迭代优化 用大数据、数据挖掘能力帮应用提升收入
  • 19.Last Modified 2012-11-02 23:13 China Standard Time Printed 2012-11-02 0:20 China Standard Time
  • 20.基于大数据机器学习和挖掘的基础设施 Hadoop分布式运算框架：利用map-reduce统计近PB的用户数据，深入挖掘用 户多维度的属性，获得精准的用户偏好。 底层数据存储：利用hive，pig进行数据统计并发布到核心数据层，用hbase存 储用户profile的信息，实现更好的可编程特性，满足实时推荐的需求。 Spark计算：满足某些算法对大内存集群运算的需求，同时借助mllib库的强大 完整的算法库，大大缩短内存运算的总体计算时间。
  • 21.适合婚恋市场的算法和推荐理念 算法调度系统：珍爱调度系统对已有的各类算法推荐结果进行调度使用，跟 据用户行为和既定分配策略，解决在线推荐算法计算中需要满足SLA对可用 性和响应时间的要求。并使用增量学习算法，学习用户偏好并动态调整用户 推荐结果。 双向匹配算法理念：打破传统推荐系统的“二八”规律，双向匹配以“男女对” 为单位计算男女共同得分，同时通过避免某些热门候选人过多的推荐，男女 双方产生的推荐都必须在对方的推荐池中并明确不超过一定的推荐数量，解 决集中推荐少部分热门用户的难题。
  • 22.男女匹配的神奇方程式 1）基于哈佛等专业心理机构的性格测试和数据模型，来了解用户个性的多个维 度； 2）运用测试结果和数据挖掘方法，形成科学的婚恋匹配模式； 3）致力打造“已结婚为目的”的严肃平台，保证用户资料的真实性； 4）打破传统婚恋网站“二八”规律，让每个人都能知道最适合自己的另一半； 男女间性格上的需求匹配 （如外向，内向） 男女间硬件条件上的需求匹配 （如外貌，资产） r = d1 li - l j + d 2g j k i - m j + d 2g i k j - mi + d 3 a i - a j + d 4 bi - f j + d 4 b j - fi 双方对伴侣不可或缺的要求匹配 （包括物质和心理） 男女间对婚姻的渴望程度
  • 23.数据系统架构——第1代(简单化) • 业务计数 Last Modified 2012-11-02 23:13 China Standard Time Printed 2012-11-02 0:20 China Standard Time Mysql 自助统计脚本 (sum、count、 distinct) • 自助上报 展示界面 业务
  • 24.展示系统 清洗转换层 Printed 2012-11-02 0:20 China Standard Time Oracle Rac 人工开发 自助分析工具 简单元数 据&监控 工具 业务 Last Modified 2012-11-02 23:13 China Standard Time 数据系统架构——第2代(集群化)
  • 25.数据系统架构——第3代(工具化) • 展示DIY • 对比工具 计算层 • DIY计算展示 存储层 • 自助入库 • 元数据 • 告警监控 • 文件入库 Printed 2012-11-02 0:20 China Standard Time • 指标跟踪 Last Modified 2012-11-02 23:13 China Standard Time 展示层工具 • 自助分析
  • 26.数据系统架构——第4代(标准化、开放化) Last Modified 2012-11-02 23:13 China Standard Time 数据展示部分 数据接入和实时处理部分 第三方业务 数据展示平台 自助工具 挖掘项目 上报CGI Open API 质量 监控 平台 上报 数据 调试 实时 数据 查看 在线 数据 查看 数据 自助 分析 标签 系统 Data Store DC Agent Data Router 结果库 实时查询后 台 数据存储部分 Hadoop 仓库 同时 在线 统计 系统 Oracle仓库 实时 数据 统计 系统 CLog 反外 挂 Printed 2012-11-02 0:20 China Standard Time 业务 结果 数据 查询