Spark MLib决策树:按功能标注的概率?

发布于 2021-01-29 15:01:05

我可以设法显示我的总概率labels,例如,在显示决策树之后,我有了一个表:

Total Predictions :
    65% impressions
    30% clicks
    5%  conversions

但是我的问题是按features(按节点)查找概率(或计数),例如:

if feature1 > 5
   if feature2 < 10
      Predict Impressions
      samples : 30 Impressions
   else feature2 >= 10
      Predict Clicks
      samples : 5 Clicks

Scikit 自动完成,我正在尝试找到一种方法 Spark

关注者
0
被浏览
83
1 个回答
  • 面试哥
    面试哥 2021-01-29
    为面试而生,有面试问题,就找面试哥。

    注意:以下解决方案仅适用于Scala。 我没有找到在Python中执行此操作的方法。

    假设您只想像示例中那样直观地表示树,也许一个选择是调整Spark
    GitHub上代码中subtreeToString存在的方法,Node.scala以包括每个节点拆分时的概率,如以下代码片段所示:

    def subtreeToString(rootNode: Node, indentFactor: Int = 0): String = {
      def splitToString(split: Split, left: Boolean): String = {
        split.featureType match {
          case Continuous => if (left) {
            s"(feature ${split.feature} <= ${split.threshold})"
          } else {
            s"(feature ${split.feature} > ${split.threshold})"
          }
          case Categorical => if (left) {
            s"(feature ${split.feature} in ${split.categories.mkString("{", ",", "}")})"
          } else {
            s"(feature ${split.feature} not in ${split.categories.mkString("{", ",", "}")})"
          }
        }
      }
      val prefix: String = " " * indentFactor
      if (rootNode.isLeaf) {
        prefix + s"Predict: ${rootNode.predict.predict} \n"
      } else {
        val prob = rootNode.predict.prob*100D
        prefix + s"If ${splitToString(rootNode.split.get, left = true)} " + f"(Prob: $prob%04.2f %%)" + "\n" +
          subtreeToString(rootNode.leftNode.get, indentFactor + 1) +
          prefix + s"Else ${splitToString(rootNode.split.get, left = false)} " + f"(Prob: ${100-prob}%04.2f %%)" + "\n" +
          subtreeToString(rootNode.rightNode.get, indentFactor + 1)
      }
    }
    

    我已经在Iris数据集上运行的模型上对其进行了测试,结果如下:

    scala> println(subtreeToString(model.topNode))
    
    If (feature 2 <= -0.762712) (Prob: 35.35 %)
     Predict: 1.0
    Else (feature 2 > -0.762712) (Prob: 64.65 %)
     If (feature 3 <= 0.333333) (Prob: 52.24 %)
      If (feature 0 <= -0.666667) (Prob: 92.11 %)
       Predict: 3.0
      Else (feature 0 > -0.666667) (Prob: 7.89 %)
       If (feature 2 <= 0.322034) (Prob: 94.59 %)
        Predict: 2.0
       Else (feature 2 > 0.322034) (Prob: 5.41 %)
        If (feature 3 <= 0.166667) (Prob: 50.00 %)
         Predict: 3.0
        Else (feature 3 > 0.166667) (Prob: 50.00 %)
         Predict: 2.0
     Else (feature 3 > 0.333333) (Prob: 47.76 %)
      Predict: 3.0
    

    可以使用类似的方法来使用此信息创建树结构。主要的差别是存储打印的信息(split.featuresplit.thresholdpredict.prob,等等),为瓦尔斯并使用它们来构建结构。



知识点
面圈网VIP题库

面圈网VIP题库全新上线,海量真题题库资源。 90大类考试,超10万份考试真题开放下载啦

去下载看看