C4.5 决策树系统

是什么

C4.5 是一个机器学习（machine learning）系统，用来从数据中构造分类器（classifier）。它从大批案例出发，这些案例属于已知类别，并用名义属性（nominal properties）和数值属性（numeric properties）描述。系统把得到的模式表示为决策树（decision tree）或一组 if-then 规则（if-then rules）。它的目标不仅是准确，也包括让模型容易被人理解。^[1]

分类器的任务是为新案例分配类别。C4.5 的做法是从已知类别的案例中找出规律，再把这些规律用于新案例。属性既可以是类别型的名称，也可以是数值，系统要同时处理这两类描述。^[1] 决策树可以理解为一连串关于属性的判断：每个判断把案例分到不同分支，最后落到某个类别。if-then 规则则把同样的知识写成条件与结论的形式。对使用者来说，这两种输出都比一个只能给出分数、难以阅读的模型更直观。C4.5 强调“可理解”和“准确”并重，这一点贯穿在书的说明中。^[1]

由来与文档

C4.5 系统记录在 J. Ross Quinlan 的书《C4.5: Programs for Machine Learning》中。ACM 的数字图书馆（Digital Library）记录该书于 1993 年 1 月 1 日由 Morgan Kaufmann 出版。^[1] 这是一本 302 页的完整指南，介绍在 UNIX 环境中用 C 语言实现的 C4.5 系统。书中包含系统使用指南、约 8,800 行源代码以及实现说明。^[1] ScienceDirect 的书目页则列出该书于 1993 年出版，ISBN 为 978-0-08-050058-4，出版方为 Morgan Kaufmann 印记。^[2]

书里覆盖的内容

从章节设置可以看到系统涉及的范围。书目页列出的章节包括“构造决策树”（Constructing Decision Trees）、“未知属性值”（Unknown Attribute Values）、“决策树剪枝”（Pruning Decision Trees）、“从树到规则”（From Trees to Rules）和“窗口化”（Windowing）。^[2] 这些主题对应把一批案例变成可用分类器的几个环节：先构造树，再处理未知属性值，随后通过剪枝简化树，最后把树转换成规则。书里还把窗口化单独列为一章。章节标题本身说明，这本书不只是给出一个算法名称，而是围绕一个可运行系统讨论构建、处理、简化和转换等步骤。^[2]

未知属性值需要处理，是因为一个案例未必记录了每一个属性。剪枝需要处理，是因为树长得过细时，可能贴合案例中的偶然特征，而不是更一般的规律。把树转换成规则，则为使用者提供了另一种查看和使用所学知识的方式。章节列表显示，这些实际步骤和树的构造放在一起讨论。^[2]

使用与发展中的位置

ACM 说，该系统已被成功应用于包含数万个案例、由数百个属性描述的任务。^[1] 这种规模说明，C4.5 不只停留在小例子。书里同时给出使用指南、约 8,800 行源代码和实现说明，使读者既能把它当作工具来用，也能查看实现细节。^[1] 对学习机器学习的人来说，C4.5 把方法、程序和使用说明放在一起：输入是带已知类别的案例，输出是决策树或规则，而书则解释如何在实际环境中运行这套系统。^[1][2]