第一部分:数据挖掘基础知识(基础,决定你的高度)
1、数据挖掘工具简介
Ø EXCEL规划求解(数据建模工具)
Ø SAS统计分析系统
Ø SPSS统计产品与服务解决方案(Modeler数据流处理)
2、数据挖掘概述
案例:宜家IKE如何通过数据挖掘来降低营销成本提升利润?
3、数据挖掘的标准流程(CRISP-DM)
Ø 商业理解
Ø 数据准备
Ø 数据理解
Ø 模型建立
Ø 模型评估
Ø 模型应用
案例:通信客户流失分析及预警模型
4、数据建模示例
案例:客户匹配度建模—找到你的准客户
第二部分:数据理解与数据准备(Modeler实操)
1、数据挖掘处理的一般过程
Ø 数据源-->数据理解-->数据准备-->探索分析-->数据建模-->模型评估
2、数据读入
Ø 读入文本文件
Ø 读入Excel电子表格
Ø 读入SPSS格式文件
Ø 读入数据库数据
3、数据集成
Ø 变量合并(增加变量)
Ø 数据追加(添加记录)
4、数据理解
Ø 取值范围限定
Ø 重复数据处理
Ø 缺失值处理
Ø 无效值处理
Ø 离群点和极端值的修正
Ø 数据质量评估
5、数据准备:数据处理
Ø 数据筛选:数据抽样/选择(减少样本数量)
Ø 数据精简:数据分段/离散化(减少变量的取值)
Ø 数据平衡:正反样本比例均衡
Ø 其它:排序、分类汇总
6、数据准备:变量处理
Ø 变量变换:原变量值更新
Ø 变量派生:生成新的变量
Ø 变量精简:降维,减少变量个数
7、基本分析
Ø 单变量:数据基本描述分析
Ø 双变量:相关性分析
Ø 变量精简:特征选择、因子分析
8、特征选择
Ø 特征选择方法:选择重要变量,剔除不重要的变量
Ø 从变量本身考虑
Ø 从输入变量与目标变量的相关性考虑
9、因子分析(主成分分析)
Ø 因子分析的原理
Ø 因子个数如何选择
Ø 如何解读因子含义
案例:提取影响电信客户流失的主成分分析
第三部分:因素影响分析(特征重要性分析)
问题:如何判断一个因素对另一个因素有影响?
比如营销费用是否会影响销售额?产品价格是否会影响销量?产品的陈列位置是否会影响销量?
1、常用特征重要性分析的方法
Ø 特征选择(减少变量个数):相关分析、方差分析、卡方检验
Ø 因子分析(减少变量个数):主成分分析
Ø 确定变量个数参考表
2、相关分析(数值+数值,相关程度计算)
问题:这两个属性是否会相互影响?影响程度大吗?
Ø 相关分析概述
Ø 相关系数计算公式
Ø 相关性假设检验
案例:通信基本费用与开通月数的相关分析
3、方差分析(分类+数值,影响因素分析)
问题:哪些才是影响销量的关键因素?
Ø 方差分析原理
Ø 方差分析的步骤
Ø 方差分析适用场景
案例:开通月数对客户流失的影响分析
4、列联分析(分类+分类,影响因素分析)
Ø 列联表的原理
Ø 卡方检验的步骤
Ø 列联表分析的适用场景
案例:套餐类型对对客户流失的影响分析
第四部分:分类预测模型分析
1、分类概述
Ø 分类的基本过程
Ø 常见分类预测模型
2、逻辑回归分析模型
问题:如果评估用户是否购买产品的概率?
Ø 逻辑回归分析
Ø 逻辑回归的原理
案例:客户购买预测分析(二元逻辑回归)
3、决策树分类
问题:如何提取客户流失者、拖欠货款者的特征?如何预测其流失的概率?
Ø 决策树分类的原理
Ø 决策树的三个关键问题
Ø 决策树算法
Ø 如何评估分类模型的性能(查准率、查全率)
案例:识别银行欠货风险,提取欠货者的特征
案例:客户流失预警与客户挽留模型
4、神经网络
Ø 神经网络概述
Ø 神经元工作原理
Ø 神经网络的建立步骤
Ø B-P反向传播网络(MLP)
Ø 径向基函数网络(RBF)
5、支持向量机
Ø SVM基本原理
Ø 维灾难与核函数
6、朴素贝叶斯分类
Ø 条件概率
Ø 朴素贝叶斯
Ø TAN贝叶斯网络
Ø 马尔科夫毯网络
第五部分:市场细分与客户细分
1、客户细分常用方法
2、聚类分析(Clustering)
问题:如何对市场进行细分?如何提取客户特征,从而对产品进行市场定位?
Ø 聚类方法原理介绍
Ø 聚类方法适用场景
Ø 如何细分客户群,并提取出客户群的特征?
Ø K均值聚类(快速聚类)
Ø 两步聚类
案例:移动三大品牌细分市场合适吗?
演练:宝洁公司如何选择新产品试销区域?
3、RFM模型分析
Ø RFM模型,更深入了解你的客户价值
Ø RFM模型与市场策略
Ø RFM模型与活跃度
案例:淘宝客户价值评估与促销名单
第六部分:关联分析(Association)
问题:购买面包的人是否也会购买牛奶?他们同时购买哪些产品?
Ø 关联规则原理介绍
Ø 关联规则适用场景:交叉销售、捆绑营销、产品布局
案例:超市商品交叉销售与布局优化(关联分析)
结束:课程总结与问题答疑。