复杂数据的变量选择与预测方法:R和Python软件示例

目 录
第 1 章 绪论 1
1.1 研究背景与研究意义 1
1.2 外研究现状 2
1.2.1 变量选择的研究 3
1.2.2 预测方法的研究 3
1.3 本书需要解决的关键问题 4
1.4 本书主要研究内容 5
第 2章 数据预处理 8
2.1 引言 8
2.2 原始数据与建模数据 9
2.3 常规前期处理工作 9
2.3.1 数据审核 9
2.3.2 数据筛选 10
2.3.3 数据排序 10
2.3.4 数据清理 11
2.3.5 数据集成 11
2.3.6 数据转换 11
2.3.7 数据归约 11
2.4 数据转换方法 11
2.4.1 数据标准化方法 12
2.4.2 相空间重构方法 14
2.4.3 移动平均方法 14
2.5 多变量预处理方法 15
2.5.1 相关系数 15
2.5.2 复相关系数 16
2.5.3 多重共线性 17
2.5.4 贡献度量 19
2.5.5 时间序列分析的几个重要检验方法 20
2.6 R软件的编码示例 23

2.6.1 R软件的数据读取 23
2.6.2 R软件的常用数据结构编码 24
2.6.3 R软件的常用数据统计函数编码 27
2.6.4 R软件的 apply ()函数族 30
2.6.5 apply ()函数的用户自定义函数示例 32
2.6.6 R软件的多元数据直观表示 33
2.7 Python 的 编 码 示 例 39
2.7.1 Python 的数据读取 40
2.7.2 Python 的常用数据结构编码 40
2.7.3 Python 的常用数据统计函数编码 43
2.7.4 Python 可视化 44
2.8 本 章 小 结 47
第 3 章 数据建模回归分析方法 48
3.1 引 言 48
3.2 多 元 线 性 回 归 49
3.2.1 基本模型 49
3.2.2 小二乘参数估计法 50
3.2.3 多元线性回归的 R 实 现 50
3.2.4 多元线性回归 Python 实 现 51
3.3 广 义 线 性 模 型 51
3.3.1 L M 和GLM 的异同点 51
3.3.2 GLM 的数学特点 52
3.3.3 L M 和GLM 的数学表达 52
3.3.4 广义线性模型的R 实 现 52
3.3.5 广义线性模型的 Python 实 现 53
3.4 广义相加模型 53
3.4.1 GAM 与 LM 、GLM 的关系 53
3.4.2 广义相加模型的R 实 现 54
3.4.3 广义相加模型的 Python 实 现 55
3.5 K 近 邻 算 法 56
3.5.1 KNN 的距离度量方法 56
3.5.2 KNN 的R 实现 59
3.5.3 KNN 的 Python 实 现 60
3.6 随 机 森 林 60
3.6.1 随机森林的R 实 现 61

3.6.2 随机森林的 Python 实现 61
3.7 支 持 向 量 回 归 62
3.7.1 核方法及再生核希尔伯特空间 63
3.7.2 SVR 的R 实 现 63
3.7.3 SVR 的 Python 实现 64
3.8 向量自回归模型 64
3.8.1 标准的自回归模型 64
3.8.2 多元时间序列 66
3.8.3 向量自回归模型 66
3.8.4 VAR 的 R 实 现 67
3.8.5 VAR 的 Python 实现 69
3.9 灰 色 模 型 72
3.9.1 简 述 72
3.9.2 建模过程 72
3.9.3 灰色模型的R 实 现 73
3.10 深 度 学 习 74
3.10.1 卷积神经网络及其代码实现 74
3.10.2 长短期记忆神经网络及其代码实现 75
3.10.3 门控循环单元及其代码实现 77
3.11 自适应神经模糊推理系统 78
3.11.1 隶属函数 78
3.11.2 ANFIS 模型结构 79
3.11.3 ANFIS 的Matlab 实现 80
3.12 概 率 预 测 模 型 81
3.12.1 分位数回归模型及其代码实现 82
3.12.2 概率密度预测模型及其代码实现 85
3.13 集 成 方 法 86
3.14 多 步 预 测 策 略 87
3.14.1 迭代策略 88
3.14.2 直接策略 88
3.14.3 直接迭代策略 89
3.14.4 多输入多输出策略 89
3.14.5 直接多输出策略 90
3.14.6 迭代多输出策略 90
3.15 评 估 标 准 90

3.15.1 点预测的评估标准 91
3.15.2 概率预测的评估标准 92
3.16 本 章 小 结 93
第 4 章 数据建模变量选择分析方法 95
4.1 引 言 95
4.2 变 量 选 择 的 方 法 96
4.2.1 子集选择法 96
4.2.2 系数收缩法 100
4.2.3 智能优化选择法 102
4.3 变 量 选 择 的 准 则 104
4.3.1 偏倚、方差和模型复杂性 104
4.3.2 基于偏倚-方差分解的模型选择 105
4.3.3 偏倚-方差分解的实例分析 108
4.3.4 平均残差平方和准则 109
4.3.5 C p 准 则 110
4.3.6 AIC 准则 111
4.3.7 BIC 准则 111
4.3.8 交叉验证法 111
4.3.9 PRESS 准 则 112
4.3.10 自助法 112
4.3.11 损失函数 115
4.4 模拟分析试验设计 117
4.5 本 章 小 结 118
第 5 章 基于线性模型的复杂数据变量选择 119
5.1 引 言 119
5.2 基于 相关 小冗余的变量子集选择方法 121
5.3 一 种新颖的 相关 小共同冗余准则：随机相关系数 123
5.3.1 研究背景与动机 123
5.3.2 基于相关系数的共同冗余信息测量 124
5.3.3 随机相关系数选择 126
5.4 基于随机相关系数和随机逐步的变量选择集成 127
5.4.1 随机逐步算法(ST 2) 128
5.4.2 随机相关系数集成(SCCE )算法 128
5.4.3 理论分析 130
5.5 仿 真 研 究 133

5.5.1 标 准 测 试 133
5.5.2 高度相关的预测因子 135
5.5.3 样本大小的影响 136
5.5.4 真实数据集实例 137
5.6 本 章 小 结 140
第 6 章 基于非线性模型的复杂数据变量选择 141
6.1 引 言 141
6.2 基 本 知 识 143
6.2.1 互信息(MI) 143
6.2.2 几种预测器 143
6.3 相 关 工 作 144
6.3.1 MI变量子集选择方法综述 144
6.3.2 现有变量选择方法的局限性 146
6.4 改 进 的MI 变 量 选 择 方 法 148
6.4.1 新的变量选择框架 148
6.4.2 回归模型的标准化MI 149
6.4.3 利用MI 测量共同冗余信息 150
6.4.4 改进的标准化互信息方法 152
6.4.5 基于随机正则化 相关 小共同冗余(MRMCR )的变量选择 153
6.4.6 随机正则化 相关 小共同冗余(MRMCR )准则 156
6.5 试 验 161
6.5.1 仿真研究 161
6.5.2 波士顿住宅数据集分析 162
6.5.3 与现有方法的对比 164
6.6 本 章 小 结 171
第 7 章 基于支持向量回归的复杂数据预测方法 172
7.1 引 言 172
7.2 改进的支持向量回归：训练子集和模型的结合选择 173
7.3 基 本 模 型 174
7.3.1 支持向量回归(SVR) 174
7.3.2 训练子集选择 177
7.4 SVR 的训练子集和模型的结合选择 179
7.4.1 搜索区域估计 179
7.4.2 算法例证 182
7.4.3 嵌套粒子群优化算法 183

7.5 模 型 的 收 敛 性 187
7.6 基于序贯网格方法的支持向量回归 188
7.7 数 值 结 果 190
7.7.1 数据集描述 190
7.7.2 用于比较的 SVR .模型 191
7.7.3 模型评价方法 192
7.7.4 参数选择过程 192
7.7.5 训练子集和模型选择过程 193
7.7.6 试验对比分析 199
7.7.7 计算复杂度 200
7.8 本 章 小 结 201
参 考 文 献 202