广义最小二乘问题的理论和计算

目录 《大学数学科学丛书》序 第二版前言 第一版前言 符号表 第一章 预备知识 1 1.1 引言 1 1.2 特征值和特征向量 2 1.3 矩阵分解 4 1.3.1 若干基本分解 4 1.3.2 SVD的推广 6 1.4 Hermite矩阵的特征值和矩阵的奇异值 13 1.4.1 Hermite矩阵特征值的极小极大定理 13 1.4.2 矩阵奇异值的极小极大定理 15 1.5 广义逆 16 1.5.1 Moore-Penrose逆 16 1.5.2 其他广义逆 19 1.6 投影 20 1.6.1 幂等矩阵和投影 21 1.6.2 正交投影 23 1.6.3 投影AAy和AyA的几何意义 24 1.7 范数 25 1.7.1 向量范数 25 1.7.2 矩阵范数 28 1.8 行列式，Hadamard不等式和Kronecker乘积 34 1.8.1 Binet-Cauchy公式 34 1.8.2 Hadamard不等式 36 1.8.3 Kronecker乘积 37 1.9 矩阵广义逆的进一步讨论 391.9.1 矩阵乘积广义逆的反序律 40 1.9.2 加边矩阵的广义逆 43 1.9.3 矩阵加权广义逆的结构 46 习题一 53 第二章 奇异值，奇异子空间和MP逆的扰动 57 2.1 酉不变范数的性质 57 2.1.1 Von Neumann定理 57 2.1.2 SG函数 60 2.1.3 酉不变范数的性质 62 2.2 奇异值的扰动和降秩第一逼近 64 2.2.1 奇异值的扰动 64 2.2.2 降秩第一逼近 65 2.3 正交投影和奇异子空间的扰动 68 2.4 MP逆的扰动 77 习题二 80 第三章 线性最小二乘问题 84 3.1 线性最小二乘问题 84 3.1.1 线性最小二乘及其等价性问题 85 3.1.2 LS 问题的正则化 87 3.2 LS 问题的扰动 89 3.3 若干矩阵方程的 LS 解 94 3.4 加权最小二乘问题 98 3.5 WLS问题的误差估计 101 3.5.1 第一种类型的误差界 102 3.5.2 第二种类型的误差界 104 习题三 105 第四章 总体最小二乘问题 108 4.1 总体最小二乘问题及其解集 108 4.1.1 总体最小二乘问题的定义 108 4.1.2 TLS问题的解集 115 4.2 TLS和截断的LS问题的扰动 117 4.2.1 TLS问题的扰动 1184.2.2 截断的LS问题的扰动 124 4.3 TLS和截断的LS问题的比较 126 4.3.1 TLS和截断的LS问题的解的比较 127 4.3.2 TLS和截断的LS问题残量的比较 129 4.3.3 TLS和截断的LS问题极小F范数修正矩阵的比较 131 4.3.4 一个实例 135 4.4 推广的降秩第一逼近定理 136 4.5 LS-TLS问题 143 4.6 约束总体最小二乘问题 149 习题四 152 第五章 等式约束最小二乘问题 156 5.1 等式约束最小二乘问题 156 5.1.1 等式约束最小二乘问题的定义与解集 156 5.1.2 等式约束最小二乘问题的等价性问题 158 5.2 关于KKT方程 164 5.2.1 WLS问题的KKT方程 164 5.2.2 LSE和WLS问题的KKT方程解的比较 167 5.2.3 对应于B和 B(. )零特征值的特征子空间 168 5.3 LSE问题的误差估计 168 5.4 等式约束加权最小二乘问题 178 5.4.1 等式约束加权最小二乘问题的定义与解集 178 5.4.2 加权最小二乘问题的等价性问题 179 5.5 WLSE问题的扰动 182 5.6 多重约束MP逆和多重约束最小二乘问题 186 5.7 嵌入总体最小二乘问题 190 习题五 196 第六章 加权MP逆和约束加权MP逆的上确界 199 6.1 基本问题 199 6.2 加权MP逆的上确界 202 6.3 约束加权MP逆的上确界 207 6.4 双侧加权MP逆的上确界 214习题六 217 第七章 WLS问题和WLSE问题的稳定性扰动 219 7.1 加权MP逆和约束加权MP逆的稳定性 219 7.1.1 加权MP逆的稳定性 219 7.1.2 约束加权MP逆的稳定性 222 7.1.3 双侧加权MP逆的稳定性 226 7.2 加权投影矩阵的扰动上界 228 7.3 加权最小二乘问题的稳定性扰动 236 7.4 约束加权最小二乘问题的稳定性扰动 239 习题七 244 第八章 刚性加权最小二乘问题 246 8.1 预备知识 246 8.2 刚性加权最小二乘和多重约束最小二乘问题 249 8.3 刚性加权投影矩阵和刚性加权MP逆的扰动 252 8.4 刚性加权最小二乘问题的扰动 260 习题八 261 第九章 广义最小二乘问题的直接解法 263 9.1 基本知识 263 9.1.1 算法和浮点运算 263 9.1.2 正定矩阵线性方程组的数值计算 264 9.1.3 矩阵的预条件处理 266 9.2 正交分解的数值计算 267 9.2.1 QR分解 267 9.2.2 完全正交分解 277 9.2.3 奇异值分解 279 9.3 最小二乘问题的直接解法 281 9.3.1 QR分解方法 281 9.3.2 法方程法 282 9.3.3 完全正交分解方法 282 9.3.4 SVD方法 283 9.4 总体最小二乘问题的直接解法 283 9.4.1 基本SVD方法 2839.4.2 完全正交方法 284 9.4.3 Cholesky分解法 284 9.5 约束最小二乘问题的数值解法 285 9.5.1 零空间法 285 9.5.2 加权LS法 286 9.5.3 直接消去法 286 9.5.4 QR分解和Q-SVD方法 289 9.6 刚性WLS问题和刚性WLSL问题的直接解法 290 9.6.1 行稳定的QR分解 290 9.6.2 刚性WLS问题的稳定解法 292 9.6.3 刚性WLSE问题的稳定解法 295 习题九 295 第十章 广义最小二乘问题的迭代解法 298 10.1 基本知识 298 10.1.1 Chebyshev多项式 298 10.1.2 分裂迭代法的基本理论 301 10.1.3 实对称三对角矩阵的特征值的范围 305 10.2 最小二乘解的迭代算法 307 10.2.1 分裂迭代法 307 10.2.2 Krylov子空间法 312 10.2.3 预条件对称反对称分裂迭代法 320 10.3 总体最小二乘问题的迭代解法 324 10.3.1 部分SVD方法 325 10.3.2 双对角化方法 325 10.4 刚性加权最小二乘问题的迭代解法 327 习题十 329 第十一章 非线性最小二乘问题的迭代解法 331 11.1 基本知识 331 11.1.1 Gateaux导数和Frechet导数 331 11.1.2 基本算法 333 11.2 Gauss-Newton型方法 33311.2.1 Gauss-Newton方法 334 11.2.2 阻尼Gauss-Newton方法 334 11.2.3 信赖域方法 336 11.3 Newton型方法 337 11.3.1 Newton迭代法 337 11.3.2 混合Newton迭代法 337 11.3.3 拟 Newton迭代法 338 11.4 可分离问题和约束问题 339 11.4.1 可分离问题 339 11.4.2 约束非线性最小二乘问题 340 习题十一 342 第十二章 四元数矩阵的性质 344 12.1 四元数及其性质 344 12.2 四元数矩阵及其性质 346 12.3 四元数矩阵的特征值问题 347 12.4 四元数矩阵的实表示矩阵 350 习题十二 352 第十三章 四元数GLS问题的数值计算 354 13.1 初等矩阵 355 13.2 四元数Hermite正定矩阵的LDLH分解和Cholesky分解 359 13.3 四元数矩阵的QR分解 362 13.3.1 四元数矩阵的Householder QR分解 362 13.3.2 四元数矩阵QR分解的改进的Gram-Schmidt方法 366 13.4 四元数矩阵的SVD367 13.5 四元数LS问题的数值解法 371 13.5.1 四元数LS问题的直接方法 372 13.5.2 四元数LS问题的迭代算法 373 13.6 四元数TLS问题的数值解法 378 13.6.1 四元数TLS问题的直接方法 378 13.6.2 四元数TLS问题的迭代算法 380 13.7 四元数LSE问题的数值解法 381习题十三 384 第十四章 四元数LS与WLS问题的误差分析 385 14.1 四元数LS问题的误差估计 385 14.2 四元数WLS问题的扰动分析 389 14.3 四元数LS扰动问题的进一步讨论 394 14.4 数值例子 397 参考文献 400 《大学数学科学丛书》已出版书目 415