作者：于江德赵红丹
页数：339页
出版社：科学技术文献出版社
出版日期：2020
ISBN：9787518963218
电子书格式：pdf/epub/txt
内容简介
本书是作者及其科研小组近些年来在统计语言建模领域所做研究与探索工作的总结，主要围绕统计语言建模整个过程，进行统计语言模型的内在机制研究，重点研究如何更加准确地刻画，如何更加简洁地记录，如何更加高效地使用自然语言中蕴含的知识，即统计语言建模中语言知识的刻画、记录与使用研究。
本书特色
本书共9章。第1章：统计语言模型概述。首先简要介绍了自然语言处理中两种基本研究方法，即基于规则的理性主义方法和基于统计的经验主义方法；然后从语料库及语料库语言学的含义讲起，简要介绍了国外语料库建设情况，详细介绍了国内各类语料库的建设现状，对语料库语言学研究的理论意义和现实意义进行了简要论述；接着对统计语言模型的基本概念及研究进展进行了介绍，对一些常见的统计语言模型进行了简要介绍，给出了研究统计语言模型内在机制的关键所在；最后给出了本书的组织结构和各章主要内容。
第2章：统计语言模型基础知识。首先介绍了统计语言模型中的概率论基础及图论基础；然后对统计语言模型中容易出现的数据稀疏问题进行了分析；最后对常用的数据平滑算法进行了论述。
第3章：朴素贝叶斯分类器及其应用。首先介绍了贝叶斯定理、朴素贝叶斯分类的机制；然后介绍了朴素贝叶斯分类器的训练学习方法；最后给出了基于朴素贝叶斯分类的应用举例。
第4章：隐马尔可夫模型及其应用。首先介绍了隐马尔可夫模型的特点及定义；然后对模型中3个基本问题的解决方法进行了论述和分析；最后实现了一个基于隐马尔可夫模型的汉语词性标注系统，并对隐马尔可夫模型的一些其他应用进行了简述。本书共9章。第1章：统计语言模型概述。首先简要介绍了自然语言处理中两种基本研究方法，即基于规则的理性主义方法和基于统计的经验主义方法；然后从语料库及语料库语言学的含义讲起，简要介绍了国外语料库建设情况，详细介绍了国内各类语料库的建设现状，对语料库语言学研究的理论意义和现实意义进行了简要论述；接着对统计语言模型的基本概念及研究进展进行了介绍，对一些常见的统计语言模型进行了简要介绍，给出了研究统计语言模型内在机制的关键所在；最后给出了本书的组织结构和各章主要内容。
第2章：统计语言模型基础知识。首先介绍了统计语言模型中的概率论基础及图论基础；然后对统计语言模型中容易出现的数据稀疏问题进行了分析；最后对常用的数据平滑算法进行了论述。
第3章：朴素贝叶斯分类器及其应用。首先介绍了贝叶斯定理、朴素贝叶斯分类的机制；然后介绍了朴素贝叶斯分类器的训练学习方法；最后给出了基于朴素贝叶斯分类的应用举例。
第4章：隐马尔可夫模型及其应用。首先介绍了隐马尔可夫模型的特点及定义；然后对模型中3个基本问题的解决方法进行了论述和分析；最后实现了一个基于隐马尔可夫模型的汉语词性标注系统，并对隐马尔可夫模型的一些其他应用进行了简述。
第5章：最熵模型及其应用。首先从熵与熵增原理、信息熵与最熵原理、熵与信息熵的区别讲起；然后通过两个例子引出了最熵模型；接着给出了最熵模型的基本概念和一般形式，详细讲解了最熵模型建模的整体框架和内在机制，并对最熵建模的两个关键问题——特征选择和参数估计进行了详细阐述；最后结合汉语词性标注、汉语词法分析、事件信息抽取中的事件分类解析了最熵模型最熵工具包的使用和最熵模型的实现细节。
第6章：条件随机场及其应用。首先简要介绍了什么是概率图模型，对两种不同的概率图模型——有向图模型和无向图模型进行了介绍；然后给出了条件随机场的相关概念、一般形式、建模的内在机制等；接着给出了条件随机场不同的参数估计方法；最后以3个应用为例详细论述了条件随机场的应用。
第7章：统计语言模型之间的联系与区别。首先阐述了统计语言模型的内在机制，给出了统计语言建模的统一框架；然后从统计语言模型的表示、学习、推理3个方面详细论述了统计语言建模的关键问题；最后将统计语言模型分为生成模型与判别模型，并据此对前面章节讲解的几种统计语言模型之间的联系和区别进行了论述。
第8章：深度学习及其在自然语言处理中的应用。首先简要介绍了人工神经网络；然后阐述了深度学习的基本理论及思想、研究发展历程、几种流行的深度学习框架等；最后较详细介绍了近年来深度学习在自然语言处理各个子研究领域的应用及其发展。
第9章：统计语言模型研究展望。首先从前沿技术和发展趋势两个方面对统计机器学习进行了展望；然后对自然语言处理的发展趋势和未来方向进行了简要论述；最后简要总结了统计语言模型的研究现状，简要阐述了统计语言模型的机遇挑战，并对统计语言模型的未来进行了展望。
本书最后是4个附录：附录1是“三位一体字标注汉语词法分析中词法信息标记”，附录2是“中文文本中职务变动类事件触发词”，附录3是“ACE2007评测中给出的事件类型及子类型”，附录4是“词位标注汉语分词研究中用到的部分特征模板集”。
本书第1章、第5章、第6章、第7章、第8章和第9章由安阳师范学院于江德老师撰写，第2章、第3章和第4章由安阳师范学院赵红丹老师撰写，全书由于江德老师统稿。
最后，谨向为本书中所总结的研究与探索工作提供帮助的自然语言处理实验室的各位老师和自然语言处理科研兴趣小组的同学们表示感谢。同时，也对为本书出版付出辛勤劳动的组织、策划、编辑、设计等工作人员表示由衷的感谢。
本书的撰写和出版由河南省高校科技创新团队支持计划（17IRTSTHN012）资助，在此一并表示感谢。
由于作者水平有限，书中难免存在错误、不足或不妥之处，真诚希望各位专家学者和读者批评指正。
目录
1.1 自然语言处理的基本方法
1.1.1 理性主义和经验主义交互发展历程
1.1.2 理性主义和经验主义的比较
1.2 统计语言模型相关概念及研究进展
1.2.1 语料库和语料库语言学
1.2.2 统计语言模型相关概念
1.2.3 统计语言模型研究进展
1.3 常见的统计语言模型
1.3.1 N元语法模型
1.3.2 朴素贝叶斯分类器
1.3.3 隐马尔可夫模型
1.3.4 最大熵模型
1。3.5 条件随机场
1.3.6 神经网络语言模型及深度学习
1.4 探讨统计语言模型内在机制的关键
1.4.1 探讨统计语言模型内在机制的关键
1.4.2 应用统计语言模型的关键
1.5 本书组织结构
1.6 小结
参考文献
第2章 统计语言模型基础知识
2.1 概率论基础
2.1.1 基本概念
2.1.2 条件概率与独立
2.1.3 全概率公式与贝叶斯公式
2.1.4 随机变量
2.1.5 数学期望与方差
2.1.6 常见概率分布
2.1.7 最大似然估计
2.2 图论基础
2.2.1 基本概念
2.2.2 子图与图的运算
2.2.3 图的表示
2.2.4 通路、回路和连通性
2.3 数据稀疏与数据平滑
2.3.1 数据稀疏
2.3.2 数据平滑
2.4 小结
参考文献
第3章 朴素贝叶斯分类器及其应用
3.1 朴素贝叶斯分类的机制
3.1.1 贝叶斯定理
3.1.2 朴素贝叶斯分类的机制
3.2 朴素贝叶斯分类器的训练学习
3.2.1 最大似然估计
3.2.2 学习和分类算法
3.2.3 贝叶斯估计
3.3 朴素贝叶斯分类的应用
3.3.1 基于朴素贝叶斯的中文人名性别判定系统
3.3.2 基于朴素贝叶斯的其他应用
3.4 小结
参考文献
第4章 隐马尔可夫模型及其应用
4.1 马尔可夫模型
4.1.1 马尔可夫过程和马尔可夫性
4.1.2 马尔可夫模型
4.1.3 马尔可夫模型应用举例
4.2 隐马尔可夫模型简介
4.2.1 隐马尔可夫模型的定义
4.2.2 隐马尔可夫模型的一般描述
4.2.3 隐马尔可夫模型的3个基本问题
4.3 隐马尔可夫模型3个基本问题的解决
4.3.1 评估问题的解决——前向算法和后向算法
4.3.2 解码问题的解决——维特比算法
4.3.3 学习问题的解决——前向后向算法
4.4 隐马尔可夫模型的应用
4.4.1 汉语词性标注简介
4.4.2 基于隐马尔可夫模型的汉语词性标注
4.4.3 隐马尔可夫模型的其他应用
4.5 小结
参考文献
第5章 最大熵模型及其应用
5.1 最大熵原理
5.1.1 熵与熵增原理
5.1.2 信息熵与最大熵原理
5.1.3 熵与信息熵的区别联系
5.2 最大熵模型
5.2.1 最大熵建模的两个简单例子
5.2.2 最大熵模型的基本概念
5.2.3 最大熵模型的一般形式
5.2.4 最大熵建模的整体框架
5.2.5 最大熵建模的关键
5.3 最大熵模型的特征选择
5.3.1 特征选择概述
5.3.2 基于频次的特征选择算法
5.3.3 增量特征选择算法
5.3.4 选择性增益计算算法
5.4 最大熵模型的参数估计
5.4.1 参数估计的基本思路
5.4.2 训练算法概述
5.4.3 通用迭代算法
5.4.4 改进迭代算法
5.4.5 层次训练算法
5.4.6 SCGIS算法
5.4.7 拟牛顿法(L-BFGS算法)
5.4.8 不同训练算法的比较
5.5 基于最大熵模型的汉语词性标注特征工程研究
5.5.1 汉语词性标注简介
5.5.2 汉语词性标注特征工程研究背景及意义
5.5.3 基于最大熵模型的汉语词性标注
5.5.4 词性标注特征工程实验
5.5.5 结论及进一步研究展望
5.6 采用最大熵模型的三位一体字标注汉语词法分析
5.6.1 引言
5.6.2 相关研究与三位一体字标注思路
5.6.3 最大熵模型对三位一体字标注的建模
5.6.4 实验环境及实验数据集
5.6.5 汉语词法分析性能评估
5.6.6 实验及其结果分析
5.7 最大熵模型在特定类型事件探测与分类中的应用
5.7.1 引言
5.7.2 相关研究
5.7.3 基于触发词的特征类型事件探测
5.7.4 基于最大熵模型的事件分类
5.7.5 实验结果及其分析
5.8 小结
参考文献
第6章 条件随机场及其应用
6.1 概率图模型
6.1.1 概率图模型概要
6.1.2 有向图模型
6.1.3 无向图模型
6.1.4 有向图模型与无向图模型的比较
6.2 条件随机场
6.2.1 相关概念
6.2.2 条件随机场的定义
6.2.3 条件随机场的一般形式
6.3 条件随机场的参数估计方法
6.4 基于条件随机场的词位标注汉语分词
6.4.1 引言
6.4.2 词位标注汉语分词基本思路
6.4.3 条件随机场对词位标注汉语分词建模
6.4.4 实验数据集与实验设计
6.4.5 实验结果及其分析
6.4.6 基于条件随机场的词位标注汉语分词系统
6.5 基于条件随机场的语义角色标注
6.5.1 引言
6.5.2 相关研究
6.5.3 特征选择
6.5.4 基于条件随机场的语义角色标注流程
6.5.5 实验结果及其分析
6.6 基于条件随机场的中文命名实体识别
6.6.1 研究背景意义
6.6.2 命名实体识别研究综述
6.6.3 命名实体识别评估指标
6.6.4 基于条件随机场的中文命名实体识别
6.6.5 中文命名实体自动识别系统设计与实现
6.6.6 总结与研究展望
6.7 小结
参考文献
第7章 统计语言模型之间的联系与区别
7.1 统计语言模型的内在机制
7.1.1 统计语言模型的基本思路
7.1.2 统计语言模型的研究现状及发展趋势
7.2 统计语言建模的统一框架
7.3 统计语言建模的关键
7.3.1 语言知识的表示、学习和推理
7.3.2 更准确地刻画语言规律
7.3.3 更简洁地记录语言规律
7.3.4 更高效地使用语言规律
7.4 常见统计语言模型的联系与区别
7.4.1 生成模型与判别模型
7.4.2 4种常见统计语言模型的关系
7.4.3 神经网络语言模型与统计语言模型的异同
7.5 小结
参考文献
第8章 深度学习及其在自然语言处理中的应用
8.1 人工神经网络简介
8.1.1 人工神经网络基本概念
8.1.2 人工神经网络发展简史
8.1.3 人工神经网络的三要素
8.1.4 神经网络的实现算法
8.1.5 人工神经网络的应用
8.2 深度学习的前世今生
8.2.1 深度学习概述
8.2.2 深度学习的发展历程
8.2.3 深度学习的训练过程
8.2.4 深度学习的常见模型或方法
8.2.5 几种流行的深度学习框架
8.3 深度学习在自然语言处理中的应用
8.3.1 深度学习的应用概述
8.3.2 深度学习在自然语言处理中的应用
8.4 深度学习研究展望
8.4.1 深度学习的努力方向
8.4.2 深度学习的局限性
8.4.3 深度学习研究展望
8.5 小结
参考文献
第9章 统计语言模型研究展望
9.1 统计机器学习的展望
9.1.1 统计机器学习的前沿技术
9.1.2 统计机器学习的发展趋势
9.2 自然语言处理的未来
9.2.1 自然语言处理的发展趋势
9.2.2 自然语言处理的未来方向
9.3 统计语言模型研究展望
9.3.1 统计语言模型的研究现状
9.3.2 统计语言模型的机遇挑战
9.3.3 统计语言模型的未来方向
9.4 小结
参考文献
附录
附录1 三位一体字标注汉语词法分析中词法信息标记
附录2 中文文本中职务变动类事件触发词
附录3 ACE2007评测中给出的事件类型及子类型
附录4 词位标注汉语分词研究中用到的部分特征模板集
