TensorFlow 2高级自然语言处理实战

作者：(美)Ashish Bansal编著

页数：286页

出版社：北京航空航天大学出版社

出版日期：2025

ISBN：9787512443167

电子书格式：pdf/epub/txt

网盘下载地址：下载TensorFlow 2高级自然语言处理实战

内容简介

本书是一本深入介绍自然语言处理（NLP）领域最新进展与实践应用的权威著作。本书聚焦于NLP的三大核心领域——自然语言理解、自然语言产生与对话系统，详细阐述了从基础文本预处理到高级深度学习模型的全面知识体系。书中不仅覆盖了令牌化、词性标注、命名实体识别等经典技术，还深入探讨了BERT、GPT系列、Transformer等前沿模型的应用。此外，本书还着重介绍了迁移学习、微调等关键技术，以及如何利用TensorFlow构建高效、复杂的NLP系统。通过丰富的实例和代码，读者将掌握解决复杂NLP问题的先进工具和技术，为从事NLP研究和应用打下坚实基础。本书适合中级机器学习开发人员及TensorFlow/Python数据科学专业人员阅读。

作者简介

Ashish Bansal 是Twitch推荐系统的总监，他在Twitch负责构建适用于各种产品界面的可扩展推荐系统，旨在将内容与用户连接起来。他曾在多家公司从事推荐系统的工作，其中最著名的包括Twitter和Capital One。在Twitter，他负责引领趋势和事件推荐系统；在Capital One，他致力于B2B和B2C产品的研发。Ashish Bansal还是多伦多一家全方位数字代理公司GALE Partners的联合创始人，并在领先的数字代理公司SapientNitro工作了9年多。在多年构建混合推荐系统的工作中，他需要在协同过滤信号和内容基础信号之间找到平衡，为此他花费了大量时间构建自然语言处理（NLP）系统以提取内容信号。在数字营销领域，他构建了用于分析优惠券、优惠活动和主题行的系统。他还处理过信息、推文、新闻文章等多种类型的文本数据，并应用了前沿的自然语言处理技术。

本书特色

在这个信息爆炸的时代，Natural Language不仅是沟通的桥梁，更是智能的钥匙！本书带你深入自然语言处理的神秘殿堂，揭秘AI如何理解、生成乃至与人类对话的奥秘！

从基础的文本预处理到最前沿的Transformer架构，本书不仅是一次技术的盛宴，更是一场思维的革命。你将亲眼见证，曾经的科幻场景——智能对话机器人、精准情感分析、自动文本摘要等，如何在深度学习的魔力下逐一实现！

书中不仅有扎实的理论基础，更有实战为王！通过丰富的案例和代码，手把手教你如何利用TensorFlow构建强大的NLP模型，无论是情感分析、命名实体识别，还是文本生成、多模式网络，都能轻松上手！

不要错过这场通往未来的语言之旅，让《解锁未来语言》成为你NLP征途上的灯塔，引领你探索未知，创造无限可能！立即加入，让我们一起，用代码书写语言的未来！

目录

前言

着Transformer based和attention based网络的脱颖而出，对于自然语言处理(Natural Language Processing,NLP)来说，2017年无疑是可以称为分水岭的一年。过去几年里，NLP发生的变革就像是2012年AlexNet对于计算机视觉的变革一般。自然语言处理取得了巨大的进步，正从实验室研究转向应用。
这些进步跨越了自然语言理解(Natural Language Understanding，NLU）、自然语言产生(Natural Language Generation，NLG）和自然语言交互(Natural Language Interaction，NLI）等众多领域。随着对所涉及的众多领域的大量研究，我们发现，想要理解自然语言处理这些激动人心的进步是一项艰巨的任务。
本书重点介绍NLP、语言产生、对话系统领域的前沿应用，涵盖了通过令牌化(tokenization)、词性（POS）标记，以及使用流行库（如Stanford NLP和spaCy）进行词形还原等技术预处理文本的概念。命名实体识别(Named Entity Recognition，NER）模型是根据双向长短时记忆网络(Bi瞕irectional Long Short睺erm Memory networks，BiILSTMs）、条件随机场(Conditional Random Fields，CRFs）以及维特比解码构建的。从实际且注重应用的角度来说，本书涵盖了诸如用于语句填空和文本总结的文本生成、通过生成图像标题以连接图像和文本的多模式网络，以及聊天机器人对话方面的管理等一众关键的新兴领域。除此以外，本书还详细介绍了自然语言处理取得最新进展背后最重要的原因之一——迁移学习和微调。未标记的文本数据很容易获得，但相对而言，标记这些数据的成本很高。而可以简化文本数据标记的实用技术，同样也可以在本书中找到。<p>着Transformer based和attention based网络的脱颖而出，对于自然语言处理(Natural Language Processing,NLP)来说，2017年无疑是可以称为分水岭的一年。过去几年里，NLP发生的变革就像是2012年AlexNet对于计算机视觉的变革一般。自然语言处理取得了巨大的进步，正从实验室研究转向应用。</p><br /> <p>这些进步跨越了自然语言理解(Natural Language Understanding，NLU）、自然语言产生(Natural Language Generation，NLG）和自然语言交互(Natural Language Interaction，NLI）等众多领域。随着对所涉及的众多领域的大量研究，我们发现，想要理解自然语言处理这些激动人心的进步是一项艰巨的任务。</p><br /> <p>本书重点介绍NLP、语言产生、对话系统领域的前沿应用，涵盖了通过令牌化(tokenization)、词性（POS）标记，以及使用流行库（如Stanford NLP和spaCy）进行词形还原等技术预处理文本的概念。命名实体识别(Named Entity Recognition，NER）模型是根据双向长短时记忆网络(Bi瞕irectional Long Short睺erm Memory networks，BiILSTMs）、条件随机场(Conditional Random Fields，CRFs）以及维特比解码构建的。从实际且注重应用的角度来说，本书涵盖了诸如用于语句填空和文本总结的文本生成、通过生成图像标题以连接图像和文本的多模式网络，以及聊天机器人对话方面的管理等一众关键的新兴领域。除此以外，本书还详细介绍了自然语言处理取得最新进展背后最重要的原因之一——迁移学习和微调。未标记的文本数据很容易获得，但相对而言，标记这些数据的成本很高。而可以简化文本数据标记的实用技术，同样也可以在本书中找到。</p><br /> <p>学完本书后，我希望您能掌握可用于解决复杂自然语言处理问题的工具、技术和深度学习体系结构的先进知识。本书包含编码器解码器网络、长短时记忆网络(Long Short睺erm Memory networks，LSTMs）和BiLSTMs、CRFs、BERT、GPT2、GPT3、Transformers，以及使用TensorFlow的其他关键技术。</p><br /> <p>用于构建高级模型的高级TensorFlow 技术同样包含在本书之中：</p><br /> <p>r 构建自定义模型以及层数；</p><br /> <p>r 构建自定义损失函数；</p><br /> <p>r 实现学习率退火；</p><br /> <p>r 利用tf.data高效加载数据；</p><br /> <p>r 检查点模型实现较长的训练时间（通常数天）。</p><br /> <p>本书包含了适用于您自己的用例的工作代码。希望您在阅读本书过程中能够获得新的技能，甚至能利用这些技能去进行新的研究。</p><br /> <p>本书假定阅读者对深度学习的基础知识和自然语言处理的基本概念有所熟悉、了解。本书重点介绍高级应用程序和能够完成复杂任务的自然语言处理系统。所有类型的读者都可阅读本书，而其中可获得最大收获的读者包括：</p><br /> <p>r 熟悉基础的监督学习和深度学习技术的中级机器学习开发人员。</p><br /> <p>r 已经将TensorFlow/Python用于数据科学、ML、研究、分析等目的的专业人员。</p><br /> <p>本书内容：</p><br /> <p>第1章：自然语言处理的要点，介绍了令牌化(tokenization)、词干(stemming)、引理化(lemmatization)、词性标注(POS tagging)、矢量化(vectorization)等。将提供spaCy、Stanford NLP和NLTK等常见NLP库的概述及其关键功能和用例；同时还将为垃圾邮件构建一个简单的分类器。</p><br /> <p>第2章：通过BiLSTMs理解自然语言中的情感，涵盖了情感分析的NLU用例，并概述了现代非线性规划模型的基本构建块：递归神经网络（Recurrent Neural Networks，RNN）、LSTMs和BiLSTMs。我们还将通过tf.data以高效使用CPUs和GPUs来加速数据管道和模型训练数据的获取。</p><br /> <p>第3章：基于BiLSTMs、CRFs和维特比解码的命名实体识别（NER），重点阐述NER关键的NLU问题。NER是任务导向型聊天机器人的基本组成部分。我们将为CFRs构建一个自定义层，以提高NER和维特比解码的准确性，这种做法通常用于深度模型以提高输出质量。</p><br /> <p>第4章：基于BERT的迁移学习，涵盖了现代深度自然语言处理中的一些重要概念，例如迁移学习(transfer learning)的类型、预训练嵌入(pre瞭rained embeddings)、Transformers概述和BERT，以及第2章介绍的情感分析任务中的应用改进。</p><br /> <p>第5章：利用RNN和GPT2生成文本，重点是使用基于自定义字符的RNN生成文本，并使用波束搜索(beam search)对其进行改进；同时，还将介绍GPT2架构，并初步接触GPT3架构。</p><br /> <p>第6章：基于seq2seq Attention和Transformer Networks的文本总结，这两个文本总结承担了具有挑战性的抽象文本总结任务。BERT和GPT是全编解码模型的两部分。我们将它们放在一起，构建了一个seq2seq模型，用于通过为新闻文章生成标题来总结新闻文章；此外，还介绍了如何使用ROUGE度量来评估总结。</p><br /> <p>第7章：基于ResNets和Transformer Networks的多模式网络和图像字幕，结合计算机视觉和自然语言处理，看看一张图片是否值得深究。我们将从头开始构建一个自定义Transformer模型，并对其进行训练以生成图像标题。</p><br /> <p>第8章：基于Snorkel分类的弱监督学习，重点关注一个关键问题：标记数据。NLP有很多未标记的数据，对这些数据进行标记是一项相当艰巨的任务。本章介绍了Snorkel库，并展示了如何快速标记大量数据。</p><br /> <p>第9章：通过深度学习构建AI对话应用程序，结合本书涵盖的各种技术，展示了如何构建不同类型的聊天机器人，如问答机器人或填词机器人。</p><br /> <p>第10章：代码的安装和设置说明，按照说明步骤安装和配置系统以运行随书提供的代码。</p><br /> <p>为充分利用本书，您需要：</p><br /> <p>r 了解深度学习模型和TensorFlow的基础知识。</p><br /> <p>r 强烈建议使用GPU。本书中的模型，特别是后面章节中所出现的模型，往往相当庞大复杂，它们可能需要数小时或数天的时间在CPU上进行彻底训练。如果不使用GPU，RNN的训练速度将非常慢。您可以在Google Colab上访问免费的GPU，第1章提供了相关说明。</p>