本书是信息论领域中一本简明易懂的教材。主要内容包括:熵、信源、信道容量、率失真、数据压缩与编码理论和复杂度理论等方面的介绍。

本书还对网络信息论和假设检验等进行了介绍,并且以赛马模型为出发点,将对证券市场研究纳入了信息论的框架,从新的视角给投资组合的研究带来了全新的投资理念和研究技巧。

本书适合作为电子工程、统计学以及电信方面的高年级本科生和研究生的信息论基础教程教材,也可供研究人员和专业人士参考。

本书是一本简明易懂的信息论教材。正如爱因斯坦所说:“凡事应该尽可能使其简单到不能再简单为止。''虽然我们没有深人考证过该引语的来源(据说最初是在幸运蛋卷中发现的),但我们自始至终都将这种观点贯穿到本书的写作中。信息论中的确有这样一些关键的思想和技巧,一旦掌握了它们、不仅使信息论的主题简明,而且在处理新问題时提供重要的直觉。本书来自使用了十多年的信息论讲义,原讲义是信息论课程的高年级本科生和一年级研究生两学期用的教材。本书打算作为通信理论.计算机科学和统计学专业学生学习信息论的教材。

信息论中有两个简明要点。第一,熵与互信息这样的特殊量是为了解答基本问题而产生的。例如,熵是随机变量的最小描述复杂度,互信息是度量在噪声背景下的通信速率。另外,我们在以后还会提到,互信息相当于已知边信息条件下财富双倍的增长。第二,回答信息理论问邀的答案具有自然的代数结构。例如,熵具有链式法则,因而,谪和互信息也是相关的。因此,数据压缩和通信中的问题得到广泛的解释。我们都有这样的感受,当研究某个问题时,往往历经大量的代数运算推理得到了结果,但此时没有真正了解问题的全莪,最终是通过反复观察结果,才对整个问题有完整、明确的认识。所以,对一个问题的全面理解,不是靠推理,而是靠对结果的观察。要更具体地说明这一点,物理学中的牛顿三大定律和薛定谔波动方程也许是最合适的例子。谁曾预见过薛定谔波动方程后来会有如此令人敬畏的哲学解释呢?

在本书中,我们常会在着眼于问题之前,先了解一下答案的性质。比如第2章中,我们定义熵、相对熵和互信息,研究它们之间的关系,再对这些关系作一点解释·由此揭示如何融会贯通地使用各式各样的方法解决实际问题。同理,我们顺便探讨热力学第二定律的含义。熵总是增加吗?答案既肯定也否定。这种结果会令专家感兴趣,但初学者或i午认为这是必然的而不会深人考虑。

在实际教学中.教师往往会加人一自己的见解。事实上,寻找无人知道的证明或者有所创新的结果是一件很愉快的事情。如果有人将新的思想和已经证明的内容在课堂上讲解给学生,那么不仅学生会积极反馈“对,对,对六而且会大大地提升教授该课程的乐崆我们正是这样从研究本教材的许多新想法中获得乐趣的。

本书加人的新素材实例包括信息论与博弈之间的关系,马尔可夫链背景下热力学第二定律的普遍性问题,信道容量定理的联合典型性证明,赫夫曼码的竞争最优性,以及关于最大熵谱密度估计的伯格(回定理的证明。科尔莫戈罗夫复杂度这一章也是本书的独到之处。面将费希尔信息,互信息、中心极限定理以及布伦一闵可夫斯基不等式与熵幂不等式联系在一起,也是我们引以为豪之处。令我们感到惊讶的是.关于行列式不等式的许多经典结论,当利用信息论不等式后会很容易得到证明。

自从香农的奠基性论文面世以来,尽管信息论已有了相当大的发展,但我们还是要努力强调它的连贯性。虽然香农创立信息论时受到通信理论中的问题启发,然而我们认为信息论是一门独立的学科,可应用于通信理论和统计学中。我们将信息论作为一个学科领域从通信理论、概率论和统计学的背景中独立出来因为明显不可能从这些学科中获得难以理解的信息概念。由于本书中绝大多数结论以定理和证明的形式给出,所以,我们期望通过对这些定理的巧妙证明能说明这些结论的完美性。一般来讲,我们在介绍问题之前先描述回题的解的性质,而这些很有的性质会使接下来的证明顺理成章。

使用不等式串、中间不加任何文字、最后直接加以解释,是我们在表述方式上的一项创新希望读者学习我们所给的证明过程达到一定数量时,在没有任何解释的情况下就能理解其中的大部分步,并自己给出所需的解释这些不等式串好比模拟到试题,读者可以通过它们确认自己是否已掌握证明那些重要定理的必备知识。这些证明过程的自然流程是如此引人注目,以至于导致我们轻视了写作技巧中的某条重要原则。由于没有多余的话,因而突出了思路的逻辑性与主題思想u我们希望当读者阅读完本书后,能够与我们共同分亨我们所推崇的,具有优美、简洁和自然风格的信息论。

本书广泛使用弱的典型序列的方法,此概念可以追溯到香农1948年的创造性工作,而它真正得到发展是在20世纪70年代初期。其中的主要思想就是所谓的渐近均分性(AEP),或许可以粗略地说成“几乎一切事情都是等可能的"

第2章阐述了熵、相对熵和互信息之同的基本代数关系。渐近均分性是第3章重中之重的内容,这也使我们将随机过程和数据压缩的熵率分别放在第4章和第5章中论述。第6章介绍博弈,研究了数据压缩的对偶性和财富的增长率。可作为对信息论进行理性思考基础的科尔莫戈罗夫复杂度,拥有着巨大的成果,放在第14章中论述。我们的目标是寻找一个通用的最矩描述,而不是平均意义下的次佳描述。的确存在这样的普遍性概念用来刻画一个对象的复杂度。该章也论述了神奇数0,揭示数学上的不少奥秘,是图灵机停止运转概率的推广。第7章论述信道容量定理。第8章叙述微分熵的必需知识,它们是将早期容量定理推广到连续噪声信道的基础。基本的高斯信道容量问题在第9章中论述。第il章阐述信息论和统计学之间的关系,20世纪年代初期库尔贝克首次对此进行了研究,此后相对被忽视。由于率失真理论比无噪声数据压缩理论需要更多的背景知识,因而将其放置在正文中比较靠后的第10章。

网络信息理论是个大的主题,安排在第巧章,主要研究的是噪声和干扰存在情形下的同时可达的信息流。有许多新的思想在网络信息理论中开始活跃起来,其主要新要素有干扰和反馈第16章讲述股票市场,这是第6章所讨论的博弈的推广,也再次表明了信息论和博弈之间的紧密联系。第17章讲述信息论中的不等式,我们借此一隅把散布于全书中的有趣不等式重新收拢在一个新的框架中,再加上一些关于随机抽取子集熵率的有趣新不等式。集合和的体积的布伦一闵可夫斯基不等式,独立随机变量之和的有效方差的熵幂不等式以及费希尔信息不等式之间的美妙关系也将在此章中得到详尽的阐述。

本书力求推理严密,因此对数学的要求相当高·要求读者至少学过一学期的概率论课程且有扎实的数学背景,大致为本科高年级或研究生一年级水平。尽管如此,我们还是努力避免使用测度论。因为了解它只对第16章中的遍历过程的AEP的证明过程起到简化作用。这符合我们的观点,那就是信息论基础与技巧不同,后者才需要将所有推广都写进去。

本书的主体是第2,3,4,5,7,8,9,10,11和巧章,它们自成体系,读懂了它们就可以对信息论有很好的理解。但在我们看来,第14章的科尔莫戈罗夫复杂度是深人理解信息论所需的必备知识。余下的几章,从博弈到不等式.目的是使主题更加连贯和完美。

成为VIP会员查看完整内容
0
114

相关内容

应用离散结构设计用于大学课程离散数学跨越两个学期。它最初的设计是为了给计算机科学专业的学生介绍在计算机科学中有用的数学主题。它也可以为数学专业的学生提供同样的目的,提供了对许多基本主题的第一次接触。

应用离散结构,是一个两个学期的本科文本在离散数学,侧重于结构性质的数学对象。这些包括矩阵、函数、图、树、格和代数结构。所讨论的代数结构是单体、群、环、场和向量空间。网站:http://discretemath.org应用离散结构已经被美国数学研究所批准作为其开放教科书计划的一部分。更多关于开放教科书的信息,请访问http://www.aimath.org/textbooks/。这个版本使用Mathbook XML (https://mathbook.pugetsound.edu/)创建。Al Doerr是马萨诸塞大学洛厄尔分校数学科学荣誉教授。他的兴趣包括抽象代数和离散数学。Ken levasserur是马萨诸塞大学洛厄尔分校数学科学教授。他的兴趣包括离散数学和抽象代数,以及它们在计算机代数系统中的实现。

成为VIP会员查看完整内容
0
48

这本书调研了大约20世纪90年代末机器学习的许多重要课题。我的意图是在理论和实践之间寻求一个中间桥梁带。笔记集中在机器学习的重要思想上——它既不是一本实践手册,也不是一个理论证明的概要。我的目标是为读者提供充分的准备,使一些关于机器学习的广泛文献易于理解。草稿只有200多页(包括扉页)。

这本书集中在机器学习的重要思想上。对于我所陈述的许多定理,我并没有给出证明,但对于形式的证明,我确实给出了可信的论据和引用。而且,我没有讨论许多在应用中具有实际重要性的问题;这本书不是机器学习实践手册。相反,我的目标是为读者提供充分的准备,使大量关于机器学习的文献易于理解。

学习,就像智力一样,涵盖了如此广泛的过程,很难精确定义。词典的定义包括这样的短语:“通过学习、指导或经验获得知识、或理解、或技能”和“通过经验改变行为倾向”。动物学家和心理学家研究动物和人类的学习。在这本书中,我们关注的是机器学习。动物和机器学习之间有一些相似之处。当然,机器学习的许多技术都来自心理学家的努力,他们通过计算模型使动物和人类学习的理论更加精确。机器学习研究人员正在探索的概念和技术似乎也可能阐明生物学习的某些方面。

成为VIP会员查看完整内容
0
48

统计学是关于可观测现象的数学建模,使用随机模型,以及分析数据:估计模型的参数和检验假设。在这些注释中,我们研究了各种评估和测试程序。我们考虑它们的理论性质,并研究各种最优化的概念。

成为VIP会员查看完整内容
0
48

本书致力于概率信息测度理论及其在信息源和噪声信道编码定理中的应用。最终的目标是全面发展香农的通信数学理论,但大部分篇幅都用于证明香农编码定理所需的工具和方法。这些工具形成了遍历理论和信息论的共同领域,并包含了随机变量、随机过程和动力系统中的信息的几个定量概念。例如熵、互信息、条件熵、条件信息和相对熵(鉴别、Kullback-Leibler信息),以及这些量的极限标准化版本,如熵率和信息率。在考虑多个随机对象时,除了考虑信息之外,我们还会考虑随机对象之间的距离或变形,即一个随机对象被另一个随机对象表示的准确性。书的大部分与这些量的性质有关,特别是平均信息和扭曲的长期渐近行为,其中两个样本平均数和概率平均数是有兴趣的。

成为VIP会员查看完整内容
0
62

这本书的书名听起来有点神秘。如果这本书以一种错误的方式呈现了这个主题,人们为什么要读它呢?书中哪些地方做得特别“不对”?

在回答这些问题之前,让我先描述一下本文的目标受众。这本书是“荣誉线性代数”课程的课堂讲稿。这应该是高等数学学生的第一门线性代数课程。它的目标是一个学生,虽然还不是非常熟悉抽象推理,但愿意学习更严格的数学,在“烹饪书风格”的微积分类型课程。除了作为线性代数的第一门课程,它也应该是第一门向学生介绍严格证明、形式定义——简而言之,现代理论(抽象)数学风格的课程。

目标读者解释了基本概念和具体实例的非常具体的混合,它们通常出现在介绍性的线性代数文本中,具有更抽象的定义和高级书籍的典型构造。

https://www.math.brown.edu/streil/papers/LADW/LADW_2017-09-04.pdf

成为VIP会员查看完整内容
0
62

这是我2004年,2006年和2009年在斯坦福大学教授的概率理论博士课程的讲义。本课程的目标是为斯坦福大学数学和统计学系的博士生做概率论研究做准备。更广泛地说,文本的目标是帮助读者掌握概率论的数学基础和在这一领域中证明定理最常用的技术。然后将此应用于随机过程的最基本类的严格研究。

为此,我们在第一章中介绍了测度与积分理论中的相关元素,即事件的概率空间与格-代数、作为可测函数的随机变量、它们的期望作为相应的勒贝格积分,以及独立性的重要概念。

利用这些元素,我们在第二章中研究了随机变量收敛的各种概念,并推导了大数的弱定律和强定律。

第三章讨论了弱收敛的理论、分布函数和特征函数的相关概念以及中心极限定理和泊松近似的两个重要特例。

基于第一章的框架,我们在第四章讨论了条件期望的定义、存在性和性质,以及相关的规则条件概率分布。

第五章讨论了过滤、信息在时间上的级数的数学概念以及相应的停止时间。关于后者的结果是作为一组称为鞅的随机过程研究的副产品得到的。讨论了鞅表示、极大不等式、收敛定理及其各种应用。为了更清晰和更容易的表述,我们在这里集中讨论离散时间的设置来推迟与第九章相对应的连续时间。

第六章简要介绍了马尔可夫链的理论,概率论的核心是一个庞大的主题,许多教科书都致力于此。我们通过研究一些有趣的特殊情况来说明这类过程的一些有趣的数学性质。

在第七章中,我们简要介绍遍历理论,将注意力限制在离散时间随机过程的应用上。我们定义了平稳过程和遍历过程的概念,推导了Birkhoff和Kingman的经典定理,并强调了该理论的许多有用应用中的少数几个。

第八章建立了以连续时间参数为指标的右连续随机过程的研究框架,引入了高斯过程族,并严格构造了布朗运动为连续样本路径和零均值平稳独立增量的高斯过程。

第九章将我们先前对鞅和强马尔可夫过程的处理扩展到连续时间的设定,强调了右连续滤波的作用。然后在布朗运动和马尔可夫跳跃过程的背景下说明了这类过程的数学结构。

在此基础上,在第十章中,我们利用不变性原理重新构造了布朗运动作为某些重新标定的随机游动的极限。进一步研究了其样本路径的丰富性质以及布朗运动在clt和迭代对数定律(简称lil)中的许多应用。

https://statweb.stanford.edu/~adembo/stat-310b/lnotes.pdf

成为VIP会员查看完整内容
0
76

本书围绕虚拟化、并发和持久性这三个主要概念展开,介绍了所有现代系统的主要组件(包括调度、虚拟内存管理、磁盘和I/O子系统、文件系统)。全书共50章,分为3个部分,分别讲述虚拟化、并发和持久性的相关内容。作者以对话形式引入所介绍的主题概念,行文诙谐幽默却又鞭辟入里,力求帮助读者理解操作系统中虚拟化、并发和持久性的原理。本书内容全面,并给出了真实可运行的代码(而非伪代码),还提供了相应的练习,很适合高等院校相关专业的教师开展教学和高校学生进行自学。​

本书具有以下特色:

  • 主题突出,紧紧围绕操作系统的三大主题元素——虚拟化、并发和持久性。
  • 以对话的方式引入背景,提出问题,进而阐释原理,启发动手实践。
  • 包含众多“补充”和“提示”,拓展读者知识面,增加趣味性。
  • 使用真实代码而不是伪代码,让读者更加深入透彻地了解操作系统。
  • 提供作业、模拟和项目等众多学习方式,鼓励读者动手实践。
  • 为教师提供教学辅助资源。

成为VIP会员查看完整内容
0
92

这本书向读者介绍点估计、置信区间和统计检验。基于线性模型的一般理论,本文对以下内容进行了深入的概述:固定效应、随机效应和混合效应模型的方差分析;在扩展到非线性模型之前,回归分析也首先出现在具有固定、随机和混合效应的线性模型中;统计多决策问题,如统计选择程序(Bechhofer和Gupta)和顺序测试;从数理统计的角度设计实验。大多数分析方法都补充了最小样本量的公式。这些章节还包含了解答的提示练习。

成为VIP会员查看完整内容
1
55

这本书的第五版继续讲述如何运用概率论来深入了解真实日常的统计问题。这本书是为工程、计算机科学、数学、统计和自然科学的学生编写的统计学、概率论和统计的入门课程。因此,它假定有基本的微积分知识。

第一章介绍了统计学的简要介绍,介绍了它的两个分支:描述统计学和推理统计学,以及这门学科的简短历史和一些人,他们的早期工作为今天的工作提供了基础。

第二章将讨论描述性统计的主题。本章展示了描述数据集的图表和表格,以及用于总结数据集某些关键属性的数量。

为了能够从数据中得出结论,有必要了解数据的来源。例如,人们常常假定这些数据是来自某个总体的“随机样本”。为了确切地理解这意味着什么,以及它的结果对于将样本数据的性质与整个总体的性质联系起来有什么意义,有必要对概率有一些了解,这就是第三章的主题。本章介绍了概率实验的思想,解释了事件概率的概念,并给出了概率的公理。

我们在第四章继续研究概率,它处理随机变量和期望的重要概念,在第五章,考虑一些在应用中经常发生的特殊类型的随机变量。给出了二项式、泊松、超几何、正规、均匀、伽玛、卡方、t和F等随机变量。

成为VIP会员查看完整内容
2
141

高斯过程(GPs)为核机器的学习提供了一种有原则的、实用的、概率的方法。在过去的十年中,GPs在机器学习社区中得到了越来越多的关注,这本书提供了GPs在机器学习中理论和实践方面长期需要的系统和统一的处理。该书是全面和独立的,针对研究人员和学生在机器学习和应用统计学。

这本书处理监督学习问题的回归和分类,并包括详细的算法。提出了各种协方差(核)函数,并讨论了它们的性质。从贝叶斯和经典的角度讨论了模型选择。讨论了许多与其他著名技术的联系,包括支持向量机、神经网络、正则化网络、相关向量机等。讨论了包括学习曲线和PAC-Bayesian框架在内的理论问题,并讨论了几种用于大数据集学习的近似方法。这本书包含说明性的例子和练习,和代码和数据集在网上是可得到的。附录提供了数学背景和高斯马尔可夫过程的讨论。

成为VIP会员查看完整内容
0
119
小贴士
相关主题
相关VIP内容
专知会员服务
48+阅读 · 5月4日
专知会员服务
48+阅读 · 3月31日
专知会员服务
48+阅读 · 3月25日
专知会员服务
62+阅读 · 3月23日
专知会员服务
62+阅读 · 2月28日
专知会员服务
76+阅读 · 2020年12月3日
专知会员服务
92+阅读 · 2020年10月28日
专知会员服务
55+阅读 · 2020年8月9日
专知会员服务
141+阅读 · 2020年7月28日
专知会员服务
119+阅读 · 2020年5月2日
相关资讯
最新《图理论》笔记书,98页pdf
专知
22+阅读 · 2020年12月27日
周志华的《机器学习》西瓜书出全新视频课啦!
数据分析
13+阅读 · 2019年6月10日
【资源】这本开放书籍帮你扫清通往ML的数学绊脚石
机器学习算法与Python学习
45+阅读 · 2018年10月28日
两套经典的用户画像
产品100干货速递
21+阅读 · 2018年6月19日
如何做文献综述:克雷斯威尔五步文献综述法
清华大学研究生教育
14+阅读 · 2017年7月10日
相关论文
Mathieu Gerber,Randal Douc
0+阅读 · 5月14日
Ana-Cristina Rogoz,Mihaela Gaman,Radu Tudor Ionescu
0+阅读 · 5月14日
Chen Feng,Hui-Ming Wang,H. Vincent Poor
0+阅读 · 5月13日
Maddah-Ali-Niesen Scheme for Multi-access Coded Caching
Pooja Nayak Muralidhar,Digvijay Katyal,B. Sundar Rajan
0+阅读 · 5月13日
Binxin Ru,Pedro Esperanca,Fabio Carlucci
6+阅读 · 2020年10月8日
Stephen McAleer,John Lanier,Roy Fox,Pierre Baldi
3+阅读 · 2020年6月15日
Towards Understanding Regularization in Batch Normalization
Ping Luo,Xinjiang Wang,Wenqi Shao,Zhanglin Peng
4+阅读 · 2018年9月27日
Implicit Maximum Likelihood Estimation
Ke Li,Jitendra Malik
6+阅读 · 2018年9月24日
Brendan O'Donoghue
3+阅读 · 2018年7月25日
Xuefei Ning,Yin Zheng,Zhuxi Jiang,Yu Wang,Huazhong Yang,Junzhou Huang
3+阅读 · 2018年6月18日
Top