贝叶斯推断:理论、方法、计算提供了对贝叶斯推断基础知识的全面覆盖,从理论、方法和计算等重要角度进行详细探讨。所有理论结果都以正式的定理、推论、引理等形式呈现,并附有详细的证明。这些理论思想以简单易懂的形式进行解释,辅以多个例子。书中对贝叶斯方法的有效性、实用性和实际应用提供了清晰的推理分析。书中包含大量的例子和练习,并提供所有练习的解决方案,以帮助学生通过充分的实践理解这些概念。本书主要针对第一或第二学期的硕士生,其中部分内容也适用于博士生或广大的研究社区。本书强调精确的案例分析。然而,为了进一步深入理解核心概念,书中专门有一章致力于计算密集型技术。书中的选定章节和部分内容可以用于一个学期的贝叶斯统计课程。主要特点:- 以易懂的形式解释贝叶斯统计推断的基本思想- 通过图解和绘图来说明主要思想- 包含大量的例子和练习- 提供所有练习的解决方案- 包含R代码西尔维林·茨万齐格是乌普萨拉大学数学统计学教授。她在柏林洪堡大学学习数学。在来瑞典之前,她曾是德国汉堡大学的助理教授,并在德意志民主共和国科学院获得数学博士学位。自1991年以来,她一直教授本科生和研究生统计学。她的研究兴趣包括理论统计和计算密集型方法。拉乌夫·艾哈迈德是乌普萨拉大学统计学系的副教授。他在德国哥廷根大学获得博士学位。在加入乌普萨拉大学之前,他曾在林雪平大学数学系数学统计学部和乌普萨拉瑞典农业科学大学生物计量学部工作。自1995年以来,他一直教授本科生和研究生统计学。他的研究兴趣包括高维推断、数学统计和U统计量。

成为VIP会员查看完整内容
65

体验GPT 3.5、GPT 4、LangChain、Llama 2、Falcon LLM等,构建基于LLM的复杂AI应用主要特点- 将LLM嵌入到实际应用中- 使用LangChain在应用中编排LLM及其组件- 掌握提示工程的基础和高级技术

书籍描述《Building LLM Apps》探讨了LLM提供的基本概念、前沿技术和实际应用,最终为扩展AI能力的大型基础模型(LFMs)的出现铺平了道路。本书从深入介绍LLM开始。接下来,我们探索了各种主流架构框架,包括专有模型(GPT 3.5/4)和开源模型(Falcon LLM),并分析了它们的独特优势和差异。然后,重点介绍基于Python的轻量级框架LangChain。我们引导读者通过创建智能代理的过程,这些智能代理能够使用LLM和强大的工具包从非结构化数据中检索信息并与结构化数据进行交互。此外,本书还探讨了LFMs的领域,这些模型超越了语言建模,涵盖了各种AI任务和模态,如视觉和音频。无论您是经验丰富的AI专家还是该领域的新手,本书都是解锁LLM全部潜力并开创智能机器新时代的路线图。

您将学到什么- LLM架构的核心组件,包括编码器-解码器块、嵌入等- 熟悉GPT-3.5/4、Llama 2和Falcon LLM等LLM的独特功能- 使用LangChain和Streamlit作为前端的AI编排器- 熟悉LLM组件,如记忆、提示和工具- 学习非参数知识、嵌入和向量数据库- 了解LFMs对AI研究和行业应用的影响- 通过微调定制您的LLM- 了解LLM驱动应用的伦理影响

本书适合谁本书适合希望获得将LLM应用于构建应用的实用指导的软件工程师和数据科学家。对应用LLM主题感兴趣的技术领导者、学生和研究人员也会对本书感兴趣。我们不假设读者具备LLM的先前经验,但读者应具有核心的机器学习/软件工程基础,以理解和应用内容。

成为VIP会员查看完整内容
55

目标。在这本书中,这是两本书中的第二卷,我们研究了复杂网络中随机图模型的局部极限、连接组件和小世界属性。第一卷描述了自1999年以来作为现实世界网络模型的随机图的初步研究。这些网络在元素连接数量等方面与经典随机图模型有很大的不同。结果,发明了许多新的模型来捕捉这些属性。第一卷研究了这些模型及其度结构。第二卷总结了这一激动人心时期关于所提出的随机图模型的局部结构、连通性和小世界结构的发展见解。第一卷旨在用于硕士课程,学生对概率论的特殊主题只有有限的先验知识,而第二卷描述了过去二十年来研究社区关注的更复杂的概念。第二卷旨在用于博士课程、阅读研讨会,或希望获得该科学领域结果和方法的全面概述的研究人员。第一卷包括许多基础知识,例如随机变量的收敛性、概率界限、耦合、鞅和分支过程,我们经常依赖这些结果。这一系列的第一卷和第二卷旨在自成体系。在第二卷中,我们简要重复了第一卷中讨论的随机图的某些基础知识,包括关键模型及其度分布的介绍。在第二卷中,我们力求提供详细而完整的证明。在我们不提供证明的地方,我们提供启发式方法以及大量的文献参考。我们还讨论了几种更新的随机图模型,旨在更现实地模拟现实世界的网络,因为它们包含了网络的有向性质、社区结构和/或空间嵌入。发展。随机图领域由Erdos和Rényi在1959-1960年开创于概率方法的背景下。Erdos和Rényi的初步工作引发了该领域的大量后续研究,最初主要在组合数学社区内进行。有关该主题的标准参考文献见Bollobás(2001)和Janson、Łuczak、Rucinski(2000)。Erdos和Rényi(1960)提供了Erdos-Rényi随机图中发生的各种相变的相当完整的图景。这一初步工作并没有旨在现实地模拟现实世界的网络。在1999年之后,由于大量现实世界网络数据集变得丰富可用,其结构在数学及各种应用领域中引起了极大的关注。这一点可以从该领域最早的文章之一——Barabási和Albert(1999)——获得超过40,000次引用中得到体现。从这一压倒性研究工作得出的主要结论之一是,许多现实世界的网络共享两个基本特性。首先,它们高度不均匀,不同的顶点在网络中扮演的角色非常不同。这一特性通过现实世界网络的度结构服从幂律来体现:这些网络是无标度的。这一现实世界网络的无标度性质促使社区提出了许多新颖的随机图模型,这些模型与Erdos-Rényi随机图不同,具有幂律度序列。这是第一卷的主要焦点。内容。在本书中,我们继续第一卷中的轨迹,现在我们关注顶点之间的连接结构。连通性可以总结为现实世界网络的两个关键方面:它们高度连通,通常具有一个包含大部分顶点(如果不是全部的话)的巨型组件;它们是小世界的,大多数顶点对通过短路径分隔。我们讨论了这些证明的可用方法,包括路径计数技术、分支过程近似、可交换随机变量和de Finetti定理。我们特别关注一种称为局部收敛的最近技术,它精确地说明了随机图“局部看起来像树”的说法。这本书由四部分组成。第一部分包括第1章和第2章,我们在第1章中重复了一些第一卷的定义,包括本书研究的随机图模型,即不均匀随机图、配置模型和优先附着模型。我们还讨论了随机图理论中的一些重要主题,例如幂律分布及其性质。在第2章中,我们继续讨论局部收敛,这是一种在随机图理论和本书中起关键作用的极其强大的技术。第二部分包括第3-5章,我们讨论了随机图模型中的局部极限和大型连通组件。在第3章中,我们进一步扩展了广义随机图的定义,以包括一般不均匀随机图。在第4章中,我们讨论了配置模型中的局部极限和大型连通组件,在第5章中,我们讨论了优先附着模型中的局部结构和连通性。第三部分包括第6-8章,我们研究了随机图的小世界性质,从不均匀随机图开始,继续讨论配置模型,最后讨论优先附着模型。第四部分包括第9章,我们研究了相关的随机图模型及其结构。在此过程中,我们给出了许多练习,应该有助于读者通过解决问题来更深入地理解材料。这些练习出现在每章的最后一节,在适用的情况下,我们在正文中适当位置引用它们。我们还在每章的倒数第二节提供了广泛的注释,讨论了与文献的联系和一些扩展。

成为VIP会员查看完整内容
50

大型语言模型(LLM)和扩散模型(如ChatGPT和Stable Diffusion)具有前所未有的潜力。由于它们在互联网上的所有公开文本和图像上进行了训练,它们可以为各种任务做出有用的贡献。今天,进入门槛大大降低,几乎任何开发人员都可以利用LLM和扩散模型来解决以前不适合自动化的问题。 通过这本书,您将获得生成式AI的坚实基础,包括如何在实践中应用这些模型。当首次将LLM和扩散模型整合到他们的工作流程中时,大多数开发人员会发现很难从它们中获得足够可靠的结果以用于自动化系统。作者James Phoenix和Mike Taylor向您展示了一套名为提示工程的原则,这些原则可以帮助您有效地与AI合作。 学习如何让AI为您服务。这本书解释了:

  • 您的程序AI模型的交互链结构以及其中的细化步骤
  • AI模型请求如何通过将应用问题转化为模型训练领域中的文档完成问题而产生
  • LLM和扩散模型架构的影响——以及如何最好地与之互动
  • 这些原则如何在自然语言处理、文本和图像生成以及代码领域的实践中应用 评价: “这是我读过的关于提示工程的最好的书籍资源。Mike和James是这门艺术的高手。” ——Dan Shipper,Every联合创始人兼CEO “这本书是对提示工程和生成式AI基础知识的扎实介绍。作者以简单、实用、易于理解的方式,涵盖了从初学者到高级用户的一系列有用技术。如果您希望提高AI系统的准确性和可靠性,这本书应该在您的书架上。” ——Mayo Oshin,Siennai Analytics创始人兼CEO,早期LangChain贡献者 “Phoenix和Taylor的指南是生成式AI广阔海洋中的灯塔。这本书成为我们在Phiture AI Labs团队的基石,因为我们学习如何利用LLM和扩散模型创建与客户应用和游戏本质相符的营销资产。通过提示工程,我们能够大规模生成定制的、符合品牌的内容。这不仅仅是理论;这是一个实际的实践课,教你如何将AI的潜力转化为定制解决方案,对于希望提升AI整合到新高度的开发人员来说,这是必读书。” ——Moritz Daan,Phiture Mobile Growth Consultancy创始人兼合伙人 “提示工程对于生成式AI可能是未来最具前瞻性的方法。这无疑是任何从事AI实际应用的人最好的资源。书中丰富且精炼的原则将帮助新老AI工程师在未来保持领先地位。” ——Ellis Crosby,Incremento CTO兼联合创始人 “这是针对代理和服务专业人员的必备指南。通过自动化管理将AI与服务和客户交付相结合,加快解决方案速度,将设立新的行业标准。您将在书中找到有用、实用的信息和战术,使您能够全面了解和利用AI。” ——Byron Tassoni-Resch,WeDiscover CEO兼联合创始人 来自作者: 自2020年GPT-3测试版以来,我们一直在进行提示工程,而当GPT-4到来时,我们发现许多以前使用的技巧和技巧不再必要。这促使我们定义了一套面向未来的原则,这些原则可以跨模型和模态传递,即使在未来使用GPT-5或其他模型时也依然有用。 提示的五大原则是:
  1. 给出方向:详细描述所需的风格,或参考相关角色。
  2. 指定格式:定义要遵循的规则和响应的结构。
  3. 提供示例:插入一组多样的测试案例,其中任务已正确完成。
  4. 评估质量:识别错误并对响应进行评级,测试什么驱动性能。
  5. 分工合作:将任务分解为多个步骤,链式完成复杂目标。 我们于2022年7月首次以博客文章形式发布了这些原则,它们经受住了时间的考验,包括与OpenAI自己的一年后发布的提示工程指南有相当大的对应。任何与生成式AI密切合作的人可能都会趋向于采用类似的策略来解决常见问题,但这本书旨在让您更快地达到目的。 在整本书中,您会看到数百个提示技巧的示例,包括文本和图像提示,以及使用Python构建AI自动化脚本和产品。这不仅仅是一份提示技巧清单,而是一本关于构建系统的实用指南,这些系统为AI应用程序提供了正确的上下文,并教您如何测试和扩展生产中的AI系统。 如果以下情况,这本书将对您有用:
  • 您的时间价值超过每小时40美元,读这本书可以节省您从多个来源拼凑信息的几小时。
  • 您不仅是随便使用AI,而是在构建一个AI应用程序或内部模板,许多人每天会使用数百或数千次。
  • 您希望减少幻觉并提高AI的可靠性,同时学习数百个解决AI常见问题的真实示例。
  • 您想比较OpenAI与其他模型的优缺点,以及常见框架如LangChain、不同的向量数据库选项和AUTOMATIC1111
  • 您希望看到从一个简单提示到一个完整AI代理的端到端AI应用程序的构建过程,包括使用Gradio构建基本用户界面
成为VIP会员查看完整内容
46

这本书探讨了遥感技术的世界,提供了对其原理、数据获取方法、先进处理技术及多样应用的全面见解。书中涵盖了遥感的基础知识,如基础原理和数据获取技术、图像预处理(如噪声去除、辐射校正和图像融合),以及高级分类技术,如包括神经网络和支持向量机在内的机器学习算法。最后,书中讨论了灾害管理和农业领域,展示了遥感方法如何在灾害响应和农业监测等领域进行变革。涉及环境科学、地理学、城市规划和灾害管理的专业人士、研究人员和学生都将从这些主题中受益。

特点:

  • 探讨了前沿的高级分类技术,如包括神经网络和支持向量机在内的机器学习算法
  • 涵盖了理论原理以及实际的数据获取技术、图像预处理、噪声去除、辐射校正和图像融合
  • 展示了遥感方法如何在灾害响应和农业监测等领域进行变革
  • 包括可下载的伴随文件,内含书中全彩图像

关于作者: P. K. Garg 拥有布里斯托大学遥感博士学位,是土木工程教授,专攻测绘工程。他是亚太空间科学与技术教育中心(CSSTEAP)咨询委员会成员。

成为VIP会员查看完整内容
20

机器之心报道机器之心编辑部

自 ChatGPT 发布以来,大型语言模型(LLM)已经成为推动人工智能发展的关键技术。

近期,机器学习和 AI 研究员、畅销书《Python 机器学习》作者 Sebastian Raschka 又写了一本新书 ——《Build a Large Language Model (From Scratch)》,旨在讲解从头开始构建大型语言模型的整个过程,包括如何创建、训练和调整大型语言模型。

最近,Sebastian Raschka 在 GitHub 上开源了这本新书对应的代码库。

项目地址:https://github.com/rasbt/LLMs-from-scratch/tree/main?tab=readme-ov-file

对 LLM 来说,指令微调能够有效提升模型性能,因此各种指令微调方法陆续被提出。Sebastian Raschka 发推重点介绍了项目中关于指令微调的部分,其中讲解了:

如何将数据格式化为 1100 指令 - 响应对; * 如何应用 prompt-style 模板; * 如何使用掩码。

《Build a Large Language Model (From Scratch)》用清晰的文字、图表和示例解释每个阶段,从最初的设计和创建,到采用通用语料库进行预训练,一直到针对特定任务进行微调。

具体来说,新书和项目讲解了如何:

规划和编码 LLM 的所有部分; * 准备适合 LLM 训练的数据集; * 使用自己的数据微调 LLM; * 应用指令调整方法来确保 LLM 遵循指令; * 将预训练权重加载到 LLM 中。

作者介绍

个人主页:https://sebastianraschka.com/

Sebastian Raschka 是一名机器学习和人工智能研究员,曾在威斯康星大学麦迪逊分校担任统计学助理教授,专门研究深度学习和机器学习。他让关于 AI 和深度学习相关的内容更加容易获得,并教人们如何大规模利用这些技术。

此外,Sebastian 热衷于开源软件,十多年来一直是一个充满热情的开源贡献者。他提出的方法现已成功应用于 Kaggle 等机器学习竞赛。

除了编写代码,Sebastian 还喜欢写作,并撰写了畅销书《Python Machine Learning》(《Python 机器学习》)和《Machine Learning with PyTorch and ScikitLearn》。

参考链接:https://twitter.com/rasbt/status/1802327699937009807

成为VIP会员查看完整内容
13
登陆后查看更多精品内容
VIP会员
本周荟萃主题
区块链
区块链(Blockchain)是由节点参与的分布式数据库系统,它的特点是不可更改,不可伪造,也可以将其理解为账簿系统(ledger)。它是比特币的一个重要概念,完整比特币区块链的副本,记录了其代币(token)的每一笔交易。通过这些信息,我们可以找到每一个地址,在历史上任何一点所拥有的价值。
深度学习
机器学习的一个分支,它基于试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的一系列算法。
机器学习
“机器学习是近20多年兴起的一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习理论主要是设计和分析一些让 可以自动“ 学习”的算法。机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论,机器学习与统计推断学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。很多 推论问题属于 无程序可循难度,所以部分的机器学习研究是开发容易处理的近似算法。”

——中文维基百科
强化学习
强化学习(RL)是机器学习的一个领域,与软件代理应如何在环境中采取行动以最大化累积奖励的概念有关。除了监督学习和非监督学习外,强化学习是三种基本的机器学习范式之一。 强化学习与监督学习的不同之处在于,不需要呈现带标签的输入/输出对,也不需要显式纠正次优动作。相反,重点是在探索(未知领域)和利用(当前知识)之间找到平衡。 该环境通常以马尔可夫决策过程(MDP)的形式陈述,因为针对这种情况的许多强化学习算法都使用动态编程技术。经典动态规划方法和强化学习算法之间的主要区别在于,后者不假设MDP的确切数学模型,并且针对无法采用精确方法的大型MDP。
推荐系统
推荐系统,是指根据用户的习惯、偏好或兴趣,从不断到来的大规模信息中识别满足用户兴趣的信息的过程。推荐推荐任务中的信息往往称为物品(Item)。根据具体应用背景的不同,这些物品可以是新闻、电影、音乐、广告、商品等各种对象。推荐系统利用电子商务网站向客户提供商品信息和建议,帮助用户决定应该购买什么产品,模拟销售人员帮助客户完成购买过程。个性化推荐是根据用户的兴趣特点和购买行为,向用户推荐用户感兴趣的信息和商品。随着电子商务规模的不断扩大,商品个数和种类快速增长,顾客需要花费大量的时间才能找到自己想买的商品。这种浏览大量无关的信息和产品过程无疑会使淹没在信息过载问题中的消费者不断流失。为了解决这些问题,个性化推荐系统应运而生。个性化推荐系统是建立在海量数据挖掘基础上的一种高级商务智能平台,以帮助电子商务网站为其顾客购物提供完全个性化的决策支持和信息服务。
卷积神经网络
在深度学习中,卷积神经网络(CNN或ConvNet)是一类深度神经网络,最常用于分析视觉图像。基于它们的共享权重架构和平移不变性特征,它们也被称为位移不变或空间不变的人工神经网络(SIANN)。它们在图像和视频识别,推荐系统,图像分类,医学图像分析,自然语言处理,和财务时间序列中都有应用。
计算机网络
计算机网络( Computer Networks )指将地理位置不同的多台计算机及其外部设备,通过通信线路连接起来,在网络操作系统及网络通信协议的管理和协调下,实现资源共享和信息传递的计算机系统。
命名实体识别
命名实体识别(NER)(也称为实体标识,实体组块和实体提取)是信息抽取的子任务,旨在将非结构化文本中提到的命名实体定位和分类为预定义类别,例如人员姓名、地名、机构名、专有名词等。
机器翻译
机器翻译,又称为自动翻译,是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。它是计算语言学的一个分支,是人工智能的终极目标之一,具有重要的科学研究价值。
计算机视觉
计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。
微信扫码咨询专知VIP会员