相关内容

斯坦福大学(StanfordUniversity)位于加利福尼亚州,临近旧金山,占地35平方公里,是美国面积第二大的大学。它被公认为世界上最杰出的大学之一,相比美国东部的常春藤盟校,特别是哈佛大学、耶鲁大学,斯坦福大学虽然历史较短,但无论是学术水准还是其他方面都能与常春藤名校相抗衡。斯坦福大学企业管理研究所和法学院在美国是数一数二的,美国最高法院的9个大法官,有6个是从斯坦福大学的法学院毕业的。

课程内容:

  • 数学基础:矩阵、向量、Lp范数、范数的几何、对称性、正确定性、特征分解。无约束最优化,graident下降法,凸函数,拉格朗日乘子,线性最小二乘法。概率空间,随机变量,联合分布,多维高斯。

  • 线性分类器:线性判别分析,分离超平面,多类分类,贝叶斯决策规则,贝叶斯决策规则几何,线性回归,逻辑回归,感知机算法,支持向量机,非线性变换。

  • 鲁棒性:对抗性攻击、定向攻击和非定向攻击、最小距离攻击、最大允许攻击、基于规则的攻击。通过纳微扰。支持向量机的鲁棒性。

  • 学习理论:偏差和方差,训练和测试,泛化,PAC框架,Hoeffding不等式,VC维。

参考书籍:

  • Pattern Classification, by Duda, Hart and Stork, Wiley-Interscience; 2 edition, 2000.
  • Learning from Data, by Abu-Mostafa, Magdon-Ismail and Lin, AMLBook, 2012.
  • Elements of Statistical Learning, by Hastie, Tibshirani and Friedman, Springer, 2 edition, 2009.
  • Pattern Recognition and Machine Learning, by Bishop, Springer, 2006.

讲者: Stanley Chan 教授 https://engineering.purdue.edu/ChanGroup/stanleychan.html

课程目标: 您将能够应用基本的线性代数、概率和优化工具来解决机器学习问题

•你将了解一般监督学习方法的原理,并能评论它们的优缺点。 •你会知道处理数据不确定性的方法。 •您将能够使用学习理论的概念运行基本的诊断。 •您将获得机器学习算法编程的实际经验。

成为VIP会员查看完整内容
0
124

【导读】UC.Berkeley CS189 《Introduction to Machine Learning》是面向初学者的机器学习课程在本指南中,我们创建了一个全面的课程指南,以便与学生和公众分享我们的知识,并希望吸引其他大学的学生对伯克利的机器学习课程感兴趣。

讲义目录:

  • Note 1: Introduction

  • Note 2: Linear Regression

  • Note 3: Features, Hyperparameters, Validation

  • Note 4: MLE and MAP for Regression (Part I)

  • Note 5: Bias-Variance Tradeoff

  • Note 6: Multivariate Gaussians

  • Note 7: MLE and MAP for Regression (Part II)

  • Note 8: Kernels, Kernel Ridge Regression

  • Note 9: Total Least Squares

  • Note 10: Principal Component Analysis (PCA)

  • Note 11: Canonical Correlation Analysis (CCA)

  • Note 12: Nonlinear Least Squares, Optimization

  • Note 13: Gradient Descent Extensions

  • Note 14: Neural Networks

  • Note 15: Training Neural Networks

  • Note 16: Discriminative vs. Generative Classification, LS-SVM

  • Note 17: Logistic Regression

  • Note 18: Gaussian Discriminant Analysis

  • Note 19: Expectation-Maximization (EM) Algorithm, k-means Clustering

  • Note 20: Support Vector Machines (SVM)

  • Note 21: Generalization and Stability

  • Note 22: Duality

  • Note 23: Nearest Neighbor Classification

  • Note 24: Sparsity

  • Note 25: Decision Trees and Random Forests

  • Note 26: Boosting

  • Note 27: Convolutional Neural Networks (CNN)

讨论目录:

  • Discussion 0: Vector Calculus, Linear Algebra (solution)

  • Discussion 1: Optimization, Least Squares, and Convexity (solution)

  • Discussion 2: Ridge Regression and Multivariate Gaussians (solution)

  • Discussion 3: Multivariate Gaussians and Kernels (solution)

  • Discussion 4: Principal Component Analysis (solution)

  • Discussion 5: Least Squares and Kernels (solution)

  • Discussion 6: Optimization and Reviewing Linear Methods (solution)

  • Discussion 7: Backpropagation and Computation Graphs (solution)

  • Discussion 8: QDA and Logistic Regression (solution)

  • Discussion 9: EM (solution)

  • Discussion 10: SVMs and KNN (solution)

  • Discussion 11: Decision Trees (solution)

  • Discussion 12: LASSO, Sparsity, Feature Selection, Auto-ML (solution)

讲义下载链接:https://pan.baidu.com/s/19Zmws53BUzjSvaDMEiUhqQ 密码:u2xs

成为VIP会员查看完整内容
0
97

目录:

  • 数据处理
    • 数据扩充
    • 批量归一化
  • 训练神经网络
    • Epoch
    • 最小批量
    • 交叉熵损失
    • 反向传播
    • 梯度下降
    • 更新权重
    • 梯度检查
  • 参数调整
    • Xavier初始化
    • 转移学习
    • 学习率
    • 自适应学习率
  • 正则化
    • Dropout
    • 权重调整
    • 提前停止
  • 良好训练
    • 过度拟合小批量
    • 梯度检查
成为VIP会员查看完整内容
0
19

目录: -导引

  • 样本空间
  • 事件
  • 置换
  • 条件概率
    • 贝叶斯规则
    • 独立性
  • 随机变量
    • 定义
    • 期望
    • 方差
  • 概率分布
    • 切比雪夫不等式
    • 主要的分布
  • 联合分布随机变量
    • 密度函数
    • 协方差
    • 相关性
  • 参数估计
    • 均值
    • 方差
成为VIP会员查看完整内容
0
32

题目

深度学习技巧速查清单《CS 230 - Deep Learning Tips and Tricks Cheatsheet》by Afshine Amidi, Shervine Amidi

关键词

深度学习,技能教授,知识速查

内容

  • 数据准备
  • 训练神经网络
  • 调参数
  • 正则化
  • 实验

论文作者

Afshine Amidi,来自Operations Research Center系的硕士学位,由Dimitris Bertsimas教授监督完成。曾与亚马逊和麦肯锡公司合作完成项目。

成为VIP会员查看完整内容
0
22

本文是由Terence Parr 和Jeremy Howard撰写的《深度学习的矩阵运算》论文。我们知道,深度学习是基于线性代数和微积分的,反向传播也离不开求导和矩阵运算,因此了解深度学习内部的数学原理也至关重要。

1.介绍

2.向量演算和偏导简介

3.矩阵演算

  • 雅可比定律

  • 多元微分

  • 向量

  • 链式法则

4.损失函数求导

5.矩阵演算参考

6.符号

7.资源链接

本文从简单函数求导到多元函数求偏导,再到矩阵的微积分运算,逐层深入,引导我们探索深度学习背后的学习规则与数学基础。本文试图解释理解深度神经网络的训练所需要的所有矩阵演算,本文适用于对神经网络基础有所了解的人,不过即使没有数学基础的同学也不要紧,作者提供了相关数学知识链接。在文末作者提供的参考部分,总结了这里讨论的所有关键矩阵演算规则和术语。

成为VIP会员查看完整内容
0
119
小贴士
相关VIP内容
专知会员服务
97+阅读 · 2020年1月16日
相关资讯
MIT线性代数(Linear Algebra)中文笔记
专知
31+阅读 · 2019年11月4日
那些值得推荐和收藏的线性代数学习资源
博客 | MIT—线性代数(下)
AI研习社
5+阅读 · 2018年12月20日
资源 | 源自斯坦福CS229,机器学习备忘录在集结
机器之心
17+阅读 · 2018年8月22日
机器学习线性代数速查
机器学习研究会
9+阅读 · 2018年2月25日
图解高等数学|线性代数
遇见数学
15+阅读 · 2017年10月18日
相关论文
Bernhard Schölkopf
9+阅读 · 2019年11月24日
Angular-Based Word Meta-Embedding Learning
James O' Neill,Danushka Bollegala
3+阅读 · 2018年8月13日
Konstantinos Skianis,Nikolaos Tziortziotis,Michalis Vazirgiannis
6+阅读 · 2018年7月12日
The Matrix Calculus You Need For Deep Learning
Terence Parr,Jeremy Howard
6+阅读 · 2018年7月2日
Myle Ott,Michael Auli,David Granger,Marc'Aurelio Ranzato
4+阅读 · 2018年2月28日
Yonatan Belinkov,Yonatan Bisk
3+阅读 · 2018年2月24日
Christian Buck,Jannis Bulian,Massimiliano Ciaramita,Wojciech Gajewski,Andrea Gesmundo,Neil Houlsby,Wei Wang
6+阅读 · 2018年1月23日
Tadas Baltrušaitis,Chaitanya Ahuja,Louis-Philippe Morency
116+阅读 · 2017年8月1日
Top