【斯坦福】分布式算法与优化，118页pdf

第一节课的重点是分析今天能够进行并行计算的典型个人计算机中的算法行为，第二节课的重点是今天能够进行分布式计算的典型公共云中的此类个人计算机集群中的算法行为。我们将从第1节中简要介绍的基本原理开始，并努力理解过去几十年来算法的重大突破。并行计算是指在一台机器上使用多个处理器和共享内存进行计算。并行计算和分布式计算虽然密切相关，但它们都提出了独特的挑战——主要是并行计算情况下的共享内存管理和分布式计算情况下的网络通信开销最小化。理解并行计算的模型和挑战是理解分布式计算的基础。课程内容反映了这一点，首先在并行环境中涵盖各种经典的、数值的和图形的算法，然后在分布式环境中涵盖相同的主题。目的是强调每个设置带来的独特挑战。

https://github.com/lamastex/scalable-data-science/blob/master/read/daosu.pdf