成为“首席AI架构师”的全流程方法论

会员服务 ·

成为“首席AI架构师”的全流程方法论

2020 年 12 月 4 日 量子位

允中发自凹非寺
量子位编辑 | 公众号 QbitAI

每一次技术革命，都是一次生产力与生产关系的大变革。AI时代呼啸而至，深度学习、强化学习、图神经网络显示出强大的技术张力，但为何在产业应用落地中又会遇到种种挑战，让不少产业从业者担忧——AI到底离我们有多远？

黄埔学院，“首席AI架构师”的摇篮，对于这一产业之问，自然也是学院讲师、学员必须回答的问题。

得其法者事半功倍,不得其法者事倍功半。

11月4日，百度黄埔学院第四期开启为期6周的线上预科班。就是通过AI思维、AI方法、AI技术、AI选择等环环相扣的课程，让大家“得法前行”，找到新技术推动产业升级的全流程方法论。

△ 黄埔学院第四期预科班课程表

跨上AI的战车，从技术逻辑和商业逻辑双面看

跨上AI战车的第一步，企业首先需要确认现阶段是否适合进行AI转型。如果对AI本身的逻辑缺乏深入的理解，究竟能不能使用、如何使用AI去落地就成了难题。结合飞桨实践落地过程中各行业AI应用案例，企业想成功应用AI系统，要遵循技术和商业逻辑两大原则。

△ 图1: AI应用可行的两大前提

AI作为决策系统的前提：信息采集和自动化实施要完备

从技术逻辑来看， AI应用作为一个决策系统不是单独存在的，它包含完整的上下游。上游是我们采集的数据信息，下游则是我们要执行实施的自动化。

因此，当企业发现所在的应用场景上下游都完备，只需 AI决策系统时，企业AI场景应用落地的步伐就可以加快。像如今互联网、金融领域AI应用最先落地，重要原因便是其产业链上下游完备。

AI要满足商业逻辑的前提：对关键业务的效率提升要大于付出的成本

目前，中国无人超市的技术已非常成熟，但依然没有在中国看到遍地的无人超市。是因为今天要实现无人超市的技术所花费的成本高于两个店员的人力成本。所以无人超市这个技术虽已经实现了效率上的大幅提升，但是因为效率提升程度不及花费的成本，所以目前还只能是实验田。

所以，快速跨上AI战车还需要考虑背后的商业逻辑。企业之所以运用AI技术满足我们今天的商业发展，是想提升企业自身的关键业务。同时“成本”作为企业转型考虑的重要因素之一，也成为选择AI应用的关键项。总结来看就是，选择AI技术提升效率不能只“帮扶”企业效率提升一小步，但却要“冒险”付出大成本。

——百度杰出架构师&飞桨产品负责人毕然《跨上AI的战车》

从学术研究到产业落地，“多法结合”推动整个系统准确率提升

要想习得真经，企业除了明白是否适合AI转型，还需要切实的了解如何运用AI实现应用。我们发现在产业落地这个过程中，通常会面临三大问题：

数据的规模和平衡性
模型的泛化能力及鲁棒性
场景领域的长尾、变化需求

△ 图2:面对AI技术难题的正攻法思路

我们有很多学术的方法去解决、突破技术难题，大家都可以去尝试。也可以通过各种论文去了解先进前沿的技术。但还有很多时候，整个系统的准确率并不是单纯的一个算法模块的准确率。可能你需要尝试配合一个传统算法，或者是配合一个流程的设计，甚至必要的时候可以配合人员操作的兜底方式来协同配合，达到真正的场景可用。

这里提到一个信任机制的建立，比如医疗场景，如果是一个全自动的系统，患者能不能接受这样一个机器直接给出结论？很多时候我们当然希望它是一个全自动的系统，但是这里往往要考虑的就是一个场景的容错范围，人命关天，就完全不能弄错了。还有一些零售结账的场景，质检上需要9个9，很多这样的场景，可能目前还是需要一个human in the loop。

——百度资深研发工程师张洋《产业计算机视觉落地难点与应对》

掌握主流和全面的技术，复杂任务先拆分简化，抽象问题是关键能力

当遇到复杂场景的问题时，将其拆分成一些小的任务与目标。因为小的任务相对简单一些，而复杂任务相对难一些，把复杂任务拆分成小任务本身就是一个技术建模的过程。拆分成小的任务之后，针对每一个小任务，我们都可以进行非常细致的技术选型。

△ 图3:抽象问题的拆分举例

这在我们实际场景中其实是非常常用的，因为真实的业务场景它可能不是一个任务，而是众多任务。比如说文本纠错、复杂的问答系统、复杂的对话系统等，它可能包含了众多的子任务。

——百度资深研发工程师&百度文心ERNIE平台技术负责人龚健《产业NLP任务的技术选型与落地》

很多油田电力和工矿企业，它里面存在很多传统的机械指针式的仪表，这种仪表与数字仪表不同，机械表无法将表具的读数实时发送到监控系统，需要人工进行读表检查，这种表大部分是用来做监控用的，比如说监控设备的运行是否正常，而且这些表大部分是部署在厂区的各个位置，为了监测仪器是否工作正常，或者系统是否工作正常，工厂或者是一些企业都要派大量的人力到现场去进行巡检，检查表的读数是否正常，进而去判断整套系统或者仪器是否正常，这样的话就会消耗很多企业的人力成本，而且每次巡检周期长，频次非常低。实际解决问题之前，需要清晰的梳理出表计识别项目会面临到的难点问题：

表具种类多，相似度大，样本采集困难且不易分类
在复杂环境下，读数精确度不易保证
室外环境恶劣导致读数难以识别

△ 图4:技术方案拆解：目标检测+语义分割

所以我们没选择直接识别的方案，因为直接识别会遇到多尺度的问题。我们选用了更为复杂的方案：目标检测+语义分割，当我的读数难度变小了，精确度会得到更好的保证，这是最核心的。同时，因为模型复杂度的提升，我的推理时间变长了。不过没关系，因为在表计巡检的场景里，对时效要求并不高。所以很多时候，大家问这样的方案好不好那样的方案好不好，还是要首先去回答自己的问题，你的场景到底有什么样的限制条件。没有最好，只有最适合。

——中兴克拉科技首席AI系统架构师黄埔学院二期学员朱玉石《能源电力传统仪表综合无人巡检》

Last but not least, 优选工具

京东物流最开始自己要做快递单识别，其工程是非常复杂的。你所在小区的四级地址是什么？估计很多人都没有清晰的概念，还有用户名字叫“一个橘子”，收件地址中还附着着大量的附言词。在这之中我们要做大量的分词、文本解析、结构化处理、信息的补全、消歧等，最后进行语义相似度的打分和匹配。有监督+无监督的方法结合去应用。整个团队花了很长的时间，去建立一整套的系统。

△ 图5:京东物流快递单识别所使用的ERNIE API

完成了这些工作，跨过了这些坑之后，当我遇到百度文心ERNIE，瞬间觉得豁然开朗，觉得它比我更懂我应该做什么。刚才说的所有那些很复杂的东西，从以前的 Framework转到飞桨以后，前面三个API其实就搞定了。最后一个API地址识别，我画了小太阳，对我们的工作效率提升带来了很大的帮助。很多应届生同学他们进来就能很快地上手。对于他们来说，一开始觉得这件事太难了，可能很难坚持下来。在新同学还不是特别懂深度学习的原理情况下，能够把整个技术做出来，能够有结果，这是件非常让人兴奋的事。

——京东物流智能供应链产业平台研发总监、黄埔学院三期学员王梓晨《京东物流快递单智能识别》

听完这些课程，你是不是对AI产业落地有了不一样，亦或是更深刻的认识？是不是也想加入其中，成为推动产业落地的AI架构师？

对于从黄埔学院毕业的135名学员，授课老师们一直在强调“AI架构师”要具备从复杂的业务问题抽象出AI技术问题的能力，要对主流AI训练和部署落地流程有充分的掌握，结合相关算法技术和业务场景需求，做出恰当的AI技术选型，设计高效合理、并具有充分预见性的实现方案。还要在业务场景下建立起以AI技术应用为核心的完备技术体系，充分发挥AI技术对业务的助力作用，对技术团队产生很强的技术影响力。