【智能金融】【风控】探索大数据时代风控模型技术和应用

2017 年 12 月 24 日 产业智能官 数据观





注:来源大数据风控联盟,编辑:Fynlch(王培)




最详细大数据项目落地路线图实践总结


作者:田军   来源数据观                    




天,来谈一谈“大数据项目如何落地?”这个话题。从事过多个大数据项目的规划方案及项目落地工作,在这里与大家分享一些心得,主要是关于大数据项目如何成功落地并取得预期目标,也可以说这些是实践出来的观点。






于一个大数据应用项目/产品的落地,可以大致总结为五大步骤阶段: 数据规划、数据治理、数据应用、迭代实施、商业价值。 如下图:





大数据项目落地路线图



01
第一阶段:数据规划








一个成功的大数据项目,需要有一个良好的开端,即做好数据规划阶段的各项工作,具体包括:


▊战略意图:在这个阶段,要明确战略意图,这个战略意图需要在相关干系部门之间达成一致和共识,换句话说就是为什么要搞这个大数据项目?


战略规划:战略意图清晰以后,就可以作为贯穿整个项目过程的灯塔,接下来要需要将战略意图转变为战略规划,通过战略规划来进一步让相关干系部门和人员清晰的认识到这个大数据项目将要做什么?


商业目标:战略规划完成后,就要明确这个大数据项目的商业目标,即通过这个大数据项目实施,为企业带来怎样的商业价值?是降低成本呢,还是扩大营业收入,亦或是通过创新业务为企业带来新的价值增长点?


执行方针:商业目标确定以后,需要进一步来确定该大数据项目的执行方针,包括:项目执行的基本原则、利益分配原则、分歧处理原则等等。


组织支撑:上述Action完成后,就需要建立对应的项目组织了,成立项目小组,明确相关岗位以及岗位职责,根据不同的战略意图、战略规划、商业目标和执行方针,建立不同架构和规模的组织。


上述Action还都属于项目可以成功落地的先导性工作,那么接下来就是许多细致的具体工作,这些具体工作都是保障项目可以成功落地的基石。


产品(项目)规划:协同各个干系的部门和干系人,有效的建立起来项目内容规划机制,完成产品(项目)的总体规划。


场景规划:完成产品(项目)的总体规划,作为大数据项目,需要继续规划出主要的应用场景,场景规划是有效地推动后续步骤阶段的基础,场景如果规划的不清晰,直接会影响到后续的一系列Action的执行。


需求评估:产品(项目)规划、场景规划完成后,需要将规划内容反复与各个干系部门和干系人进行沟通与确认,最终形成项目需求说明书,同时完成需求的评估,评估相关规划和需求是否可以满足战略意图、战略规划以及商业目标。


上述Action完成后,需要从架构和落地角度,进一步深化:


架构规划:根据已完成的产品(项目)规划、场景规划和需求评估,从落地的角度完成数据架构规划,架构规划是项目成功落地的重要环节。


有的大数据项目,还需要引入第三方的数据支持,以及体系内其他非干系部门的数据支持,这样就需要进行有效合作。


合作意图:如果项目需要引入第三方的数据支持,以及体系内其他非干系部门的数据支持,需要充分评估项目风险与合作意图,有效达成合作共识。



02
第二阶段:数据治理








第一阶段的工作完成以后,已经具备了一个大数据项目成功落地的良好基础,接下来就需要按照数据规划阶段的成果继续后续的环节,首先要做的就是要有数据,并且要有高质量的数据,数据到位才能保障项目的有效推进和执行:


▊来源评估:在数据治理阶段,首先要进行数据来源评估,展开数据梳理相关的工作,及时发现数据来源可能存在的风险并加以处理。


来源评估完成后,确认可以有效获取到所需要的对应数据来源的数据,就可以进行数据的获取工作了。


数据采集:数据采集是一个很重要的工作,只有把数据采集来,才能进行一系列的大数据相关的工作。数据采集过程中,注意数据采集的有效性。


数据预处理:为了更好的、更有效的存储有价值的数据,同时方便系统对数据的使用,部分数据可以做预处理。


数据质量:数据质量环节很重要,如何有效保证数据的质量?直接影响着大数据项目的实施效果,在这个环节中,要投入很多的精力去形成标准,并建立相对自动化的数据质量系统。


上述的几个环节,必要时需要借助专业的产品工具。


数据管理:数据管理工作,将影响项目的整个周期,建议采用专业的数据管理产品和工具,或借助有开发能力的供应商量身定做一套数据管理系统。


第三方数据:可以通过数据资产置换、购买等等方式完成第三方数据的接入。


在整个第二阶段会形成一系列的标准和流程,这里不一一赘述。



03
第三阶段:数据应用








第一、第二阶段工作完成以后,就将进入最重要的第三阶段工作,在这个阶段中,我们将承前启后的推动大数据项目完成落地工作,真正去形成大数据的应用,带来真实的业务价值:


▊场景细分:在这个阶段,对于第一阶段中形成的场景规划,要进行可被实现的场景细分,通过对场景的细分,形成一个个的用例(Use Case)。


干系组织利益共识:通过场景的细分后的一个个用例(Use Case),已经可以很好的明确给各干系组织带来的业务价值,在这个时候需要推动各个干系组织形成利益共识,以免由于利益问题导致项目执行的阻碍。


完成上述Action后,就需要借助供应商的参与和力量继续完成后续的Action。


功能规划:经过上述Action环节,项目已经进入重要的落地阶段,需要根据已经整理好的用例(Use Case)、数据,形成具体的功能规划。这些功能规划,需要是可被准确识别和实现的,直接对应了大数据应用系统的功能点。


技术选型:完成了功能规划,就需要进行技术选型工作,由于大数据相关的技术非常多,这项工作需要借助专业供应商的力量来一起完成,需要充分考虑非功能性指标,比如:性能要求等等。


产品选型:技术选型后,需要根据选择的技术路线,来找到可供选择的、符合技术路线的产品,完成产品选型工作,如:数据科学平台等等。


应用分析模型设计:大数据项目的一个重要的内容,就是要通过数据来形成各种应用分析模型,借助类似于数据科学平台类的产品,可以快速有效形成各种预测分析模型。完成这个环节的工作,需要有数据科学家、业务分析师等等一系列的角色参与相关工作。或者说引入第三方的成熟产品,如客户智能分析平台、物联网智能分析平台、运营智能分析平台等等,通过引入这些产品来直接引入成熟的分析模型。


技术选型、产品选型以及应用分析模型建立后,就需要进行验证工作了,主要包括场景PoC和商业验证。


PoC:选取具有典型代表意义的大数据应用场景,进行现场的PoC验证工作,通过PoC,修正和完善每个用例(Use Case),同时验证技术选型、产品选型的正确性,发现问题及时处理,甚至重新选择技术与产品。


商业验证:PoC环节完成后,还需要进行商业验证,验证和评估一些关键场景用例(Use Case)的应用效果,评估和预测是否可以达成商业目标,从而推导出达成商业目标可能存在的问题和风险,进行修订与处理,必要调整各个干系部门和干系人之间的利益共识。



04
第四阶段:迭代实施








前三个步骤阶段的工作有效得完成后,就进入了第四步骤阶段迭代实施,之所以是迭代实施,也跟大数据类项目的特征有关,就如大数据建立分析模型是一种探索的过程一样,大数据项目的执行也需要进行不断的验证、修正、实施这样的工作,可能需要经过多轮的迭代才能完成项目的建设:


▊模型应用:第三阶段中经过PoC和商业验证的模型,需要开发为特定的大数据分析应用才能最终为使用者所使用并发挥价值。在模型应用过程中,注意模型的规约和使用条件,注意与现有系统的融合。


系统开发:系统开发工作是保证模型应用环节有效达成的手段,同时通过系统开发能力可以开发出围绕大数据分析应用的外围系统。


效果评价:效果评价环节,主要是组织相关干系组织与干系人,对实施效果进行研讨和确认,同时对利益共识进行确认和达成一致,如果没有达到预期效果则继续进行迭代改进。


业务验证:业务验证工作是保障大数据分析应用项目真正可以融合于业务、服务于业务的重要手段,业务验证建议从业务流程是否通畅、关键业务点是否达到预期目标、是否对业务办理产生障碍等等多方面进行。验证人员需要是使用该大数据分析应用系统的一线业务人员。


如果上述的环节发现了重大问题,则针对问题形成改进方案后进入迭代改进环节。


迭代改进:迭代改进分为小迭代和大迭代,小迭代是在同一期项目中完成的,受到项目上线周期的制约,小迭代可以改进的问题是有限的、小型的。对于影响范围巨大,难度较高的问题需要进入大迭代改进,大迭代一版来说可以规划为项目的二期、三期等等,直到达成预期的战略意图、战略规划和商业目标。


经过上述的Action环节,一个成功的大数据应用项目终于落地了,这也仅仅是落地的开始,接下来的工作是检验项目成果和真正发挥大数据价值的时刻:


实施推广:围绕项目的战略意图、规划和商业目标,进行有效的实施推广工作将变得非常重要,良好的实施推广工作可以真正让大数据应用分析项目用起来,让数据“活”起来,源源不断产生价值。推广过程,要巧妙的运用各个干系部门和干系人之间的利益共识。


数据安全:大数据项目有自己的特点就是一切都围绕数据来展开,说到数据就会涉及到一些隐私数据、高密级数据等等,不管在开发过程中、还是在推广过程中,亦或是在第二阶段的数据治理过程中,都需要严格遵守相关信息安全和数据保密的规划,从技术上和使用上都要保证数据的安全。数据安全是一个大数据项目真正可以成功的重要内容。



05
第五阶段:商业价值








前面四个步骤阶段工作很好的完成后,就是享受大数据应用项目成果的时刻了,相信在前面四个阶段的各个环节中,各个项目参与人员都受到了或多或少的各种折磨,不过这些折磨都是值得的,因此大数据项目真正可以为企业带来不可以预想的巨大价值,只有上马了成功大数据项目的企业才能深深体会到。


在这个阶段中,企业获得了:


▊数据资产:企业的数据资产是大数据应用项目带来的重要成果,也是推动企业创新、产业升级、企业转型等等的财富。


数据服务:通过大数据应用项目的实施,可以有效推动企业的数字化转型工作,围绕数据资产形成数据服务的能力。


决策支持:通过大数据的预测分析能力,有效提升了企业的决策支持能力。


效获取了内部商业利益价值、外部商业利益价值,真正去实现了企业建设大数据应用项目的战略意图、战略规划和商业目标。



题外话:

如果企业的大数据能力和人员有限,上述路线图中提到的每个步骤阶段,都可以引入供应商来协助企业完成。既可以选择一家供应商负责完成整个项目过程的建设,也可以分步来实施,在不同的阶段选取不同的供应商来完成。


一般来说,建议后面三个阶段最好选择一家有综合能力的供应商来总包实施,这样可以更好完成项目的预期目标。


下图大致总结了选择合作伙伴的一点参考,仅供参考:


大数据项目落地路线图,供应商选择参考

上是“大数据项目如何落地?”路线图,是一些项目心得,也可以说这些是实践出来的观点,期望对大家有所帮助。

作者简介


田军,大连理工大学硕士,现任东软集团先行产品研发事业部咨询总监,在平台产品及企业信息化领域从业十多年,曾在东软集团基础软件事业部、东软云科技有限公司任职,目前专注于数据科学、人工智能等领域的研究,主要研究大数据项目如何在行业进行落地,服务过数百家行业领导者客户,在大数据、云计算、数据中心、企业应用平台、业务流程管理、企业信息化集成等领域具有多年实战经验。

注:本文系「数据科学浅谈」授权数据观发布,作者:田军,版权著作权属原创者所有

 



人工智能赛博物理操作系统

AI-CPS OS

人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS:云计算+大数据+物联网+区块链+人工智能)分支用来的今天,企业领导者必须了解如何将“技术”全面渗入整个公司、产品等“商业”场景中,利用AI-CPS OS形成数字化+智能化力量,实现行业的重新布局、企业的重新构建和自我的焕然新生。


AI-CPS OS的真正价值并不来自构成技术或功能,而是要以一种传递独特竞争优势的方式将自动化+信息化、智造+产品+服务数据+分析一体化,这种整合方式能够释放新的业务和运营模式。如果不能实现跨功能的更大规模融合,没有颠覆现状的意愿,这些将不可能实现。


领导者无法依靠某种单一战略方法来应对多维度的数字化变革。面对新一代技术+商业操作系统AI-CPS OS颠覆性的数字化+智能化力量,领导者必须在行业、企业与个人这三个层面都保持领先地位:

  1. 重新行业布局:你的世界观要怎样改变才算足够?你必须对行业典范进行怎样的反思?

  2. 重新构建企业:你的企业需要做出什么样的变化?你准备如何重新定义你的公司?

  3. 重新打造自己:你需要成为怎样的人?要重塑自己并在数字化+智能化时代保有领先地位,你必须如何去做?

AI-CPS OS是数字化智能化创新平台,设计思路是将大数据、物联网、区块链和人工智能等无缝整合在云端,可以帮助企业将创新成果融入自身业务体系,实现各个前沿技术在云端的优势协同。AI-CPS OS形成的字化+智能化力量与行业、企业及个人三个层面的交叉,形成了领导力模式,使数字化融入到领导者所在企业与领导方式的核心位置:

  1. 精细种力量能够使人在更加真实、细致的层面观察与感知现实世界和数字化世界正在发生的一切,进而理解和更加精细地进行产品个性化控制、微观业务场景事件和结果控制。

  2. 智能:模型随着时间(数据)的变化而变化,整个系统就具备了智能(自学习)的能力。

  3. 高效:企业需要建立实时或者准实时的数据采集传输、模型预测和响应决策能力,这样智能就从批量性、阶段性的行为变成一个可以实时触达的行为。

  4. 不确定性:数字化变更颠覆和改变了领导者曾经仰仗的思维方式、结构和实践经验,其结果就是形成了复合不确定性这种颠覆性力量。主要的不确定性蕴含于三个领域:技术、文化、制度。

  5. 边界模糊:数字世界与现实世界的不断融合成CPS不仅让人们所知行业的核心产品、经济学定理和可能性都产生了变化,还模糊了不同行业间的界限。这种效应正在向生态系统、企业、客户、产品快速蔓延。

AI-CPS OS形成的数字化+智能化力量通过三个方式激发经济增长:

  1. 创造虚拟劳动力,承担需要适应性和敏捷性的复杂任务,即“智能自动化”,以区别于传统的自动化解决方案;

  2. 对现有劳动力和实物资产进行有利的补充和提升,提高资本效率

  3. 人工智能的普及,将推动多行业的相关创新,开辟崭新的经济增长空间


给决策制定者和商业领袖的建议:

  1. 超越自动化,开启新创新模式:利用具有自主学习和自我控制能力的动态机器智能,为企业创造新商机;

  2. 迎接新一代信息技术,迎接人工智能:无缝整合人类智慧与机器智能,重新

    评估未来的知识和技能类型;

  3. 制定道德规范:切实为人工智能生态系统制定道德准则,并在智能机器的开

    发过程中确定更加明晰的标准和最佳实践;

  4. 重视再分配效应:对人工智能可能带来的冲击做好准备,制定战略帮助面临

    较高失业风险的人群;

  5. 开发数字化+智能化企业所需新能力:员工团队需要积极掌握判断、沟通及想象力和创造力等人类所特有的重要能力。对于中国企业来说,创造兼具包容性和多样性的文化也非常重要。


子曰:“君子和而不同,小人同而不和。”  《论语·子路》云计算、大数据、物联网、区块链和 人工智能,像君子一般融合,一起体现科技就是生产力。


如果说上一次哥伦布地理大发现,拓展的是人类的物理空间。那么这一次地理大发现,拓展的就是人们的数字空间。在数学空间,建立新的商业文明,从而发现新的创富模式,为人类社会带来新的财富空间。云计算,大数据、物联网和区块链,是进入这个数字空间的船,而人工智能就是那船上的帆,哥伦布之帆!


新一代技术+商业的人工智能赛博物理操作系统AI-CPS OS作为新一轮产业变革的核心驱动力,将进一步释放历次科技革命和产业变革积蓄的巨大能量,并创造新的强大引擎。重构生产、分配、交换、消费等经济活动各环节,形成从宏观到微观各领域的智能化新需求,催生新技术、新产品、新产业、新业态、新模式。引发经济结构重大变革,深刻改变人类生产生活方式和思维模式,实现社会生产力的整体跃升。





产业智能官  AI-CPS



用“人工智能赛博物理操作系统新一代技术+商业操作系统“AI-CPS OS:云计算+大数据+物联网+区块链+人工智能)在场景中构建状态感知-实时分析-自主决策-精准执行-学习提升的认知计算和机器智能;实现产业转型升级、DT驱动业务、价值创新创造的产业互联生态链






长按上方二维码关注微信公众号: AI-CPS,更多信息回复:


新技术“云计算”、“大数据”、“物联网”、“区块链”、“人工智能新产业:智能制造”、“智能农业”、“智能金融”、“智能零售”、“智能城市、“智能驾驶”新模式:“财富空间、“数据科学家”、“赛博物理”、“供应链金融”


官方网站:AI-CPS.NET




本文系“产业智能官”(公众号ID:AI-CPS)收集整理,转载请注明出处!



版权声明产业智能官(公众号ID:AI-CPS推荐的文章,除非确实无法确认,我们都会注明作者和来源。部分文章推送时未能与原作者取得联系。若涉及版权问题,烦请原作者联系我们,与您共同协商解决。联系、投稿邮箱:erp_vip@hotmail.com






登录查看更多
1

相关内容

从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术。明白这一点至关重要,也正是这一点促使该技术具备走向众多企业的潜力。大数据的4个“V”,或者说特点有四个层面:第一,数据体量巨大。从TB级别,跃升到PB级别;第二,数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三,价值密度低。以视频为例,连续不间断监控过程中,可能有用的数据仅仅有一两秒。第四,处理速度快。
商业数据分析,39页ppt
专知会员服务
157+阅读 · 2020年6月2日
德勤:2020技术趋势报告,120页pdf
专知会员服务
187+阅读 · 2020年3月31日
【新加坡国立大学】深度学习时代数据库:挑战与机会
专知会员服务
33+阅读 · 2020年3月6日
报告 |事理图谱的构建及应用,附61页pdf
专知会员服务
187+阅读 · 2020年1月17日
【大数据白皮书 2019】中国信息通信研究院
专知会员服务
133+阅读 · 2019年12月12日
关系图谱在贝壳找房风控体系的应用与实践
DataFunTalk
49+阅读 · 2020年2月12日
【知识图谱】大数据时代的知识工程与知识管理
产业智能官
22+阅读 · 2019年7月3日
领域应用 | 企业效益最大化的秘密:知识图谱
开放知识图谱
8+阅读 · 2019年4月11日
企业数据AI化战略:从数据中台到AI中台
36大数据
11+阅读 · 2019年2月18日
业务中台:如何在互联时代,快速响应用户需求?
互联网er的早读课
24+阅读 · 2018年12月26日
【大数据】工业大数据在石化行业的应用成功“落地”
智能时代如何构建金融反欺诈体系?
数据猿
12+阅读 · 2018年3月26日
【工业互联网】工业互联网与工业大数据分析的应用
产业智能官
12+阅读 · 2017年12月26日
Heterogeneous Graph Transformer
Arxiv
27+阅读 · 2020年3月3日
Arxiv
17+阅读 · 2019年4月5日
Arxiv
6+阅读 · 2018年3月19日
Arxiv
3+阅读 · 2017年11月21日
VIP会员
相关资讯
关系图谱在贝壳找房风控体系的应用与实践
DataFunTalk
49+阅读 · 2020年2月12日
【知识图谱】大数据时代的知识工程与知识管理
产业智能官
22+阅读 · 2019年7月3日
领域应用 | 企业效益最大化的秘密:知识图谱
开放知识图谱
8+阅读 · 2019年4月11日
企业数据AI化战略:从数据中台到AI中台
36大数据
11+阅读 · 2019年2月18日
业务中台:如何在互联时代,快速响应用户需求?
互联网er的早读课
24+阅读 · 2018年12月26日
【大数据】工业大数据在石化行业的应用成功“落地”
智能时代如何构建金融反欺诈体系?
数据猿
12+阅读 · 2018年3月26日
【工业互联网】工业互联网与工业大数据分析的应用
产业智能官
12+阅读 · 2017年12月26日
Top
微信扫码咨询专知VIP会员