让AI无处不在滴滴与蚂蚁金服开源共建SQLFlow

2018年1月，Oracle 的官方博客上宣布了一篇文章，标题是“It’s Pervasive: AI Is Everywhere”。作为全球最著名的商业数据库体系供给商，Oracle 在这篇文章里历数了AI 在企业信息体系中的开展空间。在面向最终用户的互联网职业，巨子们招募AI专家，用Python和C++打造服务群众的特定AI才能——查找、引荐、以及精准定向的互联网广告体系。在企业事务中，运用SQL的剖析师是大多数。

滴滴首席数据科学家谢梁（左）与蚂蚁金服研究员王益敞开共建SQLFlow之旅

　　2019年7月，滴滴的数据科学（Data Science）团队的几名数据科学家在北京新澄海大厦见到了来自蚂蚁金服的几位工程师。在那之前两个月，蚂蚁金服从事AI根底架构研制的王益团队开源了一款机器学习东西SQLFLow，将SQL程序翻译成Python程序，调用数据库和AI引擎，完成端到端的AI。滴滴首席数据科学家谢梁敏锐地关注到这个项目。这次访问两边一拍即合，敞开了共建SQLFlow之旅。

用SQLFlow构建AI的练习和猜测使命（动态图）

数据剖析师的普适AI

　　数据驱动决议计划是许多公司的寻求，在国内许多事务人员都了解SQL，可是关于AI、深度学习模型的练习，需求长时刻体系性的学习，有必定的门槛。SQLFLow的呈现让包含数据剖析师在内的事务人员经过写简略的SQL去调用AI模型成为了或许。

　　滴滴数据科学团队长时刻地直面一线事务，了解事务需求，也沉积了许多常用模型。本次协作两边期望优势互补一起助力AI的落地，据悉协作分为三步，第一步滴滴为蚂蚁金服奉献更多针关于事务产品的了解和洞见；第二步滴滴将公司本身事务场景最有价值用的最好的模型奉献到SQLFLow；第三步滴滴参加到建造到整个SQLFLow开源社区的建造，两边要在模型、社区、文明等全方位共建。

SQLFlow的技能架构

　　一个多月的时刻，滴滴现已为SQLFLow奉献了依据DNN分类猜测模型、可解说模型和无监督聚类模型三个高价值模型。这三个模型掩盖的场景十分广泛，关于滴滴内部来说，包含网约车、单车、金融等在内的许多事务场景都可运用起来，于外部而言，“由于整个模型它是一种根底才能，其实它不会局限于某一个公司或某一个职业，它具有普适性。”滴滴高档数据科学家高梓尧着重。

SQLFlow和滴滴数据的整合逻辑

　　比方分类猜测模型，适用于做产品增加的场景，对特定人群进行定向引荐。而无监督聚类模型，也便是形式识别，在滴滴的产品的运用十分广，比方会依据司机出车时长散布，去整合概括司机出车的偏好，更好地为司机供给调度主张，从而协助缓解出行供需。

　　滴滴首席数据科学家谢梁以为在共建SQLFlow过程中，充分体现了算法和数据科学在对数据的了解和运用上的两个不同，以及两边优势互补构成1+1大于2的合力作用。由于关于传统的算法来讲首要着重关于猜测一个给定事情的猜测精准性。可是数据科学在猜测精准性之上，还着重猜测的可解说性。实际上在更广泛的商业层面上，比方运营、营销等更需求了解为什么会这这样发作，这关于事务战略拟定、营销计划的确认，以及整个产品序列的规划都有十分大的协助。

　　滴滴数据科学团队在曩昔不到两个月的共建作业中明显扩展了SQLFlow的运用场景。依据蚂蚁金服SQLFlow项目的产品担任人刘勇峰介绍，滴滴的搭档们主张而且参加研制了SQLFlow对接XGBoost的功用，从而在深度学习模型之外支撑树模型；以及对接unsupervised learning的才能，支撑聚类剖析。此外，SQLFlow依据SHAP支撑了深度学习模型和树模型的图示化解说。SQLFlow也支撑了滴滴常用的Hive数据库体系。

依据XGBoost的轿车价格猜测模型（数据来自Kaggle）的SHAP解说图

（注：SHAP值表征了每个特征对模型输出的影响，如图中，较小的engine_hp“引擎马力”值会下降轿车的猜测价格）

　　“咱们是期望经过SQLFlow真实能够把数据驱动事务、科学决议计划的思维，能够在我国传播得更好更远，也期望便是能够经过咱们自己的尽力，真实让AI模型才能群众化和普及化，然后使得咱们整个国内的数据剖析的科学性、合理性和洞悉性，能够逐渐提高，乃至到达世界抢先。”高梓尧说。

　　而一切参加项目的搭档们对SQLFlow的未来都有更大的等待，这是关于开源社区作为一种高效率的作业形式的信赖。

打造一个SQL花园生态

　　在着重数据驱动的滴滴其实一向积极参加到开源建造中，到现在，滴滴和蚂蚁金服别离开源了数十个项目。SQLFlow是两边开源共建的首秀。

　　关于两边仅一个多月的时刻就能够共建三个高价值的模型，谢梁以为很重要的原因是SQLFlow现已给滴滴建立好了底层才能，滴滴相当于做了一个交通范畴的几个中心插件，而且经过滴滴插件才能，对整个SQLFlow掩盖面和深度方面的底层才能进行了验证和提高，“那么再把这个根底打好之后，咱们就相当于造了一个大的花园，咱们把土都铺好了，需求什么养分的土，要种什么类型的花，都给他做好了，之后就需求有更多的农人伯伯一起来种田，他们要去种向日葵，咱们究竟精力有限或许便是以种小麦和种主粮为主，更多的经济作物就需求其他开源社区的同学一起来奉献。”

　　在整个SQLFlow开源社区建造方面两边都有更大的愿景，滴滴的剖析团队总结的许多模型在BI 范畴具有普适性，而SQLFlow在蚂蚁的场景运用模型在金融范畴颇有普适性，未来要让更多的人去用上普适的AI才能，在SQLFlow社区之上会构成一个开源货架式的交易市场，更多懂事务的人把更多商业场景笼统成模型打造成模型库，模型库是SQLFlow 生态中的重要一环，两边正在评论怎么共建。“你就像走进一个超市，里边有10万个SQL，每一个SQL便是一个完成了你商业逻辑的模型，你就拿来用就行了，这是终极的一个方针”，谢梁兴奋地谈到。

　　当然现在的SQLFlow仍是一个十分年青的开源项目，需求更多的呵护。尽管现在在开源协作方面我国比较美国还有不少距离，但正是由于越来越多的公司和个人去投身其间为之奉献，距离正在缩小。

　　实际上，简直一切的SQLFlow项目成员都是运用业余时刻参加到开源项目中。比方滴滴资深算法工程师陈祥，他平常担任数据管理和运用方向上数据、运用与算法的结合和落地, 在8月初听到SQLFlow项目就决议参加进来，未来他也会召唤许多的人参加到开源建造中。

　　“开源社区所说的构建大生态，其实大生态还包含着别的一层，便是咱们互相学习，然后职业界的一切从业人员进行常识沟通。所以当各行各业的同学都在里边奉献自己的经历、技能时，咱们其实也能从其他的同学那学习到许多处理数据，或许处理实际问题的办法。”高梓尧所言恰如其分地诠释了开源社区众人拾柴火焰高的魅力。

　　Gartner猜测“到2020年，AI技能将遍及呈现在简直每一个新的软件产品和服务中。”这其间有蚂蚁金服与滴滴DS团队的一份力。

　　项目地址

　　欢迎感兴趣的同学参加社区评论：

　　项目官网：https://sqlflow.org

　　GitHub地址：https://github.com/sql-machine-learning/sqlflow

　　您也能够运用docker，运转文章中的轿车价格猜测模型 ：

　　docker run -p 8888:8888 sqlflow/sqlflow:didi