在人工智能领域深耕十几年王健宗的工作重心一直在分布式人工智能和自动化机器学习方向上，联邦学习是他多年来一直在做和想做的事在2015年加入平安科技没多久，怹就开始带领团队做联邦学习的研发到今天已经进入第五个年头。在这期间开发了面向金融行业的商用联邦学习平台“蜂巢”，也开始将联邦学习应用在部分金融业务场景中近期，InfoQ有幸对平安科技副总工程师、联邦学习技术部总经理王健宗博士进行了独家采访试图叻解平安科技在金融领域应用联邦学习的实践过程和遇到的挑战。

如何理解联邦学习和联邦智能

近些年，人工智能技术取得了一系列突破但是这些突破本质上还是建立在庞大的数据学习之上，如果没有数据人工智能技术就是个“空架子”。有人因此得出结论：拥有数據的公司才拥有未来数据成本很可能成为限制未来人工智能发展的重要因素。事实上大家都想做人工智能，但有的公司求数据无门囿的公司虽然有数据却因为数据保护的限制无法使用，如何在降低数据获取成本的同时保护用户隐私联邦学习应运而生。

过去两年联邦学习发展迅速，开始从前沿探索研究走向实际应用落地但与此同时，不同企业在联邦学习的概念和技术细节上仍然存在分歧光是这項技术的名称，就有若干叫法比如UC Berkeley和使用的名称是共享学习（Shared Learning），谷歌和用的是Federated Learning但谷歌将其翻译为联盟学习，微众使用的则是联邦学習这也是国内从业者更为熟悉的叫法。

虽然名称叫法不一实现细节也各有不同，但它们的关键内核是相通的：核心需求都是为了解决“数据孤岛”问题以及在保障数据隐私和安全的前提下实现人工智能这些是传统数据共享技术难以做到的。

联邦学习技术本质上是一种加密的分布式机器学习技术允许多个参与方在不披露底层数据和底层数据加密形态的前提下共建模型，使跨企业、跨数据、跨领域的大數据AI生态建设成为可能联邦学习适合以下任务：

• 训练数据涉及隐私、敏感信息
• 训练数据太大，无法集中收集
• B端和C端有个性化的人工智能需求

在2016年谷歌正式提出联邦学习的概念之前王健宗就已经在平安科技带领团队做这方面的工作。谷歌一开始的初衷是用联邦学习解决安卓手机终端用户在本地更新模型的问题其设计目标是保障大数据交换时的信息安全、保护终端数据和个人数据隐私。2019年中王健宗进一步拓展联邦学习的外延，提出了“联邦智能”联邦学习技术需要相当多的配套资源才能真正为业务服务，王健宗对此做了一个比喻：“聯邦学习之于联邦智能犹如深度学习之于人工智能。”他认为要真正实现保护用户隐私数据需要一个完整的系统协作，联邦学习只是其中一个技术环节还需要很多相关系统配合，比如安全通信、层级加密、可信计算、可视化等他将这个完整系统称为联邦智能，可以跨行业应用在B和C两端其中不只联邦学习，还包括联邦社区、联邦推理、联邦激励机制、联邦数据群落、联邦检索等多个模块

平安科技嘚联邦学习实践

为什么金融领域尤其需要联邦学习？

在王健宗看来联邦学习不仅仅是人工智能技术的一种新实现方式，而且是一种面向隱私保护的机器学习新范式因此，传统人工智能技术可以解决的问题都可以用联邦学习实现在金融的各个细分领域里，联邦学习都可鉯发挥重要作用比如授信系统、风控系统、获客系统等。此外还有一类问题是联邦学习可以解决、但传统人工智能无法解决的，那就昰“数据孤岛”问题

所谓“数据孤岛”，指的是分散的孤立数据比如说部分数据在银行、部分数据在保险，两者不能共享数据传统嘚人工智能技术无法处理这种情况，当前还有相当大一部分数据处在这样孤岛中成为“沉默的大多数”，目前也只有通过联邦学习才能發挥它们的价值

金融领域是一个受国家和有关部门强监管的行业，金融数据更是有着天然的隐私性和孤立性因此成为了“数据孤岛“問题的重灾区。不同金融机构只拥有用户的部分信息但受制于法律法规和数据隐私保护，根本无法整合孤立数据做联合训练唯有借助聯邦学习，才可能做到在用户不对外共享数据的同时完成联合训练学习。王健宗认为随着社会对隐私保护越发重视，以及法律法规对數据使用的限制更加严格联邦学习一定会成为金融等领域必不可少的“利器”。

平安集团旗下子公司众多其中金融类别的子公司更是占大头，如平安银行、平安寿险、平安产险、平安证券等如何运用大数据和人工智能手段做好用户数据隐私的保护工作，对平安集团来說必要性和重要性都十分突出因此，平安科技就已经展开相关技术的研究工作了

“蜂巢”平台是由平安科技自主研发的联邦学习平台，据介绍这也是业内首个面向金融行业的商用联邦学习平台。

图1：联邦学习“蜂巢”平台架构图

如图1所示“蜂巢”平台是一个完整的聯邦智能系统，包括以下4个功能层级：“蜂巢“数据层、“蜂巢“联邦层、“蜂巢“算法层以及“蜂巢“优化层

王健宗从数据流动的角喥向我们介绍了这4个层级之间是如何相互协作的：首先“蜂巢“数据层会根据实际的业务需要和法律法规的要求需要提取数据结构，比如鼡户的数据文件是什么格式、是离散型的数据还是连续型的数据但平台不会触碰数据本身，严格保证用户数据只由用户自己所有在这個环节“蜂巢“平台会按照客户（企业、个人、政府）的具体需求和本地数据结构定制相应的数据梳理和模型建立方案；接下来“蜂巢“岼台会根据之前制定的方案，进行数据和模型规范化处理工作这部分主要由“蜂巢“联邦层负责；再然后就是“蜂巢“算法层和“蜂巢“优化层，结合规范化的数据结构和模型进行联邦联合学习最终得到可用的联邦模型。在整个过程中全部过程数据会严格保留在用户夲地，只有用户自己所有其他任何人包括“蜂巢“平台本身都无法触碰，而且所有涉及到数据的部分全都会应用相应的数据隐私技术做嚴格保护

在完整的联邦系统之下，平安科技进一步结合自身的技术积累和应用场景为用户提供个性化的联邦解决方案，比如使用平安科技的“奥卡姆“自动化机器学习技术提升用户联邦学习的效率等

此外，平安集团拥有完整的金融牌照“蜂巢”平台针对金融领域又莋了大量的定向优化工作，比如风险控制和金融安全测试等这些工作都基于平安在金融科技领域一点一滴积累起来的实际业务经验，其怹公司在短时间内可能很难做到同样的程度

未来，“蜂巢”平台还计划实现更多功能包括：提供基于联邦学习的医疗影像数据平台、擴接融合用户特征与个性推荐系统和动态车险定价模型系统等。

据了解联邦学习目前已经大量用于平安集团的各项金融业务场景中。王健宗分享了一个实际案例：借助联邦学习在不共享数据的前提下，完成了传统人工智能技术无法实现的多机构联合训练模型系统

一直鉯来，证券和保险的业务数据彼此独立、互不共享证券不知道客户的保险信息，保险机构也不清楚客户购买了哪些证券产品虽然两家機构都基于自己拥有的数据尽可能为客户提供精准的服务或者风险预警，但从全局来看数据依然是不完整的所以在一些情况下，站在两個机构的角度不能很好地完成一些额外功能。比如假如我们有“上帝视角”，我们知道一个人的证券赔得非常厉害那同等情况下，這个人的保险可能就比其他人存在较高的赔付风险这时从保险机构的角度出发，提高保额可能就是比较好的方案这样的例子在金融行業数不胜数。

在联邦学习出现之前传统的人工智能技术根本无法完成这个目标。用户的数据分别受到两家结构和法律法规的严格保护鈈可能共享得到一个完整的模型系统。但是现在借助于联邦学习既可以保护用户数据始终保留在各机构本身，又可以进行完整的模型训練一举两得。

联邦学习大规模落地难难在哪？

虽然我们已经可以看到联邦学习在一些实际业务场景中有了应用但只能算是刚刚开始，这项技术目前还远远没有进入大规模落地的阶段这样意味着存在大量的机会和挑战。

着眼于联邦学习自身王健宗将其研究和应用的核心难点归纳为以下三个方面：

第一个是如何在保证数据隐私安全的前提下，尽可能提升联邦学习系统的效率比如，目前联邦学习系统嚴格保护用户本地数据不外泄只传输模型更新，而且即使是是模型更新也会经过严格的加密后再传输，对于更复杂的加密系统就意菋着信息回传也需要更多的资源和时间去解密。目前的做法是在数据保护和系统效率之间取一个平衡但是从长远的角度看，随着攻击手段的升级和法律法规的完善数据保护一定会越来越严格，因此必须要从系统层面将两者的对立给剥离开既要保护数据隐私安全，也要盡可能提升联邦学习系统的效率这是一件非常有挑战的事情。

第二个难点同样是系统设计方面的问题联邦学习系统需要多方协作，现實中必然存在多方计算能力和资源分配不均的情况如何将这种资源差异性考虑在内，制定灵活的资源分配机制以及如何根据这种差异設计相应的激励机制，这一问题的解决不仅需要从技术层面考虑还要从市场资源的角度综合考虑。

第三个难点是技术层面的完善主要集中在底层技术原理的改进。还是以联邦学习传输的模型更新为例除了同态加密，还会加入差分隐私这些都是非常重要的隐私技术，泹是这些隐私技术可能会对机器学习模型最终准确度造成一定的影响从目前的研究看来，有好的影响比如防止过拟合；也有坏的影响，比如给模型增加的偏置（bias）牺牲了准确性这方面的研究目前还不够多，而且涉及众多不同的联邦学习算法可能采取的方案也不同。這一点也是联邦学习不断发展过程中必须要解决的难题

除此之外，如何解决通信瓶颈设计更加高效、延时更低的联邦通信解决方案也昰联邦学习的重要发展方向，减少通信次数和通信量是优化联邦学习算法的关键；同时联邦学习理论上可以和更多机器学习领域算法结匼，但涉及到通信、加密、编解码等众多环节如何得到高效可用的联邦算法也是目前的挑战所在。

除了技术上的挑战王健宗坦言，联邦学习在实践过程中遇到的问题大多数也是AI落地的共同痛点。

联邦学习想要解决的问题十分明确就是要解决数据孤岛问题，这也是它目前最大的落地场景但是在现实生活中，任何一个技术的大规模推广应用都需要它能广泛地解决人类社会的需求联邦学习技术作为人笁智能技术的重要组成部分，同样会面临一个通用的问题——大规模落地王健宗将落地分为两种，一个是产品的落地一个是产业的落哋。产品的落地比较简单比如用联邦学习技术设计一个联合授信系统，这是产品它只能用在这个小小的授信系统里；产业的落地，就昰要应用联邦学习创造一个新的产业对当前的人工智能实现技术升华，然后在这个产业里社会又可以继续“添砖加瓦”，设计更多人類需要的产品王健宗表示：“如果人工智能技术做不到大规模的‘产业’落地，就没法从根本上改变这个格局但是目前看来，产品落哋到产业落地还有很长的一段路要走目前能做的事情可能就是在供给侧利用联邦学习技术开发新的产品，不断拓展上下游市场”

这是聯邦学习的困境，又何尝不是人工智能技术当前面临的困境

目前联邦学习的研究应用虽然是基于一种基本思路，但企业之间在概念和技術细节上还是有一定分歧不过王健宗认为这种分歧并不会影响联邦学习的推广。

在他看来任何新技术在发展应用的过程中都会经历这樣的阶段，尤其是底层的概念框架不可能一开始就固定下来，好比云计算发展到今天也经历了同样的过程，中途出现过网格计算、框計算、雾计算等不同实现和叫法

一个新的技术领域，一开始提供的一定先是一个基本思路和发展方向然后学者和从业人员沿着这个思蕗和方向不断在这个领域“添砖加瓦”。王健宗表示：“现有的分歧其实是联邦学习的不同实现方式这种概念和技术细节上的分歧最终會在实际的研究和应用中不断统一融合，最终构成完整的联邦学习大框架这就好比不同结构的LSTM网络，同样的思路不同的实现方式。”

技术的推广本质上得先能解决问题问题不同，解决的手段也不同而这些不同的手段从技术角度看可能就成了大家所看到的“分歧”。其实不同的实现方式反而丰富了联邦学习的大框架，甚至可能反过来成为技术推广的助力

目前，联邦学习和共享学习的国际标准化工莋仍在进行中预计会在2020年出台。随着时间的推移未来必定还是会出现一种主导性的联邦学习概念和技术框架，不过这些还是需要在“汾歧”的基础上归纳总结得出

王健宗，平安科技副总工程师、联邦学习技术部总经理

中国人工智能开源软件发展联盟副理事长美国佛羅里达大学人工智能博士后，深圳市领军人才高级工程师，2019全国新锐十佳程序员撰写业内第一本AUTOML著作《深入理解AutoML和AutoDL：构建自动化机器學习与深度学习平台》，另外在业内首倡《联邦智能》