&img src=&/50/v2-f93379fff729bc30da06ca4075de0abc_b.jpg& data-rawwidth=&1619& data-rawheight=&1080& class=&origin_image zh-lightbox-thumb& width=&1619& data-original=&/50/v2-f93379fff729bc30da06ca4075de0abc_r.jpg&&&blockquote&&i&随着监管趋严和行业愈加规范化，大数据风控，尤其是基于弱数据的风控正成为线上信用贷业务最重要的核心竞争力。&/i&&/blockquote&
&p&&b&（ 本文由 &a href=&/?target=https%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&CreditX氪信&i class=&icon-external&&&/i&&/a& 授权发表）&/b&&br&&/p&
&p&近日，中国人民银行成立金融科技（FinTech）委员会，旨在加强金融科技工作的研究规划和统筹协调。&/p&
&p&随着AI、云计算在金融业务层面的快速渗透，也倒逼监管跟进升级，以进一步加强监管的有效性。事实上，这次央行提出监管科技（RegTech），也是对金融科技的肯定，希望其在驱动金融创新，引领金融规范化发展中发挥积极作用。&/p&
&p&金融的核心在于风险，现下谈及互联网金融，很多人都对大数据风控并不陌生，也都在行业野蛮发展的过程中有自己的理解。但如果要定义什么是大数据风控，可能不少行业外围同学的看法难免有些偏颇和碎片化。下面笔者浅显地从大数据风控的基本内容和框架出发，主要为想要了解这个行业的同学简要做一个相对完整的介绍。&/p&
&h2&大数据到底有哪些？&/h2&
&p&首先我们需要厘清大数据的概念，当下各行各业都在探索大数据的价值，大数据的定义也很多。从技术的角度来理解，本质就是来自多个渠道和系统的结构化和非结构化数据，在金融领域，尤其是消费金融，我们界定大数据到底有哪些维度，其实芝麻信用分是一个非常典型例子，虽然不同公司有自己的分法，但数据主体大都可以归类为身份属性、信用属性、行为数据、消费属性、人脉关系这五大方面。&/p&&br&&img src=&/v2-018a98fe29f_b.jpg& data-rawwidth=&1080& data-rawheight=&874& class=&origin_image zh-lightbox-thumb& width=&1080& data-original=&/v2-018a98fe29f_r.jpg&&&br&&p&身份属性，这是最基础的，包括真实的身份信息、学历、就业经历等。&/p&
&p&信用属性包含的方面比较多，比如过往的履约记录、固定资产、流动资产、收入等都会纳入进来用以衡量一个人还款能力和还款意愿。&/p&
&p&过去我们去银行办理贷款，以上这两个维度就是传统风控的数据来源，但由于大多数人没有这方面比较完整的记录，且流程冗长麻烦，因此只有少部分人才能享受金融服务。&/p&
&p&现在随着互联网的爆发式发展，以及普惠金融的崛起，越来越多的机构正将海量互联网数据和金融结合探索其在表征风险方面的价值。如上所述，长期缺乏金融产品的人群基数庞大，需求旺盛，因此从创业公司到BAT到金融机构，都在拓展更多领域的大数据以抢占消费金融爆发的窗口期。&/p&
&p&数据拓展的第一个领域是消费属性，这块主要是电商或交易数据，比如日常购物商品、消费金额、消费时段等都可以从不同角度来分析出一个人消费稳定度，消费档次，还款能力等风险特征。&/p&
&p&其次，人脉关系也是很重要的一个维度，俗话说“近朱者赤，近墨者黑”。很多时候你的微信朋友圈、经常打电话的朋友也反映了你在风险上的表征。生活中我们和同事沟通比较频繁，而如果一个人社交稳定度差，可能说明他经常换工作，显然风险也会相应增加。&/p&
&p&最后一个维度是行为数据，这块数据涉及面比较广泛，主要是用户在APP上的活动所体现出的行为特点，包括浏览不同类目的频次、时间、风险偏好等等。&/p&
&p&说到这，我们对大数据风控涉及的几类数据应该有了一个基本的认识，那在具体工作中，我们是不是应该先把这些数据都收集好才能做好工作呢？&/p&
&p&答案是否定的，因为数据都是有成本的，开展一个金融业务，从数据、模型、服务再到最后的收益，更为关键的是业务本身的形态，再进一步扩展至产品、场景，我们会发现不同的场景面对不同的客群，风控关注的风险点都会有一定的差异，再反过来寻找能够表征这些风险点的数据也会有所侧重。因此，如果要厘清大数据风控该用哪些数据，首先要对风控场景有所了解，其中最为核心的是理解不同场景下要抓住哪些金融风险。&/p&
&h2&金融风险的理解&/h2&
&p&风险的概念比较大，为了给大家提供一个最基本的视角来了解，下面以线上信用贷款举例来阐述，这也是互联网消费金融最主要的方向之一。在这个场景下，我们面临的风险主要是信用风险和欺诈风险两块。&/p&
&p&首先是欺诈风险，据数字，在中国，互联网金融50-70%的损失来自欺诈，这也可以说是风控业务中最困难的地方。造成这种现状的原因比较多，一方面是诸如现金贷类型的消费金融短期爆发式发展，大量创业公司涌入赛道以互联网获客运营的流量思路做金融，与此同时相应的风控经验和能力缺失，因此给专业的欺诈分子暴露了较大的风险敞口，通过简单研究业务规则漏洞，并通过互联网传播，可能带来较大的损失；另一方面也是欺诈产业链自身研究实力不断的完善有关，现在的欺诈已经从以往单一的个人欺诈演变为有组织、有规模的集团化欺诈，链条上盗号，数据泄露作为基础账号库，已衍生出一系列包括黑产交易、ID Mapping、定向攻击的完整产业链，其中的分工和技术也非常专业和精细化。&/p&&br&&img src=&/v2-e437ccc8aa5b9c600cddd8_b.jpg& data-rawwidth=&454& data-rawheight=&365& class=&origin_image zh-lightbox-thumb& width=&454& data-original=&/v2-e437ccc8aa5b9c600cddd8_r.jpg&&&br&&p&举个例子，这种设备称为养卡设备，俗称“猫池”，
实际上就是一个号码卡插槽，可以在不拆卡的情况下将整张卡插到猫池里，连接电脑后使用，还可以接收短信验证码。现在在各种平台注册时都需要填写短信验证码，“刷手”为了获取平台的福利会利用猫池养卡，规避平台的身份确认短信。&/p&&br&&img src=&/v2-c03aff34c5dcf1e0df17_b.jpg& data-rawwidth=&441& data-rawheight=&385& class=&origin_image zh-lightbox-thumb& width=&441& data-original=&/v2-c03aff34c5dcf1e0df17_r.jpg&&&br&&p&再比如短信拦截马，这是一种可以拦截他人短信的木马，让被攻击者收不到短信，并将短信内容截取到攻击者手机上。这种木马最常见的是通过钓鱼、诱骗、欺诈等方式诱导用户安装，然后通过拦截转发用户短信内容，以此获取各种用户重要的个人隐私信息，如用户姓名、身份证号码、银行卡账户、支付密码及各种登录账号和密码等，造成这些信息的泄露，再利用此信息从而达到窃取用户资金的目的，严重威胁用户的财产安全。&/p&
&p&第二块简单谈一下信用风险，其定义是借款者违约的风险，换句话说，也就是借款人因各种原因未能及时、足额偿还债务或贷款而违约的可能性。一般，我们会从还款能力和还款意愿两个角度去分析信用风险，但在小额信用贷场景中，由于额度一般为2000左右，少就几百，多也就5000，一个正常有工作的人很少会不具备按期还款的能力。所以在这点上我们更多的是从还款意愿角度来看，即借款人对偿还贷款的态度，现实中有不少人会借钱不还，这就是常说的“老赖”，如果我们以违约概率的目标去识别他，还是能挑出不少有正常借款意图的人。&/p&
&h2&大数据风控体系的初步构建&/h2&
&p&现在我们有了对大数据和风险的基本认知，但如何真正从大数据提炼出风险表征，并进一步转化为实时的金融风险决策服务呢？事实上，这需要重构一整套风控数据架构体系，过去传统金融机构在身份属性和信用属性的数据上沉淀了丰富知识，但在互联网金融业务中，用户能够关联的更多是消费、社交和行为类数据，且越是小额分散的业务，数据的金融属性越弱。近两年小额现金贷也正是由于这部分数据的风控知识体系缺乏，因此陷入高利率覆盖高坏账、暴力催收等乱象。&/p&
&p&随着监管趋严和行业愈加规范化，大数据风控，尤其是基于弱数据的风控正成为线上信用贷业务最重要的核心竞争力，除了基本的身份验证、合规、黑灰名单、规则过滤以外，要防控欺诈风险和信用风险，还需做好以下三个维度的准备：&/p&
&p&第一是设备层面，现在成熟的APP都需要辟如更换登录设备时重新输入短信验证码，或者登录时得手动滑动验证码等，这些既是挡住黑产的第一道关，也是后续风控的重要数据基础。&/p&
&p&第二是知识体系层面，拆解开来看，核心有2点，一是知识工程，二是模型。目前最领先的消金机构都有一套相对成熟的针对特定数据domain的风险特征库和分客群、分目标的模型，比如反欺诈模型、申请评分模型、风险行为预测模型等，贷后还会有催收模型、客户流失预测模型等。在这过程中，引入AI处理弱数据，并在大量样本上不断迭代模型是关键。&/p&
&p&第三是系统层面，试想我们有了清晰的数据认知，结合到场景和风险理解我们也摸索了一套经验证的数据使用方式，但如何与我们的业务系统对接，成为实时的数据服务？这还需要一个完整的支持数据接入、加工处理、得出结果以及监控管理的在线引擎。随着线上个人贷款规模的爆发式增长，控制风险、解放人力已成为最紧迫的需求，数据智能自动化引擎是机构“跑起来”的强大推动力。&/p&
&h2&风控与征信&/h2&
&p&最后，简单谈一下大数据风控和征信的区别，不少同学会认为风控公司就是征信公司，这其中还是有较大区别的，尤其在大数据领域。&/p&
&blockquote&据百科，&i&征信是专业化的、独立的第三方机构为个人或企业建立信用档案，依法采集、客观记录其信用信息，并依法对外提供信用信息服务的一种活动，它为专业化的授信机构提供了信用信息共享的平台。&/i&&/blockquote&
&p&应该看到，征信所对应的数据还局限在开头所说的身份属性和信用属性范围，也就是强金融数据，而大数据风控认为所有数据都是风险数据，更侧重于将弱数据金融化，再提炼出风险表征。因此，征信本质是大数据风控的子集，覆盖的人群和应用领域也更为狭窄。当下大数据风控和征信的确还处于混业经营的状态，但随着行业发展，可预见市场还会逐渐细分，届时前者将更注重在数据生态体系上的经验和沉淀，后者则侧重在独立性和公信力以及监管合规等方面。&/p&
随着监管趋严和行业愈加规范化，大数据风控，尤其是基于弱数据的风控正成为线上信用贷业务最重要的核心竞争力。
授权发表）
近日，中国人民银行成立金融科技（FinTech）委员会，旨在加强金融科技工作的研究规划和统筹协调。
&p&直接上图更直观。通话记录能够拿到的数据比你想的要更多。&/p&&p&1. 验证你提供的紧急联系人是否经常联系，如果没有通话记录那么通常都有欺诈的嫌疑。
2. 验证你的联系人以及二阶人脉中是否在黑名单中，这个很好理解吧，老赖或者骗子通常都是群体关联的。
3. 查你的手机号和法院，110，银行以及各类信贷机构的通话记录。法院和各种欠款黑名单都有滞后性，如果经常和这些机构的通话记录很多，那么已经就有可能已经有了欠款或者已经借了不少钱。
4. 验证京东还有个作用就是收货地址，这个既可以用来和自己填写的地址，定位地址做比较，也可以用在后续的委外催收上。&/p&&p&还有一些其它的规则，基本上都是各家机构根据自己历史数据分析出的结论，就不展开说了，这些数据也是风控模型的主要数据来源。用联系人做后续的电话催收已经出逾期之后的事了。&/p&&br&&img src=&/v2-f05dcb47ec23c2dd25b70_b.png& data-rawwidth=&576& data-rawheight=&916& class=&origin_image zh-lightbox-thumb& width=&576& data-original=&/v2-f05dcb47ec23c2dd25b70_r.png&&&br&&a href=&/p/& class=&internal&&为什么说CPS购买流量对甲方也会不利？ - 知乎专栏&/a&&br&&a href=&/p/& class=&internal&&现金贷获客买注册被刷量了怎么办？ - 知乎专栏&/a&&br&&a href=&/p/& class=&internal&&剩余流量理论和信贷获客 - 知乎专栏&/a&&br&&a href=&/p/& class=&internal&&从现金贷存量客户激活谈起 - 知乎专栏&/a&&br&&p&不少朋友看了截图问我借贷通哪里可以下载，其实借贷通并不是一个数据查询工具，而是一个垂直信贷领域的智能广告网络，数据的价值在于精准获客并提升流量利用效率，对于信贷产品风控和获客感兴趣的朋友可以加入小密圈交流。&/p&&p&&a href=&///?target=http%3A///bIAur3b& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&/bIAur3&/span&&span class=&invisible&&b&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a& (二维码自动识别)&/p&
直接上图更直观。通话记录能够拿到的数据比你想的要更多。1. 验证你提供的紧急联系人是否经常联系，如果没有通话记录那么通常都有欺诈的嫌疑。
2. 验证你的联系人以及二阶人脉中是否在黑名单中，这个很好理解吧，老赖或者骗子通常都是群体关联的。
&img src=&/50/v2-3b2d664d6175bed818ac_b.jpg& data-rawwidth=&1280& data-rawheight=&960& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&/50/v2-3b2d664d6175bed818ac_r.jpg&&&p&今天，百度与中国农业银行达成战略合作，合作领域主要是金融科技、金融产品和渠道用户，双方还将组建联合实验室、推出农行金融大脑，在智能获客、大数据风控、生物特征识别、智能客服、区块链等方面探索。在此之前，BAT都已喊出要开放金融科技能力、与传统银行牵手的口号，不过，截至目前与国家四大行级别的银行达成金融科技领域战略合作的，并全面输出AI能力的，还只有百度金融一家。百度金融之所以快人一步，关键还是在于AI技术驱动的金融科技能力，对传统银行是雪中送炭。&br&&/p&
&h2&传统银行拥抱人工智能技术&/h2&
&p&近年来随着银行业的开放和金融科技的大势所趋，越来越多的科技公司开始涉足到银行业的传统业务。近日，定位为“科技驱动的O2O银行”的苏宁银行开业，更早之前还有小米主导的新网银行、腾讯主导的微众银行和阿里主导的网商银行创立或开业。这些银行都瞄准传统银行未能顾及的长尾客户和场景，提供金融服务，对传统银行还构不成威胁，但通过金融科技和互联网渠道开展业务已经展现出很强的竞争力，传统银行也积极回应，积极拥抱新技术，尤其是人工智能技术更是在银行业掀起了从BANK3.0到BANK4.0的升级的趋势，即从互联网化到智能化的转变。&/p&
&p&在AlphaGo战胜李世石之后各行各业都被人工智能的发展进程所惊醒，金融业同样不例外。百度CEO李彦宏曾表示，“未来简单重复的脑力劳动都将被人工智能取代，人类每周将工作两天休息五天”，这个预判在我看来并非危言耸听，重复性强的岗位如编辑、翻译、医生、教师、保安……都会被机器替代，其中银行业则首当其冲。&/p&
&p&三年前，高盛纽约总部现金股票交易柜台拥有超过600名交易员，今天这个柜台只剩下2名交易员。去年三季度起，美国银行、花旗和摩根大通关闭了至少400个线下网点，因为柜台的面对面服务完全可以通过智能手机等线上渠道自助完成。银行业的分析师、风控师、保险精算师、柜台柜员，许多职位都在被机器所取代。&/p&
&p&之所以金融业被AI影响最直接，用李彦宏的话说，是因为“金融的数据化本质，加上业务规则清晰，使它成为人工智能最佳的应用场景。”这对于部分银行从业人员和那些不重视科技依靠堆人而展开业务的银行而言将是巨大挑战，但对于整个银行业来说却是机遇，因为人工智能将会大幅提升效率，同时更智能的决策可以带来更好的业绩回报，为客户提高投资回报率、降低投资风险。因此银行业对于人工智能已十分积极，都在努力从BANK3.0向BANK4.0升级。&/p&
&h2&互联网巨头积极开放金融技术&/h2&
&p&银行业对于AI技术很重视，一些大型银行已经走上了自主研发和应用AI技术的道路。在去年12月招行就推出了中国银行业首个智能投顾“摩羯智投”，这家传统银行每年在IT上投入50亿元，并且计划从2017年开始，每年将利润的1%用来投入金融创新和金融科技。还有一家对新技术持续投入的银行是工行，其董事长易会满不久前透露，“工行在总行已经成立了七大创新实验室，包括人工智能、云计算、区块链、生物识别、大数据和互联网金融。”然而，传统银行并不擅长人工智能技术，对于技术投入力度也远远赶不上科技公司。&/p&
&p&招商银行积极投资金融科技，但研发投入不及BAT、华为的十分之一，其将利润的1%拿出来投入，而互联网公司则是将营收的两位数比例投入到研发。在普华永道旗下管理咨询机构思略特(Strategy&)公布的“2016年全球创新1000强”的中，阿里巴巴、百度和腾讯上榜的前十中，没有一家银行。因此，传统银行在技术投入上还有更大的进步空间。&/p&
&p&互联网公司布局金融科技则与传统银行相反，不只是重视还十分依赖技术。百度金融在2015年12月成立以来就将技术当根本，大量将百度擅长的人工智能和大数据技术应用在风控等领域，在前期百度发展消费金融等业务时，语音识别等人工智能技术已被广泛应用，实现远程开户、贷款秒批等体验。腾讯旗下的微众银行也将技术视作核心竞争力，成立之初就采取了分布式和去IOE架构，同时积极应用生物识别、大数据技术、人工智能、区块链等新型技术来展开业务。阿里旗下的网商银行在大数据风控、生物识别等技术上布局，有消息称阿里网商团队有超过一半是技术人员。&/p&
&p&重视且擅长技术的互联网巨头瞄准传统银行的痛点，纷纷启动开放战略。微众银行积极将其去IOE架构分享给传统银行业，其还上线了智能云客服“微金小云”并将之开放给中小银行。建行则与阿里巴巴、蚂蚁金服牵手进行线上线下合作。百度金融的开放路线更加激进，且主线是银行业眼下急缺的人工智能技术，这让它跟其他科技公司路线不同，开放之路也走得更快。&/p&
&h2&AI+金融的开放让百度快人一步&/h2&
&p&这一次，百度金融与农业银行在金融科技领域合作的重头戏是人工智能，具体包括人工智能和大数据在智能获客、大数据风控、生物特征识别、智能客服、区块链等方向的应用，可以看到每一个方向都是AI相关的应用。事实上，人工智能技术也是百度金融科技开放的主线。百度金融在去年就已上线“金融云”向金融机构输出包括人工智能等六大技术能力在内的全套金融解决方案；在今年数博会上，百度与贵州省政府金融办、大数据局联合推出了“贵州金融大脑”，通过智能风控帮助当地中小企业贷款。&/p&
&p&百度金融每一次技术开放动作都与人工智能技术息息相关，这不难理解。&/p&
&p&一方面，银行业眼下正面临从BANK3.0到BANK4.0升级的关键时期，普通互联网技术已经不再急缺，人工智能技术是银行业最匮乏也最难自给自足的，必须要借助于外部力量；另一方面，人工智能技术是百度最擅长的领域，它在2013年就已建立深度学习实验室，现拥有超过上千名AI工程师，在语音、图像、自然语言处理诸多技术上形成了优势，同时百度还有人工智能技术要生效的海量大数据（不只是金融，还有社交、生活、娱乐、交易、位置等综合大数据），这些AI技术和大数据被应用到百度金融业务中，同时百度金融也沿袭了百度重视技术、AI为先的路线。&/p&
&img src=&/v2-e249d056c6df73bacf83cc5b7e4a2574_b.jpg& data-rawwidth=&800& data-rawheight=&411& class=&origin_image zh-lightbox-thumb& width=&800& data-original=&/v2-e249d056c6df73bacf83cc5b7e4a2574_r.jpg&&&p&现在百度金融已储备了AI驱动的七大科技能力：智能获客、身份识别、大数据风控、智能投顾、金融云、智能客服、区块链。这些能力通过类似于“农行金融大脑”这样的平台开放给传统银行，可以说是雪中送炭。事实上，要获得这些金融科技能力，传统银行最佳选择也只有百度，因为百度技术优势明显。&/p&
&p&例如身份识别认证中的语音识别技术可应用于声纹支付等场景，安静环境普通话识别率近97%，车载环境普通话识别率92%，即使在嘈杂环境，也能精准识别；再比如应用于远程开户的图像识别技术，以百度目前技术水平，只需要1勒克斯（即1个蜡烛的光照在1平米上的亮度），就能够准确识别，判断用户身份真实性。还有活体识别技术，百度已经在乌镇互联网大会实现了搭载百度人脸识别技术的闸机的部署，并在与泰康人寿合作中利用人脸识别技术实现了线上投保的身份验证；与同牛科技合作中，在用户注册、认证、授信、还款的全流程中，通过人脸识别完成用户注册后的身份核实。对于银行业而言，通过与百度的合作则可将百度的OCR技术应用在防伪识别、印鉴识别、票据验真等方面，从而解决银行业最头疼的“萝卜章”问题，百度在这些技术能力上都具有很强的行业竞争力，并且在金融行业中可以充分发挥作用。&/p&
&img src=&/v2-3b2d664d6175bed818ac_b.jpg& data-rawwidth=&1280& data-rawheight=&960& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&/v2-3b2d664d6175bed818ac_r.jpg&&&img src=&/v2-bdbac19cd55ad_b.jpg& data-rawwidth=&800& data-rawheight=&533& class=&origin_image zh-lightbox-thumb& width=&800& data-original=&/v2-bdbac19cd55ad_r.jpg&&&p&百度是互联网巨头中唯一一家将AI当成技术主线进行开放的，与农业银行的战略合作验证了百度AI技术对于传统银行的号召力。作为四大行之一的农业银行或许也会掀起头羊效应，吸引更多传统银行吃上百度的AI金融能力。在发布这一战略合作时，百度高级副总裁朱光公布了百度金融实现金融科技目标的“三步走”战略——夯实金融业务、搭建金融平台、输出金融科技，现在百度已经走到第三步，回顾百度金融从成立以来的路线也不难发现，押注人工智能技术让百度金融实现了弯道超车，在开放之路上人工智能技术会让百度金融走得更远。&/p&
&p&微博@互联网阿超&/p&
罗超频道（luochaotmt）&/p&
今天，百度与中国农业银行达成战略合作，合作领域主要是金融科技、金融产品和渠道用户，双方还将组建联合实验室、推出农行金融大脑，在智能获客、大数据风控、生物特征识别、智能客服、区块链等方面探索。在此之前，BAT都已喊出要开放金融科技能力、与传统…
&img src=&/50/v2-ad22c8a1a641_b.jpg& data-rawwidth=&480& data-rawheight=&290& class=&origin_image zh-lightbox-thumb& width=&480& data-original=&/50/v2-ad22c8a1a641_r.jpg&&&p&高风险、高收益是金融行业永恒的标签。也因如此，金融行业非常重视风控。据多位资深金融人士表示，从事风控后，他们总是处于战战兢兢的忧虑中。他们上一次大规模的忧虑发生在十几年前。世纪之交的美国缺乏对于风控意义的认知，明明借着互联网的东风却在半途摔了个七零八落。&/p&&p&新科技的出现必然会对原行业产生一定影响。技术无所谓利弊，问题在于人的使用。在风控得到足够重视，AI成为最热门科技的现在，诸多从业人士不由得开始思考AI的应用价值，如何将AI与风控相结合并发挥出其积极作用？&/p&&p&本期雷锋网公开课邀请到氪信资深数据科学家朱敏来分享他的从业经验，深度讲解如何构建基于AI的金融风控系统。&/p&&h2&嘉宾简介：&/h2&&p&朱敏，氪信资深数据科学家，深耕应用统计和数据挖掘领域。复旦大学生物统计学硕士，曾任职PayPal高级分析师，负责核心风险控制数据变量、排序策略、评价指标的设计研发，并在反欺诈策略、行为特征等方面拥有丰富的研究经验。曾任职eBay数据分析师，负责AB测试与搜索算法的评估。多年以来专注金融统计和风险评估算法研究，在互联网级别的机器学习算法和统计理论商业应用领域有着丰富的理论研究和实践经验。&/p&&img src=&/v2-1ccd33aeeb326f_b.jpg& data-rawwidth=&233& data-rawheight=&281& class=&content_image& width=&233&&&br&&p&&em&以下是本次公开课实录，雷锋网(公众号：雷锋网)做了不改变原意的编辑：&/em&&/p&&p&今天给大家分享的主题是AI在金融风控领域的工业应用，我主要负责数据和模型，所以今天的公开课除了分享宏观想法，在具体实践方面也会比较偏模型和数据。其实这个主题是非常大的topic，所以会聚焦到金融尤其是消费金融领域，阐述我们氪信是怎样利用互联网、机器学习和人工智能技术和经验去解决实际问题的。&/p&&h2&金融AI时代已到来？&br&&/h2&&p&首先我想跟大家分享三个数字——40万亿消费信贷、35%征信覆盖以及44ZB数据。&br&&/p&&p&有资料显示，2019年中国的消费信贷市场会达到40万亿，而在2015年这个数字还只是20万亿，这几年都保持着很高的增长速度。我们可以看到市场规模很大，并且在不断变大。 &/p&&p&而征信覆盖率并没有保持与市场规模的同步。第二个数字是35%，这是指消费金融领域只有35%的客户是有征信记录的，剩下65%没有信用记录，所以并不能用传统、成熟的风险评估方法去评估这些人的风险。&/p&&p&第三个要分享的数字是44ZB。对于65%没有传统征信数据的这类人，我们可以收集其他相关数据去评估，这相关数据可能是申请资料、互联网使用记录、通信记录等。而由于现在硬件的发展、数据收集的自动化，我们是可以收集到很多数据的，这个数据量也很庞大。大数据一方面是好事，另一方面也是一个难题，例如怎么运用一些技术手段从大量的数据中提取信息。而我们觉得消费金融是切入AI商业场景一个很好的契机。&/p&&h2&大数据时代金融风控之痛&/h2&&p&大数据时代金融风控市场规模大，需求旺盛，但要解决的问题很多。&/p&&p&从技术层面上来讲，有三个问题。&/p&&ul&&li&&p&第一是价值困境，虽然已经意识到了大数据的价值，但不知如何实践，怎样从数据中挖掘出有用的信息。&/p&&/li&&li&&p&第二是高维困境，对于65%未被传统征信覆盖的人群来说，他们的特征维度非常高，往往会产生上千维变量，那么该如何处理高位特征，如何将其有效融合，形成1+1＞2效果？&/p&&/li&&li&&p&第三，敏捷困境。在人工智能和风险评估不断发展的同时，我们的敌人的欺诈演变速度也非常快。一旦发现了业务上的一个漏洞，它就会去钻模型的缺陷，利用缺陷来达到利益最大化。而单一的个体欺诈也正在演变成有组织、有规模的群体欺诈。&/p&&/li&&/ul&&p&从战略层面来说，以上问题带来的后果是风控决策低效耗时，员工成本会很高，坏账率则更高。在金融场景里，一定需要人工智能、机器学习去帮助解决问题。&/p&&h2&构建基于AI的金融风控系统&/h2&&img src=&/v2-a68a57ab92dedd842bd4f0_b.jpg& data-rawwidth=&740& data-rawheight=&411& class=&origin_image zh-lightbox-thumb& width=&740& data-original=&/v2-a68a57ab92dedd842bd4f0_r.jpg&&&br&&p&上图展示了一个理想的基于AI的金融风控系统。从左往右讲，我们一开始会去收集各个层面的数据源，这些数据源里包括交易数据、高价值黑名单，这些都是比较常见的传统信用数据。此外，我们也会搜集互联网行为、运营商数据、信贷申请资料等。&/p&&p&不同的数据源融合到一起的时候也会借鉴知识图谱技术，在知识图谱之上再去构建高价值金融属性的特征。&/p&&p&数据融合后有上千维度特征，接着我们会做一个基于深度学习的特征加工工程。再下一步是构建模型，这里列出了一些非常主流的机器学习、深度学习模型，像XGBoost或者是深度神经网络，这些模型再加上已经加工出的高价值金融特征，我们觉得这样就可以解决实际金融风控当中会遇到的问题。&/p&&p&而在解决问题过程中，经验会被抽象化，所以我们也会把这些经验转变成一个产品。上图列出了几个风控引擎，包括把刚刚提到的金融特征做成特征引擎、模型引擎、规则引擎，这些产品会帮助我们更好地积累数据，也更好地把已经积累的经验应用到更多场景中去。&/p&&p&接下来的内容也会按照这个模型来讲，首先是数据管理，关键字就是金融的知识图谱。第二部分是基于深度学习的特征工程。最后是集成模型，就是我们怎样把这些数据特征构建成一个分类模型来帮助我们判断。&/p&&h3&知识图谱：重新定义金融数据架构体系&/h3&&p&首先看知识图谱。知识图谱是谷歌在2012年5月发展出来的可以将搜索结果进行知识系统化，任何一个关键词都能获得完整的知识体系。本质是一个语义网络，是一个基于图的数据结构。在知识图谱当中，实体会被表示成一个节点，节点和节点之间会用关系来连接，所以这个构造方式和传统关系型数据网络是完全不同的。&/p&&p&在金融场景里，相比于传统的关系型数据库，它存在一些优点。&/p&&p&首先，金融知识图谱可扩展性更强。我们收集到的数据源无论是从结构上还是内容上来说，其实都有很大差别。如何管理这些不同结构和内容的数据源从来就是关系数据库一个大问题。&/p&&p&但是如果把所有的数据和知识都表示成知识图谱可以接受的结构，我们就可以把异质异构的数据统一融合在一起。无论是新的数据源变化，还是原有数据源的数据结构发生变动，都可以灵活地调整。这个灵活也是基于知识图谱的特点，无论是对于节点还是对于关系而言，增加或者更改它的属性都是非常灵活的。&/p&&img src=&/v2-a6cf1c6fe980aabde108e1a3_b.jpg& data-rawwidth=&740& data-rawheight=&421& class=&origin_image zh-lightbox-thumb& width=&740& data-original=&/v2-a6cf1c6fe980aabde108e1a3_r.jpg&&&br&&p&从上图中，我们可以看到在金融风控中用到的数据还是很多的，包括历史积累数据、实时数据、第三方数据。分类方法当然有很多，但无论是怎么去看数据格式、结构都会完全不一样。&/p&&p&如果构建到统一的金融图谱当中去，对于下游的特征加工和模型其实会有很大帮助。对于数据库某一个数据结构的依赖就不是那么强，我们只要优化金融知识图谱的知识结构，工作中的相关问题都可以得到解决。&/p&&h3&基于知识图谱的社交网络分析&/h3&&img src=&/v2-bd6a6adfabd4e2ea92abfcd4b0ad3af4_b.jpg& data-rawwidth=&740& data-rawheight=&406& class=&origin_image zh-lightbox-thumb& width=&740& data-original=&/v2-bd6a6adfabd4e2ea92abfcd4b0ad3af4_r.jpg&&&br&&br&&p&金融知识图谱的第二个优点从上图中就可以看出来，知识图谱比较直接。用户面对的关系型数据库主要是表。而知识图谱可以将这些关系构建成图，更加可视化。 &/p&&p&反欺诈是很重要的一点，在反欺诈中我们经常会做交叉验证。一个用户有来自不同数据源的特征，如果它们描述的是同一件事情，那我可以去对它们做一个验证。如果这个进程中出现了矛盾，我们会觉得这个人的风险等级偏高。我们设想了一个场景，在这个场景下单独个体的数据源比较单一，在这种情况下，交叉验证是根本没有办法发现矛盾的。而知识图谱可以帮助我们。&/p&&p&上图两个例子印证了知识图谱的可视化和表现力。先看左边，我们要去判断这幅图中蓝点这个人的风险等级，我们能够拿到此人相关的信息有手机号、邮箱等。从这个个体的单一信息上面来看，其实很难判断他的风险等级的高低，但是如果我们把他置于一个网络，比较个体和个体的话，我们会发现一个有意思的地方——他的邮箱和好几个其他个体的邮箱是相同的，并且这几个人在我们的判断中已经是坏人，那么对于这个申请用户风险等级也就有了一个判断。&/p&&p&右边还有一个判断用户风险的例子。如果只看他的手机号或者邮箱，目前比较成熟的方法是去看邮箱是不是乱码注册的或者其他。而把他置于网络中后，我们会发现他的手机号和很多用户的手机号都有联系，并且都是单向的联系。那这个其实是很明显的特征——骚扰电话，类似中介或者是广告骚扰。基于这一点，也可以形成对于这个人的风险等级判断。&/p&&p&这两个例子都很好展示了知识图谱能够包含更多的信息量。这个信息量是可视化的，如果有专家人工去看这些案例的话，会从中找到一些特征来判断这个人的风险等级高低。而在一些先进算法的作用下，可以自动地从社交网络中发现一些特征，自动判断哪些是好人哪些是坏人。&/p&&h2&深度学习：超越人工定义的深度以穷尽风险&/h2&&p&接下来讨论一下特征。数据量大，维度很高是消费金融风控必然会遇到的实际问题。此外，还会遇到很多非结构化数据，例如文本、图像等。这些都不是传统征信会遇到的问题，而这在深度学习领域会有一些很成熟的应用。&/p&&p&深度学习的本质是特征学习的过程。对于人工难以加工的海量非结构化数据，基于深度学习的特征生成框架自动生成特征，能够弥补人工定义特征的局限性。&/p&&h3&DNN文本类数据特征提取框架&/h3&&img src=&/v2-075feddce640a996e22b_b.jpg& data-rawwidth=&740& data-rawheight=&415& class=&origin_image zh-lightbox-thumb& width=&740& data-original=&/v2-075feddce640a996e22b_r.jpg&&&br&&p&首先说文本类数据特征提取框架。 金融风控过程中其实会遇到很多这样的非结构化数据，比方说申请资料的文本信息，或者是经过授信和合规要求的通讯文本。对于这些文本的分析，NLP领域其实已经有一些很成熟的技术，比如说CNN。而在金融场景中也能提取一些特征。如果这些特征能进入接下来的分类网络中去，它也可以去学习到好人或者坏人的特征。&/p&&p&实践的第一步是文本数据预处理，提取分词或者是关键词，并将每一个词做向量化的表示，然后这些向量化表示会进入一个卷积神经网络，并从这个卷积神经网络中去提取特征。下一步，这些特征会进入一个全连接的神经网络去学习分类，做成分类器。 &/p&&p&此外，嵌入学习在其中也展现了很大作用。虽然我们用小规模文本库去学习词向量来做特征也不是不可以，但是我们发现如果使用业界比较成熟的大规模语料库，能提升特征提取的性能。&/p&&h3&DNN时序类数据特征提取框架&/h3&&img src=&/v2-eacca05ba1ce_b.jpg& data-rawwidth=&740& data-rawheight=&418& class=&origin_image zh-lightbox-thumb& width=&740& data-original=&/v2-eacca05ba1ce_r.jpg&&&br&&p&另一个例子是时序类数据特征提取框架，一句话来说就是，合并学习不同周期和时序模式的循环神经子网络，有效捕捉时序数据的特征隐含信息及不同时序模式下的协同影响 。&/p&&p&在实际中我们会遇到一些问题，比如并没有那么大的工作量去了解每一块的数据具体是什么样子的，分布是什么样的， 特征可以怎么提取。所以时序类的特征其实可以借鉴深度学习里的长短时记忆技术来做相同的事情，去做时间序列的分析。它主要考虑就在NLP里，用在文本比较多，就是说上下文之间是有关系的，根据这样的关系来构建一个提取特征的网络，我们把这样的思路借鉴到了通讯记录或者是交易记录当中。&/p&&p&在实际应用中，时序类特征可能是通话记录或者交易记录，所以它的特征不只是在一个阶段面上去提取，还在时间轴上去提取。金融场景中，我们把通话记录分成了不同的周期，按照不同的周期构建了三个LSTM子网络，并且会对这三个时序模式LSTM子网络做一个混合， 这样能大大减少时序数据分析和提取特征的工作量。&/p&&h3&融合机器和专家经验，实现全量价值提取&/h3&&img src=&/v2-153a9aefd818e41a9727e_b.jpg& data-rawwidth=&740& data-rawheight=&416& class=&origin_image zh-lightbox-thumb& width=&740& data-original=&/v2-153a9aefd818e41a9727e_r.jpg&&&br&&p&这里还要提到一点，虽然刚才一直提深度学习特征，但是专家的特征也很重要。我们会融合机器和专家经验，实现全量价值提取。因为我们相信专家多年积累下来的成熟的风险评估方法也很有效。基于深度学习的特征智能生成框架，使用不同网络结构拟合不同的数据类型，自动从庞杂、非结构化的数据中生成高质量的深度学习特征，并且与专家人工特征结合共同融入模型。融合特征才会交给下一步模型去学习。&/p&&h2&集成模型：最大化AI与现有业务的结合深度&/h2&&img src=&/v2-0b1fb8d8e7add2cb15f4a84c_b.jpg& data-rawwidth=&740& data-rawheight=&423& class=&origin_image zh-lightbox-thumb& width=&740& data-original=&/v2-0b1fb8d8e7add2cb15f4a84c_r.jpg&&&br&&p&前面已经说了数据和特征，现在说集成模型。&br&&/p&&p&集成学习模型的优势表现在两点：&/p&&ul&&li&&p&不同维度/领域的数据具有不同的特点 ，需要使用不同的建模方法，集成学习框架可以支持不同类型模型算法作为子模型。集成模型成果已经很多，所以用集成模型会帮助提高模型的性能是毋庸置疑的。&/p&&/li&&li&&p&此外，在实际做金融风控的时候，从一个用户的角度来讲，我们能看到很多金融产品，例如分期产品或者消费金融产品，不同产品额度上也会不同，客群不同，获客渠道也不同（线上获客、地推获客）。面对不同的业务方式时，我们最终要抓住的坏人也是完全不同的，所以这要求我们构建不同的模型。那么这是不是要求我们面对不同业务场景都要从零开始去做数据、特征、建模呢？&/p&&p&并非如此。单独领域的子模型可以快速迁移应用到新业务领域，实现快速成型和持续优化。&/p&&/li&&/ul&&p&这在实践中最好的应用就是冷启动，对于一个新上的业务，所遇的坏人与以往的业务是完全不一样的，坏人所采取的欺诈手段也是完全不同，但是因为用了集成模型，有些特征、数据、模型经验都是可以借鉴的，这会有很大的帮助。&/p&&h3&集成学习模型在大型现金贷场景的实际应用&/h3&&img src=&/v2-a5eea5e9bcf630e11f4b85e099b52706_b.jpg& data-rawwidth=&740& data-rawheight=&417& class=&origin_image zh-lightbox-thumb& width=&740& data-original=&/v2-a5eea5e9bcf630e11f4b85e099b52706_r.jpg&&&br&&p&上图对之前的内容做了一个汇总。数据有结构化、非结构化之分，并根据不同数据的特点进入不同的特征提取框架。和关系比较近的数据，用网络关联特征的方法去提取；有些数据是文本、图像，用卷积神经网络的方法去提取；时序类的数据，用LSTM方法去提取特征 ；还有专家人工特征提取框架。&/p&&p&综合特征提取框架，综合评估产生三种风险评分：行为风险、社交风险、语义风险。 &/p&&ul&&li&&p&社交风险其实主要是从网络关联特征体系框架这一块延伸上来的。&/p&&/li&&li&&p&行为风险主要从互联网的行为、运营商这一块延伸上来。&/p&&/li&&li&&p&语义风险主要从申请资料、通讯文本两方面来评估。&/p&&/li&&/ul&&p&最后根据这三块风险做一个集成模型，然后给出违约概率。&/p&&p&集成模型能提高性能，氪信之前将集成模型应用到大型消费金融场景中。他们之前的风控用到的特征也不多，判断模型的分类性能的 KS值指标也比较一般。在和我们合作后，运用了刚才提到的技术和框架，模型的性能提升还是非常明显的，KS值从0.19提升到0.35。从业务来看，他们的坏账率直接下降了46%。&/p&&h2&基于网络的反欺诈应对线上群体欺诈&/h2&&img src=&/v2-ba4c83d49b2dc63dcd4f02_b.jpg& data-rawwidth=&740& data-rawheight=&413& class=&origin_image zh-lightbox-thumb& width=&740& data-original=&/v2-ba4c83d49b2dc63dcd4f02_r.jpg&&&br&&p&接下来再说说基于网络的反欺诈。举个虚假申请的例子。&/p&&p&某个人通过篡改个人资料，提出贷款的申请，这个可以通过交叉验证来判断此人的风险等级。&/p&&p&但是在另一个场景，比如有人申请资料时，用的完全是张三的资料，因为张三的风险评级很安全。这种情况下对于金融这风控机构而言，评估是比较困难的。如果没有人工介入，这个人的风险评估都是基于张三的信息来做的。对于这种虚假的申请，若只根据个体的资料去判断，难度是相当大的。但是把他放到社交网络中情况会不同。不同的人共享了相同的属性或者相同的资料，那么我们就会有风险的疑虑。&/p&&p&还有群体欺诈。这主要是说在时间或者空间上的高频率焦点，或是高频率申请。一个简单的例子，我们发现申请资料的数量大得超出历史，然后这些申请资料，比方说手机定位的位置都来自于同一个地区，如果能排除线下获客的可能，这会是很奇怪的一件事情，存在很高的群体欺诈风险。&/p&&img src=&/v2-aedbc86d20b6e1bd_b.jpg& data-rawwidth=&740& data-rawheight=&420& class=&origin_image zh-lightbox-thumb& width=&740& data-original=&/v2-aedbc86d20b6e1bd_r.jpg&&&br&&p&前面也已经提及了两个社交网络中交叉验证的例子。这里展示的是网络反欺诈流程。&/p&&p&首先收集数据，然后构建网络，基于这样的特征进行社交网络分析，构建反欺诈的规则。当然也会把这样的可视化展示给专家，专家会从可视化的社交网络中发现一些规则，然后利用这些规则去做早期反欺诈预警，包括把这些规则当作一个特征放到反欺诈模型当中。 &/p&&p&一方面，社交网络分析可以去做规则、模型，另一方面是它的可视化可以帮助我们融入专家的力量。所以这将构成一个闭环。我们从网络当中学习到了特征、运用的规则，专家会从规则当中获得启发，并提出新的规则，规则反馈给网络，告诉网络什么关系是值得怀疑的，这会是一个良性的循环。&/p&&p&我的分享就到这里，谢谢大家。&/p&&p&雷锋网公开课视频实录&/p&&p&&a class=&video-box& href=&/?target=https%3A///x/page/x03943g05pe.html& target=&_blank& data-video-id=&& data-video-playable=&& data-name=&AI在金融风控领域的工业应用_腾讯视频& data-poster=&/qqvideo_ori/0/x03943g05pe_228_128/0& data-lens-id=&&&
&img class=&thumbnail& src=&/qqvideo_ori/0/x03943g05pe_228_128/0&&&span class=&content&&
&span class=&title&&AI在金融风控领域的工业应用_腾讯视频&span class=&z-ico-extern-gray&&&/span&&span class=&z-ico-extern-blue&&&/span&&/span&
&span class=&url&&&span class=&z-ico-video&&&/span&/x/page/x03943g05pe.html&/span&
&/p&&br&&p&雷锋网原创文章，未经授权禁止转载。详情见&a href=&/?target=http%3A///4ErMxZ& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&转载须知&i class=&icon-external&&&/i&&/a&。 &/p&
高风险、高收益是金融行业永恒的标签。也因如此，金融行业非常重视风控。据多位资深金融人士表示，从事风控后，他们总是处于战战兢兢的忧虑中。他们上一次大规模的忧虑发生在十几年前。世纪之交的美国缺乏对于风控意义的认知，明明借着互联网的东风却在半途…
&p&嘿，小饭桌开通知乎机构账号啦&a href=&/people/22f74697f8ebabc4512d2& data-hash=&22f74697f8ebabc4512d2& class=&member_mention& data-title=&@小饭桌& data-editable=&true& data-hovercard=&p$b$22f74697f8ebabc4512d2&&@小饭桌&/a& ，未来我们的内容将逐渐转入该账号，此专栏不再更新，欢迎各位关注新账号哦&/p&&p&———以下是正文———&/p&&p&氪信创始人兼CEO朱明杰毕业于中国科学技术大学少年班，拥有微软亚洲研究院博士学位，这名典型的理科生曾在德国马克思普朗克研究院从事大规模数据挖掘工作，并在雅虎研究院、eBay、携程大数据部门等有过 10 多年的数据挖掘、机器学习的工作经验。&/p&&p&2015年朱明杰创立氪信，用大数据提供金融风控服务，目前氪信已与民生银行、中银消费金融、小赢理财等数十家机构达成合作。其产品体系服务于消费金融、商户贷、物流、房产金融等数十个垂直场景，帮助金融机构对客户进行风险评判和定价，提供大数据风控解决方案。&/p&&p&今年9月氪信完成火山石资本领投，真格基金跟投的数千万元Pre-A轮融资，此前还曾获得真格基金领投的700万元天使融资。&/p&&p&近日，在小饭桌人工智能创业班上，作为导师的朱明杰分享了其创业历程，小饭桌做了不修改原意的整理:&/p&&br&&h2&&b&技术如果不能跟商业价值挂钩是很危险的&/b&&/h2&&p&我从04年开始在微软亚洲研究院跟最厉害的计算机科学专家们一起工作，正值上一次AI低谷，那个时候大家觉得叫AI的研究太虚，都不好意思说自己做的是AI，说起自己工作要么是研究搜索机器学习排序，计算机视觉（当年友人们成了现在商汤依图face++的友商），语音（讯飞，云知声的友商们），自然语言处理（现在的小娜小冰各种智能助手chatbot）等等。&br&&/p&&p&刚好上个月微软研究院院友会成立，以前一起打牌打球，现在已经是学术领军人物或者各大公司的首席科学家、CTO、主席以及各明星AI公司创始人。大家聊到了现在这个AI黄金时代的大公司和创业公司以及个人各自的机会。&strong&中国互联网的发展经历了海归&/strong&&strong&(copy from US)&/strong&&strong&时代，产品经理时代，线下推广执行专家的&/strong&&strong&O2O&/strong&&strong&时代，现在是不是到了懂商业的科学家去改造升级这个社会的时代？&/strong&&/p&&p&计算机科学的人其实都有一个梦想，把整个现实世界的信息装进一套知识体系里组织好，在这个基础上智能化运营。学术界的做法是想先定义知识体系，再去不断纳入广泛的数据，自上而下的去做这件事情。包括我在马克斯普朗克研究所做博士后的时候，跟着国际大规模数据库协会(VLDB)主席Gerhard Weikum教授做的事情，也是这个思路 —— &strong&建立一套可以自动演化吞没全世界的知识图谱。&/strong&&/p&&p&而工业界的做法是从底层数据自下而上，比如谷歌微软百度都是从应用需求出发，先在搜索、广告、智能助手、企业应用上不断优化效果，积累足够的数据和样本，再整合出AI的能力。我们现在看到学术研究往往是跟在工业应用后面的，因为AI的价值是帮助业务提升价值，需要完整的商业闭环。只有面对直接的商业需求的压力，需求越大，技术进步才越快。&/p&&p&我后来从马普所到Yahoo Labs，到eBay Search Science，再后来到携程组建大数据部门，用机器学习的方法做个性化服务，做风险定价、机票对赌、预测酒店的需求、智能客服…… 携程那个时候是个传统的业务很重的公司，通过技术应用获得了巨大的商业效果提升，James（携程董事局主席梁建章）当时就和我讨论过，未来绝大部分低端的工作都有被AI提升的空间。同样的现在各个传统行业都存在巨大的智能改造升级的空间。所以后来我直接跳到了钱最多的行业——金融，创业做氪信这件事情。&/p&&h2&&b&AI创业：不做Nice-to-have的东西&/b&&/h2&&p&&strong&简单粗暴的说，AI&/strong&&strong&的创业原则&/strong&&strong&，我觉得&/strong&&strong&第一点，&/strong&&strong&一定要挣钱。&/strong&&br&&/p&&p&跟之前的互联网产品不同，AI产品价值是理性的决策者决定的，&strong&如果一开始就不能收到钱，那很难说明它的商业价值，是很难走下去的。&/strong&&/p&&p&我们看到现在很多创业项目在做的东西，十几二十年前就研究过。之前研究院语音组的同学们做过哼唱搜索，只要哼个调子，就可以搜出歌来，很有趣。那个时候我们就讨论过，为什么商业搜索引擎里面没有用进去？因为好玩但是不能赚钱啊。到现在我都没想明白怎么靠这个赚钱。而有些是timing不同会发生变化的，比如之前做NLP做对联、作诗、做聊天机器人，也没法赚钱；但是现在巨大的业务压力，需要智能客服，我觉得现在重新捡起来，是有潜力的。&/p&&p&如果只是做技术咨询和工具性的一些服务，其实还不如在大公司里做一个中坚力量的位置，性价比要高得多，没必要出来创业。所以&strong&你&/strong&&strong&得要考虑&/strong&&strong&你的服务和产品在累积什么样的资源，可以做时间的朋友，赚钱。&/strong&&/p&&p&&strong&第二点，不重复造轮子。&/strong&&/p&&p&&strong&AI&/strong&&strong&创业公司&/strong&&strong&资源有限&/strong&&strong&，你怎么去跟巨头PK？&/strong&&/p&&p&比如我们看到微软成立了6000人的AI研发集团，我们以前的沈向洋院长现在带领着最好的科学家们和产品研发团队，几乎无尽的数据和硬件资源做AI。&strong&一个&/strong&&strong&AI&/strong&&strong&创业者必须要考虑的是：你能做什么事情，你的优势到底在什么地方？&/strong&&strong&如果是拿风险投资的钱做研究院的事情，或者自己闭门造车，那是非常危险的。&/strong&&/p&&p&其实创业公司的机会有它的灵活性，现在这个时代，轮子别人已经给你做好了，怎么去用好这个轮子，是小公司非常好的机会。更加贴近市场和客户，它的独立性的和中立性，某种程度上很多大公司是不会去做、不屑于去做或者不能去做的，却是小公司可以产生跨领域和场景产生价值的机会。很多人会问谷歌微软阿里腾讯要做你做的事情怎么办？那要看你要做的事情是什么。很多人说自己要做一套更好的平台，更牛的算法，那是实在对大公司的实力太不了解了；但是一个独立的创业公司可能比阿里更容易与一个大的金融机构合作，因为没有潜在业务竞争关系。&/p&&p&&strong&第三点，不要做N&/strong&&strong&ice-to-have的东西。&/strong&AI创业资源非常有限，一定要专注在最能产生价值的地方，用户最痛的那一点。做Nice-to-have的事情获得的回报也非常有限，你很难通过锦上添花的东西去做突破。&/p&&p&&strong&AI创业时间要合适，&/strong&&strong&要有刚性的需求。&/strong&因为AI创业有它的独特性——它需要大量的数据——所以要事先判断你能不能获得你所需要的有价值数据，是否有合适的团队、足够的技术能力，真正理解客户的需求和痛点。&strong&其次，变现的场景一定要清楚&/strong&&strong&。&/strong&创业前要考虑好它能解决什么问题、产生什么价值、最后怎么挣钱。&/p&&p&回到我们当时决定用之前机器学习的能力来做金融这件事情，按这个方法论来推理，首先金融有大量的数据，且需要技术来提升效率，但是从哪一点开始单点突破呢？其次，它的商业模式到底是不是成立？尤其在中国，数据还在比较原始的阶段，业务环境现在机器发挥的价值有限。如果只是做一些Nice-to-have的东西，可能未必能熬到未来有价值的时候。&/p&&h2&&b&像外行一样思考，像专家一样实践&/b&&/h2&&p&所以氪信的切入点，是用AI的技术来解决风险决策的问题。现在互联网消费金融发展的很快，整个金融市场的环境也进一步普惠化，大家对金融信贷效率的要求也越来越高。&br&&/p&&p&如果三五年前我来做这件事情，可能并不是一个很好的时间点。因为那时的市场环境还是偏向于传统金融，更聚焦于做好优质的客户。那时候用AI做风险决策就是一个Nice-to-have的事情，一定不会获得单点突破的爆发式发展。&/p&&p&而在普惠金融的大环境下，金融机构提供的是崭新的金融服务，面对的是崭新的客户人群，每天面对的都是急需解决的风控挑战。而对于氪信来说，就是要拿AI来解决这个行业里&strong&做风控最大的两个痛点：&/strong&&/p&&p&&strong&一个是数据太少。&/strong&因为放贷的每一笔不良记录，都是金融机构用自己的钱买出来的，每一笔坏账都是血淋淋的教训，样本都非常宝贵。尤其对于新兴的金融业务来说，没有过往的样本积累。这跟做图像识别还不一样，因为一旦决策错误，就是一笔大的损失。这里要解决的问题是，怎么能够补充足够的数据。&/p&&p&&strong&另一个是数据太多。&/strong&我们做风控的时候要考虑，哪些数据对我们的业务场景有价值？不仅仅是征信相关的数据，事实上更广范围的诸如消费、社交、运营商等数据都在新金融风控中显现出了重要的作用。对传统行业的人来说，面对这些大量的、非结构化的、并非直接和人的金融属性挂钩的数据，相当于让他们在贫矿里面淘金，而这个也是我们能够解决问题和提供的价值的地方。&/p&&p&解决数据太多的问题，我们比较轻车熟路，因为我们过去在互联网上处理的数据量比这个大的多。而如何解决数据太少的问题，这里面有几个层次：&/p&&p&首先行业的专家经验非常宝贵，所以应该把专家的经验教给机器，承担专家机械手的角色，扩大处理范围。目标一定是对传统行业做一个人机结合的改造，专家以前可能只能看几百个人的信用审核，现在一天可以做到几十万，甚至是几百万。&/p&&p&其次在面对像现金贷这种缺乏传统征信数据的新兴场景，我们做的是深度学习特征提取框架，以及专家人工特征提取框架，融合机器和人的经验，从非传统数据里面提取有价值的信息。我们提供的核心功能是机器特征工程的能力，说白了就是用数据的原理。传统做法是专家要去调公式，但是我们深度学习模块产生的特征，在实际场景中已经是提升模型区分度更重要的推手。&/p&&p&做AI创业，是用一种新技术去提升这个行业，也就意味着你在初始阶段并不是这个行业的内行。&strong&要像外行一样思考，像专家一样实践。&/strong&既要去学习行业里面现有的规则，同时，也要带着自己的特点。&/p&&p&一定要有一个非常好的团队。第一要有好的科学家，做算法和用数据。其次，要有非常强的工程执行团队，把技术变成生产力。而因为技术人员和科学家的思考，离最终的用户会比较远，所以产品也是这个团队很核心的位置。在团队里边，每一个人都要有产品意识，并不仅仅是要有一个好的产品经理。&/p&&p&另外一个很重要的点是，&strong&你的客户其实是你非常好的产品经理。&/strong&我们最开始，一定是跟最领先的金融机构去合作，因为他们是最理解这个行业的；跟行业里面最优秀的从业者去探讨需求，是快速学习的最佳途径。&/p&&p&我们现在的合作伙伴，要么是传统金融机构里面最领先和开放的优秀合作伙伴，要么就是本身技术能力非常强的新兴势力，通过强强联手帮助业务快速的增长。&/p&&p&我们参与了这样一个历史进程：&strong&通过更先进的处理数据和使用数据的技术，对新形势下风控决策体系做改造和升级，最终实现整个金融行业更高的运作效率。&/strong&&/p&&h2&&b&真AI只能用钱表达&/b&&/h2&&p&下面是我创业以来的一些思考和体会。&strong&首先最重要的因素还是人，要记得自己的基因和初心。&/strong&&br&&/p&&p&很多人会问我，为什么不直接去放贷款？ AI跟传统行业合作提升效能的时候会遇到很多这样直接的业务诱惑。这个时候，要思考清楚，做金融业务的天花板在什么地方？你的价值是更广阔的星辰大海。
&/p&&p&&strong&第二点，做&/strong&&strong&AI&/strong&&strong&的创业，销售非常重要。&/strong&你要把你的能力和产品推销出去，推销给你的客户，推销给你未来的员工，推销给对你有帮助的资源。把你能够提供的价值和对方的需求匹配起来，最后完成价值和利益的交换，这就是一个销售的过程。不会做销售的科学家不是好的产品经理。&/p&&p&&strong&第三点，&/strong&&strong&AI&/strong&&strong&是技术驱动型的公司，做的是创新性的事，永远要保持你的团队是&/strong&&strong&A&/strong&&strong&类的人才。&/strong&团队成员要彼此信赖和信服，才能碰撞产生最大的价值。最开始的时候我们就是一支在信任基础上建立的优秀团队，并且一直保持非常高的标准，源源不断的吸引优秀的成员加入。&/p&&p&&strong&第四点对&/strong&&strong&AI&/strong&&strong&创业非常重要，就是持续获得价值肯定。&/strong&只有更强的需求驱动，有足够宽的赛道，才能让牛逼的团队跑起来。真正能够取得成功的，一定是找到跟商业价值直接挂钩的道路的团队。&/p&&p&所以，总结起来：真正的AI只能靠钱来表达。&/p&
嘿，小饭桌开通知乎机构账号啦 ，未来我们的内容将逐渐转入该账号，此专栏不再更新，欢迎各位关注新账号哦———以下是正文———氪信创始人兼CEO朱明杰毕业于中国科学技术大学少年班，拥有微软亚洲研究院博士学位，这名典型的理科生曾在德国马克思…
&img src=&/50/v2-179c011bed5ff0ca936f3b_b.jpg& data-rawwidth=&450& data-rawheight=&252& class=&origin_image zh-lightbox-thumb& width=&450& data-original=&/50/v2-179c011bed5ff0ca936f3b_r.jpg&&&p&　　+ &/p&
&p&- 文｜吴杨可月 -&/p&
&p&- 小饭桌创业研究院出品 -&/p&
&p&　　两件秘闻，将美国大数据公司Palantir从幕后推向前台——&/p&
&p&　　一是，Palantir的旗下产品在整合40年的记录及海量数据并充分挖掘之后，找到了前纳斯达克主席麦道夫“庞氏骗局”的大量确凿证据；&/p&
&p&　　二是，通过其大数据挖掘能力，Palantir帮美国政府找到本拉登的老巢。&/p&
&p&　　人们这才惊叹的发现，这家低调且离大众很远的公司，估值已经超过200亿美元。&/p&
&p&　　事实上，在中国，越来越多像Palantir这样服务于机构的大数据、AI公司，正在各个领域和赛道上涌现。风控、检索、安全、营销，都有他们的身影蛰伏其后，发挥越来越关键性的作用，甚至左右市场的波动。&/p&
&p&　　本研究对大数据、AI中的企业服务机会进行详尽的分析，通过与国外该领域的对比，梳理其中的投资机遇。&/p&
&p&&strong&数据处理的新进展，带来应用层面的新机会&/strong&&/p&
&p&&strong&? 新进展：数据融合、非&/strong&&strong&结构数据处理能力&/strong&&/p&
&p&&strong&AI&/strong&的底层是&strong&特征标记&/strong&，革新意义就在于能处理&strong&文本&/strong&、&strong&图片&/strong&、&strong&声音&/strong&等&strong&非结构数据&/strong&，从而将&strong&研报&/strong&、&strong&政策&/strong&、&strong&舆情&/strong&、&strong&行为&/strong&、&strong&情绪&/strong&等更多维度的信息纳入可供分析的范畴。&/p&
&p&&strong&数据融合&/strong&则是将&strong&不同来源&/strong&、&strong&不同结构&/strong&、&strong&不同模态&/strong&的&strong&数据&/strong&放在&strong&同一个模型&/strong&里&strong&分析。&/strong&&/p&
&p&&strong&? 新机会：风控、检索、安全、营销&/strong&&/p&
&p&　　国内&strong&基础设施&/strong&和&strong&需求&/strong&与国外不同，机会更多来自可以&strong&直接降低损失&/strong&、&strong&带来收益&/strong&的方向。&/p&
&img src=&/50/v2-18fcbbea45d2d884b874ea_b.png& data-rawwidth=&567& data-rawheight=&115& class=&origin_image zh-lightbox-thumb& width=&567& data-original=&/50/v2-18fcbbea45d2d884b874ea_r.png&&&br&&p&&strong&◆&/strong&&strong&◆◆&/strong&&/p&
&p&&strong&1、风控&/strong&&/p&
&p&&strong&从Palantir、Anaplan看国外大数据风控应用&/strong&&/p&
&img src=&/50/v2-e7cfd85f2fa64b5f8b4c1_b.png& data-rawwidth=&600& data-rawheight=&398& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&/50/v2-e7cfd85f2fa64b5f8b4c1_r.png&&&br&&p&　　（数据来源：Crunchbase，公开信息整理）&/p&
&p&&strong&1.风险辅助识别——海量样本中快速发现异常&/strong&&/p&
&p&&strong& 国外公司：&/strong&&strong&Palantir&/strong&&strong&的工作原理——反恐（找出恐怖分子）为例&/strong&&/p&
&img src=&/50/v2-34ebe3fe045b57b1aa1419b_b.png& data-rawwidth=&590& data-rawheight=&109& class=&origin_image zh-lightbox-thumb& width=&590& data-original=&/50/v2-34ebe3fe045b57b1aa1419b_r.png&&&br&&p&&strong& 国内公司：氪信的工作原理——金融为例&/strong&&/p&
&img src=&/50/v2-2dc554b1421513ebe980da1_b.png& data-rawwidth=&589& data-rawheight=&108& class=&origin_image zh-lightbox-thumb& width=&589& data-original=&/50/v2-2dc554b1421513ebe980da1_r.png&&&br&&p&&strong&功能：优化现有风控效率，但不具备完全风控定价能力&/strong&&/p&
&p&&strong&? 有机会从“第三方”做到“直接借贷”&/strong&&/p&
&p&　　通常情况，“直接借贷”的收益，显著优于“第三方”数据服务提供方。&/p&
&p&　　数据获取+数据分析——具备风控定价能力，即可做“直接借贷”。&/p&
&p&&strong&路径一：接入丰富的借贷方数据源&/strong&&/p&
&p&　　-典型代表：第三方征信公司。&/p&
&img src=&/50/v2-e376f2ac24f327d40e38e_b.png& data-rawwidth=&568& data-rawheight=&35& class=&origin_image zh-lightbox-thumb& width=&568& data-original=&/50/v2-e376f2ac24f327d40e38e_r.png&&&br&&p&&strong&路径二：累积足够的异常数据，具备通过“旧风险”推知“新风险”的能力&/strong&&/p&
&p&　　-典型代表：基于AI的数据分析公司&/p&
&img src=&/50/v2-a67af0e85a00cfaeb21af13_b.png& data-rawwidth=&520& data-rawheight=&32& class=&origin_image zh-lightbox-thumb& width=&520& data-original=&/50/v2-a67af0e85a00cfaeb21af13_r.png&&&br&&p&　　-一些难点：&/p&
&p&　　?所累计的数据，&strong&只有结果&/strong&，&strong&没有推导过程&/strong&&/p&
&img src=&/50/v2-d37b5a275c1fd41aecbff141fae18a92_b.png& data-rawwidth=&511& data-rawheight=&55& class=&origin_image zh-lightbox-thumb& width=&511& data-original=&/50/v2-d37b5a275c1fd41aecbff141fae18a92_r.png&&&br&&p&　　?基于AI的分析，&strong&不具备迁移学习能力&/strong&，拓展性有限&/p&
&p&&strong&2.舆情监测——增加风控维度&/strong&&/p&
&p&&strong&舆情监测的价值——快人一步、真假判定、“In control”&/strong&&/p&
&img src=&/50/v2-fd0ca48f60b_b.png& data-rawwidth=&526& data-rawheight=&158& class=&origin_image zh-lightbox-thumb& width=&526& data-original=&/50/v2-fd0ca48f60b_r.png&&&br&&p&&strong&典型应用领域：金融、公关、媒体、企业安全、政府……&/strong&&/p&
&img src=&/50/v2-f65aabc0ec84a6aa9c252_b.png& data-rawwidth=&527& data-rawheight=&154& class=&origin_image zh-lightbox-thumb& width=&527& data-original=&/50/v2-f65aabc0ec84a6aa9c252_r.png&&&br&&img src=&/50/v2-c2b988e4dad1eedb04a52_b.png& data-rawwidth=&597& data-rawheight=&145& class=&origin_image zh-lightbox-thumb& width=&597& data-original=&/50/v2-c2b988e4dad1eedb04a52_r.png&&&br&&p&&strong&Dataminr&/strong&&strong&：发现“小道消息”里的真消息，“大新闻”里的假消息&/strong&&/p&
&p&　　-&strong&案例一：“小道消息”&/strong&&strong&里的真消息&/strong&&/p&
&p&　　?独立记者Brian在Twitter上发消息称家得宝“可能会是信用卡违约的新受害者”&/p&
&p&　　?Dataminr系统立刻识别出此消息的价值&/p&
&p&　　?Dataminr将此消息传达给客户，包括&strong&60&/strong&&strong&家银行和对冲基金&/strong&&/p&
&p&　　?Dataminr的速度比财经新闻快了15分钟，且&strong&赶在家得宝股价下降&/strong&&strong&2%&/strong&&strong&前&/strong&&/p&
&p&　　-&strong&案例二：“大新闻”&/strong&&strong&里的假消息&/strong&&/p&
&p&　　?有推文发送白宫有炸弹的&strong&假消息&/strong&，造成&strong&道金斯工业指数数分钟内下滑&/strong&&strong&145&/strong&&strong&点&/strong&&/p&
&p&　　?Dataminr连续进行&strong&2&/strong&&strong&次假消息预警&/strong&：第1次，指出信息是从被黑账号发出；第2次，分析白宫附近的实时推文，判定称该消息可能是假的&/p&
&p&　　（数据来源：公开信息整理）&/p&
&p&&strong&3.经营规划——打通多维数据，精准解析&/strong&&/p&
&p&&strong&? Anaplan：跨部门收集数据，简易关联，指导未来决策&/strong&&/p&
&p&&strong&接入企业内部运营数据，进行数据关联，并通过模型，指导未来决策&/strong&&/p&
&p&　　-&strong&优势：&/strong&&/p&
&p&　　?&strong&简易的数据关联——将财务、销售、人力等独立的数据融合在一起&/strong&&/p&
&p&　　?无需IT人员，即可完成模型的搭建、挖掘、维护、分享&/p&
&p&　　?云端电子表格：Excel功能+多组共同操作&/p&
&p&　　?&strong&预测模型——搭建运营数据与未来规划的桥梁&/strong&&/p&
&p&　　-&strong&用户覆盖：&/strong&&strong&16&/strong&&strong&个国家设立办公室，&/strong&&strong&660&/strong&&strong&家公司，&/strong&&strong&100,000+&/strong&&strong&个用户&/strong&&/p&
&p&　　（数据来源：Anaplan官网）&/p&
&p&&strong&◆&/strong&&strong&◆◆&/strong&&/p&
&p&&strong&检索&/strong&&/p&
&p&&strong&从Kensho、Watson看国外大数据检索应用&/strong&&/p&
&img src=&/50/v2-d85772dfe121bda8bdd830_b.png& data-rawwidth=&600& data-rawheight=&398& class=&origin_image zh-lightbox-thumb& width=&600& data-original=&/50/v2-d85772dfe121bda8bdd830_r.png&&&br&&p&　　（数据来源：Crunchbase）&/p&
&p&&strong&1.投研——提升信息量、效率、便捷性&/strong&&/p&
&p&&strong&? 基于海量信息，模拟分析师分析过程&/strong&&/p&
&p&&strong&基于海量信息——以&/strong&&strong&Kensho&/strong&&strong&为例&/strong&&/p&
&img src=&/50/v2-aec6c312e1b56025ea3b_b.png& data-rawwidth=&585& data-rawheight=&187& class=&origin_image zh-lightbox-thumb& width=&585& data-original=&/50/v2-aec6c312e1b56025ea3b_r.png&&&br&&p&&strong&模拟分析师分析过程&/strong&&/p&
&p&　　-根据数据库中某资产价格的&strong&变动历史&/strong&，提取出影响该资产价格的所有&strong&可能变量&/strong&&/p&
&p&　　-通过特征选择算法，选择出和当期资产价格波动较为&strong&相关的变量&/strong&&/p&
&p&　　-通过机器扫描所有&strong&和这些变量相关的数据源&/strong&&/p&
&p&　　-将变量值输入模型，从而得出资产价格的波动区间，以及变量的影响因子&/p&
&p&　　（数据来源：公开信息整理）&/p&
&p&&strong&? Kensho的傻瓜式应用：“事件——结果”直接呈现&/strong&&/p&
&img src=&/50/v2-e7a54446f46dcd2a3ccd1e3aefa2bd9c_b.jpg& data-rawwidth=&505& data-rawheight=&270& class=&origin_image zh-lightbox-thumb& width=&505& data-original=&/50/v2-e7a54446f46dcd2a3ccd1e3aefa2bd9c_r.jpg&&&br&&p&&strong&功能：&/strong&&/p&
&p&　　-追因：什么因素影响了股价变动？&/p&
&img src=&/50/v2-e17bc47898baf72ef44d_b.png& data-rawwidth=&526& data-rawheight=&40& class=&origin_image zh-lightbox-thumb& width=&526& data-original=&/50/v2-e17bc47898baf72ef44d_r.png&&&br&&p&　　-预测：某一因素会对股价造成什么影响？&/p&
&img src=&/50/v2-c073fbc8cde51e35bbccb5_b.png& data-rawwidth=&527& data-rawheight=&39& class=&origin_image zh-lightbox-thumb& width=&527& data-original=&/50/v2-c073fbc8cde51e35bbccb5_r.png&&&br&&p&　　-程度：呈现众多因素下，股价/指数变动的&strong&幅度&/strong&&/p&
&p&&strong&金融机构愿意买单：又买产品又投钱&/strong&&/p&
&p&&strong&以&/strong&&strong&Kensho&/strong&&strong&为例：高盛、&/strong&&strong&JP&/strong&&strong&摩根、美林、摩根史丹利、花旗、标普——既是它的用户，也是它的投资方&/strong&&/p&
&img src=&/50/v2-9c55bb77afaeff226ab991_b.jpg& data-rawwidth=&601& data-rawheight=&315& class=&origin_image zh-lightbox-thumb& width=&601& data-original=&/50/v2-9c55bb77afaeff226ab991_r.jpg&&&br&&p&&strong&2.理赔——比对理赔要求和赔偿标准&/strong&&/p&
&p&&strong&价值：提高理赔效率，减少错误，降低风险&/strong&&/p&
&img src=&/50/v2-1bf894ee62e4c188ef050abf_b.png& data-rawwidth=&527& data-rawheight=&123& class=&origin_image zh-lightbox-thumb& width=&527& data-original=&/50/v2-1bf894ee62e4c188ef050abf_r.png&&&br&&p&&strong&案例——&/strong&&strong&IBM&/strong&&strong&的&/strong&&strong&Watson&/strong&&strong&服务日本富国生命保险进行健康险理赔&/strong&&/p&
&p&　　-&strong&成本：&/strong&系统引入&strong&$170&/strong&&strong&万&/strong&+维持费用&strong&$12.8&/strong&&strong&万&/strong&&strong&/&/strong&&strong&年&/strong&&/p&
&p&　　-&strong&效益：&/strong&预期&strong&节省开支&/strong&&strong&$110&/strong&&strong&万&/strong&&strong&/&/strong&&strong&年&/strong&；拟&strong&减少员工&/strong&&strong&30%&/strong&&/p&
&img src=&/50/v2-9b876ea8b13ea8f1fa9de_b.png& data-rawwidth=&582& data-rawheight=&121& class=&origin_image zh-lightbox-thumb& width=&582& data-original=&/50/v2-9b876ea8b13ea8f1fa9de_r.png&&&br&&p&　　（数据来源：公开信息整理）&/p&
&p&&strong&3.审计——比对财务信息和审计标准&/strong&&/p&
&p&&strong&Sway Finance&/strong&&strong&——财务信息快速检索工具&/strong&&/p&
&p&　　-直接把经营活动转化为财务信息，并可随时检索信息、比对合规性&/p&
&img src=&/50/v2-d65c8ed5bc4c693f3ff712_b.jpg& data-rawwidth=&630& data-rawheight=&373& class=&origin_image zh-lightbox-thumb& width=&630& data-original=&/50/v2-d65c8ed5bc4c693f3ff712_r.jpg&&&br&&p&&strong&4.内控——比对员工行为和法律/公司规范&/strong&&/p&
&p&&strong&? Behavox：发现高风险或违规活动&/strong&&/p&
&img src=&/50/v2-d12cf72f8a9a20d5bb003_b.png& data-rawwidth=&583& data-rawheight=&90& class=&origin_image zh-lightbox-thumb& width=&583& data-original=&/50/v2-d12cf72f8a9a20d5bb003_r.png&&&br&&p&&strong&价值：及时、高效发现高风险或违规活动&/strong&&/p&
&p&　　-&strong&及时——防患于未然&/strong&&/p&
&img src=&/50/v2-bc17cc8ea1e_b.png& data-rawwidth=&578& data-rawheight=&38& class=&origin_image zh-lightbox-thumb& width=&578& data-original=&/50/v2-bc17cc8ea1e_r.png&&&br&&p&　　-&strong&高效——极大减少合规检查需耗费的时间、人力成本&/strong&&/p&
&img src=&/50/v2-570ec1ce1d96535fcf8248_b.png& data-rawwidth=&578& data-rawheight=&40& class=&origin_image zh-lightbox-thumb& width=&578& data-original=&/50/v2-570ec1ce1d96535fcf8248_r.png&&&br&&p&&strong&方法：从交易员与客户、交易员之间的沟通中，捕捉偏离常规的细节&/strong&&/p&
&img src=&/50/v2-3ea166f1f366_b.png& data-rawwidth=&581& data-rawheight=&75& class=&origin_image zh-lightbox-thumb& width=&581& data-original=&/50/v2-3ea166f1f366_r.png&&&br&&p&　　（数据来源：Behavox官网）&/p&
&p&&strong&合规性检测的原理是比对验证&/strong&&/p&
&img src=&/50/v2-ad2d437df5d19b4bbd44b1a1_b.png& data-rawwidth=&594& data-rawheight=&398& class=&origin_image zh-lightbox-thumb& width=&594& data-original=&/50/v2-ad2d437df5d19b4bbd44b1a1_r.png&&&br&&p&&strong&知识库比对要尽量应用在高ROI的领域&/strong&&/p&
&p&&strong&比较好的应用领域：&/strong&&/p&
&img src=&/50/v2-f5e70c2b6a8e51e698b03bf12757a5ac_b.png& data-rawwidth=&578& data-rawheight=&203& class=&origin_image zh-lightbox-thumb& width=&578& data-original=&/50/v2-f5e70c2b6a8e51e698b03bf12757a5ac_r.png&&&br&&p&　　另，样本的可获取性以及获取成本也是一个附加条件，医疗辅诊领域就需要攻克这个难点。&/p&
&p&　　国外，理赔、内控领域的应用已快速铺开，审计尚不明朗；国内，目前集中在理赔。&/p&
&img src=&/50/v2-ddca8a5e40d50af69b67be5_b.png& data-rawwidth=&579& data-rawheight=&44& class=&origin_image zh-lightbox-thumb& width=&579& data-original=&/50/v2-ddca8a5e40d50af69b67be5_r.png&&&br&&p&&strong&◆&/strong&&strong&◆◆&/strong&&/p&
&p&&strong&安全&/strong&&/p&
&p&&strong&从Splunk、Datto看国外大数据安全应用&/strong&&/p&
&img src=&/50/v2-ad09ed4be2df0c0f9dcd40_b.png& data-rawwidth=&599& data-rawheight=&399& class=&origin_image zh-lightbox-thumb& width=&599& data-original=&/50/v2-ad09ed4be2df0c0f9dcd40_r.png&&&br&&p&　　（数据来源：雪球2017.4.实时数据，Splunk annual report 2017，Crunchbase，公开信息整理）&/p&
&p&&strong&1.日志分析——跨越不连续性的根本性分析&/strong&&/p&
&p&&strong&? Splunk：机器数据的引擎——聚合、搜索、可视化&/strong&&/p&
&p&　　面向&strong&细分市场——&/strong&&strong&Machine Log&/strong&&strong&（日志数据为主）分析&/strong&，并在上面集成了&strong&完整的专用模块&/strong&&/p&
&img src=&/50/v2-b5be7efc361f6aa7a50a8d1725542cbd_b.jpg& data-rawwidth=&451& data-rawheight=&249& class=&origin_image zh-lightbox-thumb& width=&451& data-original=&/50/v2-b5be7efc361f6aa7a50a8d1725542cbd_r.jpg&&&br&&p&　　所有应用都是相对专门的领域，因此可以进行专门优化&/p&
&p&&strong&? 机器数据的特点——跨越不连续性、快速增长、基础&根本&/strong&&/p&
&p&&strong&特点一：跨越不连续性&/strong&&/p&
&p&　　-&strong&跨越系统的不连续性：&/strong&可收集、索引、利用所有&strong&应用程序&/strong&、&strong&服务器&/strong&、&strong&设备&/strong&等在&strong&物理&/strong&、&strong&虚拟&/strong&、&strong&云&/strong&中生成的数据&/p&
&img src=&/50/v2-67ebac669_b.png& data-rawwidth=&557& data-rawheight=&33& class=&origin_image zh-lightbox-thumb& width=&557& data-original=&/50/v2-67ebac669_r.png&&&br&&p&　　-&strong&跨越时间的不连续性：&/strong&分析所有&strong&实时&/strong&、&strong&历史数据&/strong&&/p&
&img src=&/50/v2-aadff760afa5a956eaa6_b.png& data-rawwidth=&559& data-rawheight=&35& class=&origin_image zh-lightbox-thumb& width=&559& data-original=&/50/v2-aadff760afa5a956eaa6_r.png&&&br&&p&&strong&特点二：快速增长&/strong&&/p&
&p&　　-以Splunk为例，其营收已达到&strong&$9&/strong&&strong&亿&/strong&,仍有望保持&strong&50%&/strong&的增速&/p&
&img src=&/50/v2-a7bab5fe9c_b.png& data-rawwidth=&569& data-rawheight=&118& class=&origin_image zh-lightbox-thumb& width=&569& data-original=&/50/v2-a7bab5fe9c_r.png&&&br&&p&&strong&特点三：基础&/strong&&strong&&&/strong&&strong&根本&/strong&——基于端对端基础结构，从复杂事件中获取新层次的运营可见性&/p&
&p&　　（数据来源：Splunk财务年报2017）&/p&
&p&&strong&? Splunk的应用：瞬时解决安全问题、优化服务性能&/strong&&/p&
&p&&strong&核心能力：抽象数据、应用领域之间的理解处理能力&/strong&&/p&
&img src=&/50/v2-ce7b9cb595da36eb26f970_b.png& data-rawwidth=&580& data-rawheight=&51& class=&origin_image zh-lightbox-thumb& width=&580& data-original=&/50/v2-ce7b9cb595da36eb26f970_r.png&&&br&&p&&strong&典型用户&/strong&&/p&
&br&&p&&strong&解决安全问题：一站式搜索、分析——快速、全面发现问题&/strong&&/p&
&p&&strong&优化服务性能：检测端对端基础结构——优化服务性能、业务流程&/strong&&/p&
&p&&strong&2.容灾——快速备份，一键还原到特定时期&/strong&&/p&
&p&&strong&? Datto：给予小型企业“防弹”级别的数据备份服务&/strong&&/p&
&p&&strong&容灾：将应用产生的数据进行存储&/strong&&strong&+&/strong&&strong&灾备——应对数据丢失和意外灾害（被黑）&/strong&&/p&
&p&&strong&面向：中小企业&/strong&&/p&
&p&&strong&费用：初装&/strong&&strong& + &/strong&&strong&按流量计的月费&/strong&&/p&
&p&&strong&多项技术优势&/strong&&/p&
&p&　　（数据来源：公开信息整理）&/p&
&p&&strong&? 机遇与挑战并存：替换成本高、国内市场空白，但技术门槛高&/strong&&/p&
&p&&strong&替换成本高——构建竞争壁垒&/strong&&/p&
&p&&strong&国内市场空白&/strong&&/p&
&p&&strong&通过技术实现以下功能&/strong&&/p&
&p&　　（数据来源：初装费/月费借鉴Datto收费标准，公开信息整理）&/p&
&p&&strong&3.反作弊——排除欺诈、垃圾产生的干扰&/strong&&/p&
&p&&strong&国外案例：&/strong&&strong&Signifyd&/strong&&/p&
&p&&strong&功能：帮助客户避免因欺诈、退款、操作失误产生的损失及资源浪费&/strong&&/p&
&p&&strong&应用：电商&/strong&&/p&
&p&&strong&价值：让客户够安心的快速扩张&/strong&&/p&
&p&&strong&国内案例：数美科技&/strong&&/p&
&p&&strong&产品：&/strong&&/p&
&p&&strong&应用：文娱、电商、金融&/strong&&/p&
&p&&strong&◆&/strong&&strong&◆◆&/strong&&/p&
&p&&strong&营销&/strong&&/p&
&p&&strong&从Sprinklr、Hubspot看国内外大数据营销应用&/strong&&/p&
&p&　　（数据来源：雪球2017.4.实时数据，Crunchbase，公开信息整理）&/p&
&p&&strong&1.社交营销——跨平台整合式营销&/strong&&/p&
&p&&strong&? Sprinklr：社交媒体跨平台整合管理工具和服务&/strong&&/p&
&p&　　在&strong&一个平台&/strong&上同时进行&strong&多个社交媒体&/strong&上的营销管理——&strong&分析数据&/strong&，&strong&开展营销活动&/strong&，&strong&了解用户体验&/strong&&/p&
&p&　　-&strong&19&/strong&个社交媒体&strong&管理模块&/strong&&/p&
&p&　　-&strong&20+&/strong&个&strong&社交渠道&/strong&：Facebook、Twitter、LinkedIn、YouTube、人人网、微博等&/p&
&p&　　用户：&/p&
&p&　　-《财富》Top 50中一半的公司&/p&
&p&　　-1,200多个品牌商&/p&
&p&　　（数据来源：Sprinklr官网，公开信息整理）&/p&
&p&　　功能例举：基于传播属性的数据分析&/p&
&p&&strong&广告分析工具：记录提及、点赞、分享、评论信息——效果评估&/strong&&/p&
&p&　　功能例举：有计划的开展内容营销&/p&
&p&&strong&内容规划和发布工具：内容制作——找寻目标并发布——资源管理——效果监测&/strong&&/p&
&p&　　功能例举：互动式用户体验管理&/p&
&p&&strong&用户体验管理工具：持续地创建、管理、优化有价值的用户体验&/strong&&/p&
&p&&strong&? Sprinklr通过多起收购，补全营销能力&/strong&&/p&
&p&&strong&2.集客营销——吸引、转化、提升的全周期&/strong&&/p&
&p&&strong&? Hubspot：帮助提供有价值的内容，提高流量转化率，促进交易达成&/strong&&/p&
&p&&strong&丰富全面的产品功能&/strong&&/p&
&p&&strong&典型应用：中小渠道商、服务商&/strong&&/p&
&p&　　不过，国内的渠道流量都集中在几个大的电商平台（阿里、京东、美团），传统服务领域品牌化、线上化、流程化不足，目前能用到集客营销工具的公司比较少&/p&
&p&&strong&3.精准营销——找到对的人、产品、方式&/strong&&/p&
&p&&strong&? 第四范式：通过数据学习精准定位潜在用户、适合产品、成本投入&/strong&&/p&
&p&&strong&案例一：精准定位潜在用户&/strong&&/p&
&p&&strong&案例二：精准定位适合产品&/strong&&/p&
&p&&strong&案例三：精准定位成本投入&/strong&&/p&
&p&　　（数据来源：第四范式官网）&/p&
&p&&strong&尾声：大数据、AI类企业服务公司的特点&/strong&&/p&
&p&&strong&业务综合：&/strong&数据分析的底层工作原理类似，一个公司会同时切到多个不相关的领域&/p&
&p&&strong&咨询服务&/strong&&strong&VS&/strong&&strong&产品：&/strong&数据类企业服务，虽然也涉及产品，但很多更倾向于卖咨询服务，与传统企业服务（CRM、OA、HR…）卖产品、卖维护服务的特点不一样。&/p&
伴随而来的新现象：Palantir也是面向大B，但公司没有销售、BD团队
&p&&strong&高富帅行业：&/strong&&/p&
&p&　　-&strong&技术背景豪华&/strong&：MIT、前FB工程师&/p&
&p&　　-&strong&需要对业务有更深的理解&/strong&：Behavox的创始人是前高盛分析师；Palantir的创始人广泛游走于律师、金融，还是《从0到1》的作者&/p&
- 文｜吴杨可月 -
- 小饭桌创业研究院出品 -
两件秘闻，将美国大数据公司Palantir从幕后推向前台——
一是，Palantir的旗下产品在整合40年的记录及海量数据并充分挖掘之后，找到了前纳斯达克主席麦道夫“庞氏骗局”的大量确凿证据；
二是，通过其…
&p&本周、公开课君邀请到了国际顶尖白帽&a href=&/?target=http%3A///tag/%25E9%25BB%%25AE%25A2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&黑客&i class=&icon-external&&&/i&&/a&，在国内黑客界被尊称为 “TK 教主” 的于旸、腾讯 eee 战队队长谢天忆、氪信资深数据科学家朱敏，Strikingly 创始团队成员龚凌晖，给大家带来三场精彩的公开课分享，名额有限，大家赶紧报名听课吧~&/p&&p&&a href=&/?target=http%3A///news/201704/lGMkOOjWbzIgAMvv.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&TK 教主公开课首秀，揭秘 CTF 背后的故事 | 硬创公开课预告&i class=&icon-external&&&/i&&/a&&/p&&p&&strong&嘉宾简介&/strong&&/p&&p&&strong&于旸，&/strong&国际顶尖白帽黑客，腾讯安全联合实验室旗下玄武实验室负责人，在国内黑客界被尊称为 “TK 教主”，微软&a href=&/?target=http%3A///tag/%25E6%25BC%258F%25E6%25B4%259E& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&漏洞&i class=&icon-external&&&/i&&/a&缓解技术绕过悬赏十万美元大奖全球三个获得者之一，CISP 认证 “恶意代码” 课程的最初设计者。2016 年曾获得 Pwnie Awards“最具创新性研究奖” 提名，成为该奖项设立 10 年来唯一获得过该提名的亚洲人。&/p&&p&&strong&谢天忆，&/strong&腾讯安全联合实验室旗下科恩实验室安全研究员，腾讯 eee 战队队长，带领战队获得 SECCON 大赛季军，Nuit du Hack 2017 CTF 线上赛冠军。毕业于上海交通大学，在校期间是国内知名 CTF 战队 0ops 队长，2016 年 DEF CON CTF 亚军团队 b1o0p 成员。&/p&&p&&strong&内容简介&/strong&&/p&&p&本期公开课包含但不限于以下内容&/p&&ul&&li&&p&CTF 的历史和发展情况&/p&&/li&&li&&p&CTF 和信息安全人才培养&/p&&/li&&li&&p&信息安全人才的职业发展&/p&&/li&&li&&p&TCTF 线上预赛试题解读&/p&&/li&&li&&p&Q&A&/p&&/li&&/ul&&p&&strong&活动详情&/strong&&/p&&p&&strong&时间：&/strong&4 月 18 日晚上 8 点&/p&&p&&strong&形式：&/strong&线上视频直播&/p&&p&同步播放平台：雷锋网(公众号：雷锋网) APP、腾讯学院、斗鱼、&a href=&/?target=http%3A///tag/zaker& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ZAKER&i class=&icon-external&&&/i&&/a&、全民直播。&/p&&p&&strong&互动方式：&/strong&&/p&&p&1. 雷锋网 App 直播频道内 “问答区” 直接提问；&/p&&p&2. 加入本次硬创公开课直播的微信群。扫描下方海报上的二维码，关注 “雷锋网” 公众账号后，公众号内回复 “&strong&161”&/strong& 报名，进入行业微信群讨论。&img src=&/v2-da3e08b192e