数字新基建指南|当金融遇见实时计算,海量数据的实时挖掘不再是难题

袋鼠云企业号2021-10-11 18:00
本文章内容来自企业自主发布
「数字新基建指南」第八期发布。本专栏每周更新一期,敬请期待!

数字新基建指南

数字经济时代下,越来越多的行业和企业将数据视为核心资源、资产和财富,争先制定数字化转型战略,抢占数字经济的制高点。如何推动数字化转型,建设数字新基建,已成为行业十分关注的话题。

袋鼠云成立六年来,服务超3000家行业标杆客户,在数字行业领域有丰富的前期规划、中期落地及后续持续经营的经验和能力。希望通过“数字新基建指南”专栏文章的分享,为读者们献上系列行业解决方案与实践案例分析,与读者交流沟通,共同加快推进数字化转型。

本专栏每周更新1篇,敬请期待~

数字新基建指南|当金融遇见实时计算,海量数据的实时挖掘不再是难题

作者|鑫宸

编辑|昀岫、槿书

本文3205字 约10分钟阅读

在数字经济时代,金融机构数字化转型已经成为共识,围绕“金融+科技”开展创新转型。在金融机构落实数字化转型的过程中充分意识到了数据的重要性,对数据整合、治理、服务及应用的需求日益突出,以“3个One”理念为核心的数据中台逐渐被金融机构认识并重视。借助数据中台强大的计算存储能力以及成熟的数据体系建设方法论助力机构实现数据平台化、资产化以及服务化,用数据驱动金融业务创新和长期发展,数据中台已经成为了金融机构数字化转型最重要的基础设施之一。

数据是数字经济时代最核心的无形资产,尤其是金融行业,其数据中蕴含的价值不容小觑,且各项金融业务对数据依赖程度非常高,从数据中不仅可以掌握机构的经营情况,可以识别用户的信用风险,还可以洞察市场的行情发展。在金融行业各家机构的业务同质化现象比较明显,数据俨然已经成为了“业务同质、结果异质”的关键要素。比如在金融风控领域,在规则、策略相同的情况下风控效果基本取决于数据特征挖掘的准确程度。

过去金融机构在数据处理的模式上更多采用的是离线批量计算模式来满足日常业务报表、监管报送等业务的需求,传统的批处理模式更像是一种“事后总结”,对过往的历史业务情况进行综合分析提取价值信息。但大部分金融机构忽视了其业务数据的瞬间价值,瞬间价值能够充分体现业务“事中”的情况,对这些价值信息有效利用可以提升金融机构在各类业务的决策时效,如信贷反欺诈、理财产品推荐、流动性风险管理等。因此,一套能够承载海量业务数据实时计算的平台是金融机构数据应用创新的技术手段,也是数据中台重要的工具之一,更是数字化转型过程中不可或缺信息设施。

01

金融机构的实时计算

金融机构对实时计算的需求日益增长。目前,已有不少金融机构开始探索Flink实时计算技术并尝试性的构建了实时数据应用,实现数据处理、业务流程、客户感知的实时化。

数据处理实时化

数据实时处理的过程包含了数据采集以及计算两个部分,实时采集通过解析数据库归档日志的模式真实、及时的获取业务数据、还原业务详情,实时计算则负责对采集后的数据进行实时的计算、分析,并将计算结果实时的推送至各个应用系统。

业务流程实时化

数据处理的实时化将直接驱动金融机构业务过程的实时化,如在信贷申请环节,传统的硬件处理模式依赖决策引擎进行逐步计算并且给出决策结果。但是在互联网金融的发展驱动下,客户对申请的下款审批流程的时间期限容忍度逐渐降低,于是我们可以借助实时计算加快信贷的决策过程。实时计算提供了对各个决策点并行的实时分析能力,而决策引擎通过订阅实时结果的模式完成实时或准实时级别的申请决策。

客户感知实时化

当前的金融市场从增量市场逐步的转向存量市场,这意味着金融机构需要用更加优质的服务来提升存量客户的粘性,提高对增量客户的吸引力。优质服务最重要的特性之一就是服务的及时、精准。过去金融机构的服务人员往往与客户存在信息差,影响服务质量,导致客户流失。实时计算将金融机构数据处理实时化后能够及时有效的将客户的信息、客户关心的信息推送至与其相关联的人。如金融机构的客服人员能够实时地知道客户办理了什么业务,在客户遇到问题的时候可以进行针对性解答;若客户重点关注股票的盘中行情,借助实时计算可以将盘中的重点行情信息进行计算并推送。

金融实时数据仓库

为了规范实时数据处理的统一化、标准化,避免出现不规范及重复开发造成金融机构研发资源的过度浪费,需要将实时数据按照传统数据仓库的理念进行管理,构建企业级、全应用域的实时数据仓库。

离线数据仓库能够反映业务的历史情况,而实时数据仓库能够展现当前时刻的业务现状。实时数据仓库并不是脱离金融机构传统的离线数据仓库重新构建一套独立的仓库,而是把离线仓库、实时仓库两者紧密的结合在一起,形成一套批流一体的金融级数据仓库,让业务分析变得更加的连续性、完整性。

02

金融实时计算应用案例

银行

随着信用卡市场进入了存量时代,各大银行非常注重客户的获取、客户的转换以及客户的流失。过去银行信用卡中心与用户之间存在非常严重的信息脱钩,比如客户不清楚他所持有的信用卡具有哪些优惠活动,银行卡中心不清楚用户需要怎样的优惠活动。长期以往,客户会选择重新持有具备他更感兴趣的优惠活动的信用卡导致客户流失。为了给予信用卡客户更好的服务体验,各大银行陆续构建了面向信用卡客户的移动APP,如掌上生活、发现精彩、建行生活等,提供了汇聚餐饮、出行、购物、充值等生活场景于一体的综合性服务。

在此背景下,为了更好的发现潜在信用卡客户、掌握客户的用卡习惯、挖掘客户的用卡需求、了解客户的持卡风险,各大银行、信用卡中心均开始筹划构建实时计算平台。借助Flink实时计算技术不仅能够对客户的行为进行实时分析了解客户的业务需求并结合历史的行为偏好进行实时的精准推送,通过构建实时风险规则还能够对新申请客户进行实时反欺诈识别帮助业务部门进行申请审批决策。

袋鼠云StreamWorks(实时计算平台)是基于Apache Flink构建的云原生一站式大数据实时开发平台,采用自研FlinkX和FlinkStreamSQL作为技术底层,覆盖从实时数据采集到实时数据开发全链路流程,支持FlinkSQL和DataStream API作业开发,计算处理延时最低可达亚秒级别,并提供丰富的Metric运维监控曲线和日志功能,帮助金融机构快速的构建数据全流程实时处理体系。

借助StreamWorks帮助金融机构构建流式计算平台建设,通过“流批一体计算体系”及“统一实时数据模型”技术方案实现实时和准实时应用的规模化建设,支持实时经营分析、实时反欺诈、实时营销等应用场景,全面提升数据价值的时效性。让营销变的更及时,让风控变的更实时。

证券

随着数据应用走向深入,众多金融机构开始探索实时数据大数据平台,其中,券商对此需求更为迫切。不同于银行的存贷业务,证券的实时数据都是客户交易数据,且证券单客户交易频率远高于银行,因此,券商需要快速处理事件和响应客户需求,对系统实时分析的要求高。例如,其中关键业务场景之一是异常交易监控,监控是否有扰乱市场秩序的大单,如疯狂下单、拉抬股价、打压股价,大单委托、超额委托、超额撤单等扰乱市场秩序、欺骗股民的行为。

在此背景下,该券商的业务体系需要向实时化迭代,提高响应速度和运营精细化程度,这对数据中台和业务系统提出了要求:支持高并发、高准确性、实时反馈等。过去该券商的数据处理与反馈都是以批数据计算为主,未来需要以流计算模式进行,以实现场景触发式服务,只要客户触发一项功能就会触发后面的整套流程。

在实时数仓建设阶段,袋鼠云帮助该券商在前期制定标准、选择最终的技术栈,统一数仓建设的标准。基于数栈 DTinsight帮助客户构建实时数仓,实时汇聚包含证券交易、融资融券、个股期权等多个领域数据流,基于Flink技术提供实时数据源,推进企业UCM(统一客户模型)体系构建,快速响应各业务系统数据应用需求,实现全域用户状态实时感知,为上层的业务方提供基于客户状态的实时数据处理,帮该券商重构底层实时数仓,打牢实时数仓的根基。

袋鼠云已经在国内多家金融机构完成了实时计算平台及实时数据仓库的实施,涵盖了证券行情、风险管理、信贷反欺诈、精准推荐、智能投研等多个业务板块的数据实时化改造升级,袋鼠云提供的产品及服务不仅能够帮助金融机构快速搭建稳定可靠的实时计算平台还能够提供完善的实时数据仓库建设理念,可以充分保障金融机构实时计算、实时数仓体系成功落地。

袋鼠云所赋能的部分金融行业客户

+1
0

好文章,需要你的鼓励

参与评论
评论千万条,友善第一条
后参与讨论
提交评论0/1000

下一篇

日前,浙江省电子商务促进会陆续公布了最新一批专家智库名单,鲸灵集团副总裁、好家云店负责人鲲天正式入库。截至目前,该智库已拥有全球浙商研究院副院长、浙江大学教授邬爱其,阿里巴巴商学院执行院长章剑林,阿里巴巴集团总监蔡晓辉等多名专家成员。

2021-10-11

36氪APP让一部分人先看到未来
36氪
鲸准
氪空间

推送和解读前沿、有料的科技创投资讯

一级市场金融信息和系统服务提供商

聚焦全球优秀创业者,项目融资率接近97%,领跑行业