面对亿级数据分析场景，镜舟如何做到金融级放心用？

引言

中国金融数据库行业研究报告(2023)指出,自 2020 年的⾦融信创元年, 中国数据库迎来了⾼速发展。

进入 2024 年,镜舟科技的商业拓展速度进一步加快。在过去半年里,镜舟科技与十余家头部股份制银行、互联网银行、券商落地商业合作,逐步推进大数据平台的搭建与落地,其中包括 2 家国内 top5 股份制银行与 4 家国内 top10 的券商,镜舟成为众多金融机构信赖的合作伙伴。

金科创新社针对这一进展开展访谈,与镜舟科技 CEO 孙文现、CTO 张友东以及客户成功团队负责人孟庆欢深入探讨镜舟科技如何通过技术创新和行业经验,助力金融机构应对数据分析的挑战。

金融行业数据分析应用的独特需求与挑战

2023 金融数字化发展报告显示,截至 2023 年 4 月,金融行业 APP 月活用户已经突破 9 亿大关。

随着金融业务场景的创新和互联网化,如财富管理、数字化营销、数字化风控、企业内部提效等数字化手段的引入,金融业务对数据查询和分析的需求频率越来越高,企业对于更灵活且高效的数据分析解决方案需求也逐年递增。

以证券行业为例,根据 21 世纪经济报道,传统的经纪、投行业务面临收缩,越来越多的券商开始在财富管理业务中寻求增长点。在这一探索过程中,券商会在 APP、小程序等多个渠道线上平台上线业务应用服务终端用户,因此衍生了更多数字化营销和风险分析场景。

金融机构的数据规模庞大、类型多样且增长迅速,对比其他行业,金融领域在应用场景、技术条件上更为严苛。因此,金融机构在选择数据库产品时,不仅关注其性能表现,还高度重视其稳定性和可靠性,也要确保数据在传输、存储、处理过程中的安全性,防止数据泄露和非法访问。

另外,自 2020 年信创政策的推进,金融机构在数据库选型时也要考虑信创适配问题。

“真正能经过考验并且落地投产的数据库产品,需要满足最核心的三点:一是场景与性能刚需,二是国产硬件软件的兼容适配,三是数据安全保障,除此之外,也要求厂商能切实满足企业降本增效的需求。镜舟科技打造的分析型数据库,正是以高性能、高可靠性以及高性价比等领先特性,有效满足金融企业对于现代化分析的诉求。”孙文现总结道。

金融数据分析难题,镜舟怎么解?

StarRocks 高性能内核:大规模数据、高并发、复杂查询秒级响应

金融行业的数据往往涉及多维度的复杂分析、大量并发查询请求,要求系统具备极高的响应速度。

StarRocks 灵活的数据模型和强大的分析能力,使其能够有效应对复杂的数据查询和多维度分析需求,通过 MPP 执行框架、全面向量化执行引擎、基于代价的优化器(CBO),能够实现极速 OLAP 分析。此外,StarRocks 具备多维度数据模型构建能力,支持深度钻取、切片、切块等复杂分析操作,这意味着金融机构可以快速获取所需数据,支持实时决策和业务优化。

镜舟精准进阶:打造金融级能力,保障安全、稳定、易用

镜舟科技旗下产品在 StarRocks 基础之上,加强了数据安全和隐私保护能力,通过SSL数据加密和 SQL 审计功能,为数据的访问、传输以及存储过程提供全面安全保障。此外,也提供完善的运维管理能力,包括极速数据迁移体系,容灾备份体系(存算一体、存算分离以及跨集群方案)和完善的权限管理体系,帮助企业在享受极致性能的同时,兼顾数据安全管理。

相较于传统的数据库,镜舟在行业标准之上,提供更为灵活的安全策略,以适应不同的业务需求和环境。支持列级数据屏蔽和行级数据过滤,方便客户动态确定某个用户是否有权限访问特定的数据行和敏感数据列,实现更细粒度的数据访问控制。

“除了对 StarRocks 开发贡献, 镜舟科技也在易用性和稳定性上发力,镜舟分析型数据库支持标准 SQL,兼容 MySQL 协议,也适配各类主流 BI 工具,能大幅降低用户的使用门槛。”张友东表示。

同时,积极完成数字化上下游生态适配。镜舟科技已经与包括兆芯、鲲鹏、海光、飞腾、统信、帆软、奥威、永洪、思迈特等生态企业完成产品兼容互认证,确保其解决方案能够无缝集成到金融机构的现有系统中,并提供全面的支持。

聚焦商业产品能力,让企业从想用到放心用

镜舟科技秉持着对开源技术的追求,推动开源项目 StarRocks 在 400 多家大型企业的生产业务中部署应用,积累了大量社区用户与活跃贡献者持续为项目添砖加瓦,帮助开源技术长久发展。

金融行业对产品的可靠性、稳定性及安全性有着极高要求。因此,能够提供开源保障的企业级服务和产品,已经逐渐成为企业进行采购的新趋势。在商业化进程中,镜舟科技基于开源项目 StarRocks 进行研发,在行业适配度、场景成熟度、产品稳定性进行企业级优化,能够满足金融行业的复杂需求。凭借其在开源商业化道路上的深耕细作,镜舟科技正逐步成为企业级的优选合作伙伴。

成立短短 2 年,镜舟科技在商业化道路持续突破,通过企业级产品与服务实现了较快速度的规模化收入,与越来越多的企业成功签约并实现盈利。持续稳健的盈利为镜舟的长远发展奠定了坚实基础,也为开源项目的支持和推广提供更大的动力,实现双轮驱动循环。

目前,镜舟科技落地商业合作的客户分别来自银行、证券、保险和消费金融等典型机构,包括中信银行、南京银行、微众银行、中信建投证券、广发证券、申万宏源、西南证券、中欧基金、江苏苏商银行、中欧基金、创金合信、华夏基金、泰康资产、北京保险服务中心等。

一个优秀的数据库产品不仅需要具备先进的技术和设计理念,还需要经过大量的应用落地实践积累,以验证其在实际业务场景中的可行性和有效性。在金融领域,镜舟总结了基于用户数据平台、指标平台、以及风控分析等业务的解决方案,并在多家金融企业真实应用环境中验证了其业务价值。

多家金融机构与镜舟科技合作,实践成果显著

以银行业为例,苏商银行原有数据架构的查询性能和数据开发维护成本方面存在挑战,在对全行 200+业务系统的数据链路进行了全面梳理后,引入镜舟湖仓分析引擎,构建了湖仓一体的数据架构,实现了在数据湖上建仓并加速数据访问的目标。这一升级不仅提升了大规模数据下的查询性能,还显著缩短了业务报表的产出时间,使得管理决策用数效率从 T+1 天缩短到秒级。特别是在实时存贷款报表应用中,对账时效从 2 小时缩短到 30 秒内,效率提升超过千倍。

在证券机构中,申万宏源证券也遇到了数据爆发增长和业务实时化的双重挑战,并选择镜舟分析型数据库来建设实时数仓。通过物理层的设计,实现了数据的沉淀与复用,大大提高了查询响应速度。

在财富管理、私募基金监控、投资研究与资产管理等多个业务场景中,镜舟分析型数据库均展现出卓越的性能,助力申万宏源实现业务的实时化与智能化。此外,新的系统架构更加简洁,运维成本大幅降低,业务赋能的范围也更为广泛。

布局未来:数智赛道的领先洞察与布局

布局增量市场需求,持续技术与研发投入

从国家数据局发布《数字中国发展报告(2023 年)》报告来看,2023 年数字经济核心产业增加值估计超过 12 万亿元,占 GDP 比重 10%左右。以云计算、大数据、物联网等为代表的新兴业务收入逐年攀升。

张友东透露,金融市场需求变化快速,镜舟科技也开始着手 AI、湖仓一体等新技术领域的布局,以便更好地满足金融等新兴业务场景的需求,也降低数字金融在企业端落地的难度和所需成本、提高效率。

坚守成就客户初心,为企业服务落地护航

孟庆欢表示,客户至上是镜舟的核心价值观,正是由于团队秉承一贯的专业精神和高度负责的态度,才能帮助金融客户高质量、高标准地完成数据系统的落地,让镜舟在金融行业快速覆盖、获得认可。