洛阳证券公司联盟

【速记】国海证券 张召端:国海证券大数据系统的发展过程

星环科技2022-06-17 08:54:15


10月31日,2017星环智慧大数据巡回论坛——郑州站顺利举行。本次巡回论坛,星环科技联合众多合作伙伴、用户展开应用案例分享,让更多行业人士了解大数据在医疗、农业、政府、交通、金融等行业应用中可以达成的效果。


因会后收到不少嘉宾反馈,对演讲内容非常感兴趣,演讲信息量大,现场又无法及时记录,特在后期推出嘉宾演讲速记系列,以最大程度弥补这个遗憾。


导读


【演讲主题】国海证券大数据系统的发展过程

【演讲内容】国海证券信息技术中心开发部负责人张召端向我们介绍了国海证券大数据系统的发展历程:过去的选择、目前的现状以及下一步的方向。



一、过去的选择


我们公司2009年之前就建立了数据中心,当时建了部分管理系统,包括建立了一些微小的数据服务。与现在相比,这个服务是很有限的。那个时候的数据服务做了一部分,后面开始建了A.CRM系统,在A.CRM系统的基础上我们又自建了系统查询平台,这样我们就能够满足不同业务要求,可以提供一个比较丰富的数据服务。这样分场景、分业务、分组织、分来源、分营业部,都可以做出各种各样的分析。我们在系统建设的过程中发现,这样的数据服务还是远远解决不了不同业务线、业务变化的情况下的需求, 2015年行业交易的变化对我们整个行业系统也造成了一定的冲击。这个时候我们开始考虑要找一个更好的方式解决标准数据服务。与此同时,我们成立了团队,对这个市场做了相关的调研,也去了很多同行,包括去了中国银行做相关调研来如何解决这件事情。在2015年我们建立了最早的数据体系,当时我们不知道要用一个什么样的平台来解决我们的需求和问题,但我们把需要解决的事情全部列出来,申请新的三年规划,获得了公司领导的认可,2016年开始了我们的系统建设。


二、目前的现状



2016年年初,包括2015年年底,我们成立了8个方向的技术团队。我们在市场上做相关的调研,包括技术选型,最核心的技术选型就是Hadoop平台,这个就是现在我们公司大数据体系的数据架构。整个数据核心还是星环的平台,我们所有的数据输出通过星环的Inceptor进行数据的交互,特别是右边那一块我们通过帆软建设了一个统一的报表管理系统,也建立了领导驾驶舱。同时,我们从去年10月到今年3月份完成了第一版的数据标准的建设,涉及到1600多个指标。后面也做过了四个数字专题的建设,目前我们也对历史数据进行了一定的补充,现在还在补充中,我们已经补到了2009年,相当于我们整个交易数据往前追溯到了2009年。我们也建了自助分析平台,允许所有的业务人员,包括业务相关的领导都可以上我们的平台,对他们自己所感兴趣的数据,当然是他们权限范围之内的数据进行数据使用。


我们也做了一个离处理,整个系统已经替换了原来数据中心的整个数据服务。我们的数据服务是对周边的管理系统提供非常标准的数据服务,就是最底层的数据服务,数据中心已经在我们系统中,跟周边系统没有关系了。另外,我们通过标准的指标还有上面的复合指标、管理指标、数据提示,都提供了不同的服务。下一期我们会对以下文本会做一个更多的挖掘。这是我们目前的现状。


 

跟大家分享一下数据架构,整个目前数据体系的架构是一个五层的架构,从左到右,左边是一个数字治理体系:第一个是云数据,第二个是数据标准,第三个是数据质量,第四个是数据安全,第五个是生命周期管理。相当于整个数据体系从本身数字治理管理办法里面,还有包括数字架构,同时还衍生了股票制度,是我们目前想要做的一个事情,也是正在做的事情。右边是我们的一个运维保障系统。底层的话从数据采集,数据交换,这些都是大家今天听了很多的,我就讲一下数据存储。


数据存储目前分了七个主题,当事人、事件、机构、资讯、产品、公共、财务。在这个上面有不同的数据集市,特别是风险提示,包括综合管理平台。数据管理平台传统上所说的CRM系统对应的提示,还有手机APP。在这上面,通过星环的TDH数据应用层,统一进行管理。

下面我给大家讲,我们第一年做的最多的事情,特别是年年底,我在广发参加了一个行业内关于数据治理的探讨大会。我们根据本公司的现状,每个公司现状都是不一样的,我们把数据治理的职责放到了IT治理委员会。执行层的话,我们分为数据治理组还有业务需求组,还有系统实施组,还有系统运维组,还有信息安全组,都是为了解决不同的需求。数据治理是负责大数据平台各种制度、办法的治理与发布,包括数据定义和整体架构设计。业务的话是跨业务线的,特别是涉及到自己业务模型的设计,包括一些信息的收集。实施组主要负责大数据系统,运维组负责统监控,包括数据的采集和日常的管理。安全组是包括网络的,包括系统安全,数据审计还包括网络这一块。这是目前我们数据治理的整体架构。


现在,我们基于这样一个职责,想打造一个网络平台,网络平台除了想解决所谓运营权限这些内容以外,我们想搭一个数字管控平台,这里面所提到的三个内容包括元数据、数据标准、数据质量。我们从左边的数据热点开始。我们的数据热点来源于元数据,我们在这个基础上会做一些相关的预测调整,达到数据标准和数据热点的统一。然后在这基础上我们会做一些制定一些指标相关的维护,包括指标信息的导入,指标信息的维护,还有标准的发布,也包括标准的数据接口、基础数据之间的关系。右边是标准的管理,包括数据标准的管理、数据质量的管理以及数据归属的管理。数据归属的管理,我们在日常过程中发现数据必须要有归属部门,如果没有归属部门到时候数据标准就会有问题。

元数据管理、数据标准管理、数据质量管理三者之间的关系。元数据大家都知道,我们不是覆盖三块数据,一个是基础原数据,还有管理数据,还有业务数据。在这三块数据的情况下跟我们数据质量有关系的实际上基础元数据。在这个元数据管理里面,包括元数据模型的管理、元数据的获取、元数据的分析,以及元数据的应用。我们有一些是直接为某些管理系统直接提供标准,只有底层的数据,其实这个元数据服务没有任何加工的服务。

下面一个是数据质量管理,质量管理对数据的标准往前推,一个是对检查规则的配置管理,一个是对检查规则的制定进行相关的执行管理,然后对数据质量的问题分析。数据标准的管理。一个是数据标准的维护,包括数据标准的查询,包括数据标准的申请、数据标准的映射管理,包括数据标准的执行检查管理。执行检查管理来源于数字质量管理。

数据标准的来源。我们来源于四个方面,一个是外部标准,这个大家都统一了,,国家标准,行业标准。还有第二个是业务标准,业务标准有点类似公司自己的,包括像CRM系统、OA系统、财务系统,风控系统,这是我们的业务标准。还有是源系统数据,这个交易系统里面的数字代码。参考标准,我们总共参考了五套标准,最后我们制定出了属于我们公司自己的一套标准。


以下是应用案例介绍:


案例1:自助查询

这个是我们基于帆软所做的一个报表系统,我们把这个功能开放给业务部门相关同事,而不是仅限于领导,特别是对这个报表,允许进行多层转取,不同的状况它可以分区域分部门,分时间,可以对不同的时间进行拖拉,对不同的时间进行比较。不仅可以同比环比,可以进行多层次多角度的比较,极大地减少了信息中心在日常数据服务上的任务。


案例2:客户画像

我们一直在研究的客户画像跟别人的应该是不一样的,特别是跟互联网公司的客户画像有所不同。我们的客户画像应该是落脚到我们日常的各个业务场景。一开始我们建很多模型,对客户操作偏好、客户富裕程度、客户风险承受度、客户适当性、客户成熟度、客户价值分析、客户行为分析等。就是为了生成很多的标签,然后我们再进行相关的一些数据,模型再做二次加工,来做一个给深入的分析,看看这个客户是一个什么类型的客户,是什么样的客户,为什么赚钱,为什么亏钱,它是一个什么样的风险,我是想解决这些问题。


第一个是基本信息,性别、年龄、股龄等等。我们把股龄单独拿了出来。我们还做了很多画像,比如资产画像、可以查看他的资产分布、仓位、资产增减等情况;交易画像可以看出,分类交易量、交易频次、交易时间、换手率等等;产品画像可以看产品集中度、资产变化、持有周期等;投资画像可以看投资策略、投资风格、投资能力;实时画像可以看鼠标轨迹、交易操作、持仓变化、渠道来源等等。


三、下一步的方向



我们下一步想对数字资产进行一个相关的确定,让数据资产价值得到一个更好的体现。另外一个是,我们想确定数字资产的管理规划。第二个是想跟外部的权威部门进行相关的数据对接,完善用户画像。第三个是想完善产品数据,促进产品的合理设计和引进。第四,加强人工智能与机器学习。


对标的服务,第一个是投资者教育,我们对一些操作有问题的客户,风险不可控的客户,应该是投资者的目标。对于一些客户,对于一些资讯非常敏感,特别是按照这种资讯进行操作的客户,我们应该及时给他提出一些他所关心的资讯。然后是智能客服,对客户分类以后,对于客户群体画像之后,我们就知道哪些客户就应该通过一个什么样的客服服务。包括下面的产品营销,智能投顾都是完善我们客户画像以后才能够做出更好的服务。


包括我们今年所提到的全面风险管理,因为我们所有的数据都进到项目系统,包括我们客户的销售日志,包括客户的征信信息,我们可以对客户做到经营风险的管理,包括流动性的管理。


第二步是接着我们上一步的内容,我们想对数据进行一个更深入的引入。目前我们已经花了很长的时间,最大的一个问题是安全问题,数据来源、数据安全性、和对这个数据的识别都是很重要的。我们可以跟外面,特别是跟互联网相关的合作,获取相关的数据。可以丰富我们的数据信息。 


另外,在这个基础上我们还想建立企业知识图谱、完善舆情监控体系,以及智能研报、量化交易等。


内容如与现场演讲有出入,请以演讲现场为准。


点击或回复关键词,查看相关内容


公司

简介 | 星环科技成长大事记 

投资 | 星环科技获腾讯领投2.35亿C轮融资,与腾讯云达成战略合作


产品

产品 | 星环的划时代版本-Transwarp Data Hub 5.0

TDH社区版 | TDH社区版提供官方下载

评测 | 大数据产品最新测试基准看哪家(TPC-H or TPC-DS)?

流式计算 | 用Slipstream构建复杂事件处理应用

Holodesk | 业界最强的SQL引擎Inceptor为何这么快?

培训 | 学完这些课程,你也是大数据专家了!

认证考试 | 数据中心联盟—星环联合认证体系首次认证考试报名中


技术

技术 | 原创技术干货大合集!

技术支持 | 最完整的星环技术支持体系

评测 | 大数据产品最新测试基准看哪家(TPC-H or TPC-DS)?

TED视频 | TEDxLujiazui精彩视频:【大数据 大趋势】

白话大数据 | 白话大数据合集


案例

银行 | 河南农信:数据辅助决策,决策引领创新

证券 | 中泰证券:剑指大数据处理 多券商革新IT架构

智能金融 | 星环科技发布证券业大数据战略规划纲要(白皮书)

运营商 | 运营商的新方向-运用Hadoop技术将大数据资产变现

交通 | 大数据在智慧高速中的创新应用

物流 | 星环Hadoop发行版助快递业迎战“双十一”

邮政 | 中国邮政大数据平台建设

税务 | 大数据提升税务系统核心能力

审计 |让数据成为竞争力

视频监控 | Hadoop大数据在实时视频监控的应用场景

广电 | Hadoop企业级应用新添重磅案例

电力 | 华南某市供电局全景可视化大数据平台案例

能源 | 厉害了,我的营销大数据!

智能工厂 | 大数据技术助力中国石化智能工厂

农业 | 农业大数据的研究与实践

医药 | 医药产业链大数据前沿探讨

速记

【速记】河南农信 牛玲玲:数据辅助决策,决策引领创新

【速记】数起科技 李明国:让数据成为竞争力

【速记】天士力 刘晓煜:医药产业链大数据前沿探讨

【速记】国家农业信息化工程技术研究中心 陈天恩:农业大数据的研究与实践

【速记】同济大学教授 王伟:同济-星环“数据科学与大数据实践平台”建设

【速记】第一创业证券 瞿任雄:基于星环TDH大数据平台构建新一代券商数据中心

【速记】南方基金 屈磊:基于TDH数据中心大数据平台建设

【速记】中泰证券 何波:基于机器学习的场外配资自动识别系统