原标题：中国四大银行的大数据應用已到了哪个阶段

01 中国建设银行信息技术管理部资深经理林磊明

从十二五走到十三五期间，银行业面临的各方面的压力越来越大从峩们的年报数字可以看出去年四大行的利润增长基本上趋近于零增长。在这样的情况下我们怎样通过IT的引领提升传统银行的竞争力，这昰摆在我们面前的一个很重要的课题

2）过去十多年期间，银行业务出现两个拐点

大数据怎么样能够在智慧银行的方向上起到更大的作用呢?

通过银行的历程佐证这样一个观点过去十多年期间银行基本上有两个拐点， 第一个拐点就是发生在互联网银行慢慢取代柜员IT支持从支持几万十几万的柜员到支持面向所有的互联网客户，这里面发生了一个根本性的变化无论是服务的形态还是IT的支撑，都发生了很根本嘚变化这是移动和云要在里面发挥作用。 下一个拐点是什么?银行要从原来做的账务性的、交易性的处理转向能够渗透到经济生活的方方媔面这是一个场景化，如果抓不住这个拐点银行就要被互联网金融颠覆或者管道化。

3）三大互联网渠道已建立具备大数据基础

这几姩银行三大互联网渠道已经建立： 手机银行，已达到1.8亿多; 网上银行我们有2亿; 微信银行，它占的客服服务总量已经超过了传统的客户服务 这意味着我们的渠道、我们场景化的实践已经见到了效果，另外我们做大数据要具备的基础已经存在

4）大数据要解决3大问题

谈大数据，对传统银行来讲要解决3大问题： 怎么样提升对于客户的识别? 怎么样对于客户的营销? 怎么样提升对于风险的防范?

所以，无论是用传统的結构化的数据还是用现在互联网形态下面非结构化的数据，要解决的问题都是这些只不过我们现在有了更丰富的数据源，有了更好的對于数据处理的方法 目前，建设银行已经成立了上海大数据分析中心这不属于技术部门，属于信息管理部门

5）建行大数据平台设计思路

策略上架构先行，我们已经有很好的基础架构1、基础能力上，我们在做一些基础的大数据分析工具的搭建2、要想明白用数据做什麼?我一直不太同意你先不要管你做什么，先把平台搭起来我不太清楚有多少人从做数据仓库过来，当时提的很多的概念是垃圾进垃圾出到了大数据时代没人提这个事情了，好像所有大数据都是质量很高的但这方面要警惕。

功能架构设计和大家都差不多，从采集、存儲、分析、展现到应用我要强调的是从这个结构来说，这是很完美的一个结构但要能够实时或者及时地反映到你的业务流程当中去，反映到你的营销当中去不要拘泥于一个结构。

数据设计我们有一个演变过来的整体的结构。这里面我想强调一点大数据是数据的一蔀分，结构化的数据是大数据的一部分这两个东西不要割裂来看。

我们的大数据平台取得了一些成果： 实时的数据仓库上：我们能够对愙户经理做实时的数据提供和交付提供无论是并发的访问还是实时服务方面。 从数据的应用模式上：我们总结了六类数据应用模式包括挖掘类、数据实验室、机器查询、仪表盘、固定报表、自动查询等等。

建立“模型实验室”：现在越来越发挥了更大的作用我们能够基于结构化和非结构化的数据支持大数据模型的研发，这个模型研发出来我们能够很快地把它部署到生产当中去能够为一些决策，未风先管理服务

在非结构化大数据的应用方面，做探索：比如客户行为偏好的数据录音文本、地理数据的应用、能耗数据的应用、媒体信息、员工行为数据等等。通过位置服务终端识别的新技术新数据的采用拒绝可疑风险事件，上半年避免1.9万起避免客户损失1.4亿，这种数據越来越大

7）未来，场景化、标准化、平台化

刚才我提到了场景化我们希望能够把金融数据的服务将来标准化和平台化，平台化之后能够在基础的大数据能力、基础数据的提供甚至一些分析数据的提供基础应用，客户花香、征信评级的监测为无论是内部的客户还是外部的客户提供更好的大数据技术，这是从技术方面来看大数据下一步做的工作

02 中国工商银行软件开发中心信息科技专家王晓平

1）工行夶数据面临的挑战

如何处理数据量的快速增长?首先全行的数据量的快速增长，包括我们现在工行每天的交易量外部互联网金融，工行的彡大互联网平台造成用户的交易数据和行为数据有大幅的增长 如何快速智能分析历史数据? 工行从2000年开始建立数据仓库以来，拥有了庞大嘚历史数据资产在新的环境下怎么能够快速地智能分析，对我们提出了更高的挑战 如何使用内外数据，描述客户特征?在数据源方面除了本单位数据，也需要采纳外部的数据来配合进行分析工行已经引入了征信数据、税务数据等，怎么做到比较全的数据去描绘我行的愙户特征这是作为我们的一个新的课题。

2）工行大数据战略思路

工行整个的战略思路是通过我们行的两库一司的建设来完善大数据体系 两库是信息库和数据仓库，数据仓库在工行的建设和银行的建设中都是比较传统的主要是应对我们之前的银行交易数据、账户数据，采用结构化的数据存储来进行相关的处理前两年的时候工行启动了信息库的建设，主要指非结构的数据 通过两库的建设，我们还建设叻一支分析师队伍能够对这些庞大的数据进行相关业务的加工处理和分析。

工行大数据的发展历程可以分几个阶段从TB级已经进入了PB级嘚建设阶段，接下去在可预见的几年内会进入EB级的庞大体量

最早工行是2000年初，那个时候大数据的领域更多的还是应用在一些报表的快速展现所以那个时候我们是基于比较传统的Oracle和SaaS，做了T+1的动态报表行领导和管理层能够在第二天上班前看到我们行昨天的经营数据，这是朂早建立的

2007年工行基于当时较先进的企业级的数据仓库的体系架构启动了工行的企业级数据体系的建设，做了全行统一的管理数据的大集中

2010年基于我们的数据仓库的数据支持，我们推出了工行的MOVA管理会计系统做了全行绩效考核的管理系统。 2013年随着外部形势的发展大量数据爆发式的出现，我们引进了大数据领域在业界最流行的Hadoop技术在Hadoop基础上搭建了信息库，发展是非常快的

2014年工行基于大数据，原来嘚大数据采用连机异部批量的方式通过文件存储的方式，不管是数据仓库还是信息库在时效上相对来说比较慢，所以自主研发了一个鋶数据平台能够提供实时或者准实时的流数据处理。 2015年下半年和今年正在推动分布式数据库的落地工作会和企业级数据仓库做一个互補。这是大数据的主要技术演进

在大数据平台上，我们可以把它抽象成如下几层：

第一层是数据采集统一针对外部和内部的数据进行楿关的数据收集，包括日志信息、行为信息和业务信息

再上面一层计算层，是我们不单单提供了传统数据仓库的批量计算的能力也通過一些流数据的技术提供了实时的计算能力。

再上面一层应用层抽象了大数据相关的应用，包括用户可以自定义的查询功能通过这些信息的服务，把这些服务抽象到我们的业务系统中通过我们的管理会计系统，通过分析师平台、风险系统、营销系统为我们在数据的運营、风险控制和营销方面都提供相关的支持，这就是主要的大数据分层体系

5）分布式、开源、通用成为趋势

从大数据的起源开始，数據仓库到目前的大数据新形势下数据仓库已经在做非常大的升级换代和变化。2014年工行从高成本封闭的专业系统(如：Teradata)开始向高性价比、通用设备和开放技术的系统转变。

第一是数据量太大了原来只需要处理TB级已经转向需要处理PB级甚至以后EB级的数据量。如果是这么大的数據量运用传统的设备没有办法进行相关的处理。

第二性价比，我们做过测量通过开放式的弹性可扩展的普通PC服务器的方式，比传统設备在成本上介绍十几分之一或者几十分之一我们在新平台上一方面引进了Hadoop平台基于普通的PC服务器进行搭建，短短一两年的时间已经扩展到150个节点存储空间已经超过1PB，超过建设了十几年二十年的Teradata的数据容量

另外我们在研究也会尽快落地的分布数据库，会基于开源的底層架构基于普通的PC服务器完成数据仓库体系的扩充。后续在大数据的处理加工方面会基于分布数据库进行处理

从目前的分析角度来看，Teradata会保留着重在高端的分析师分析挖掘的探索性的工作方面。后续工行的大数据体系会采用多种技术路线、多种技术平台共存的方式

6）非结构化数据信息库，通过搜索

非结构化数据信息库的建设情况建行已经介绍了，工行也有点像信息库的建设原则，因为非结构化嘚数据的量是非常大的所以我们的原则是信息库建设没有把非结构化建设进行物理存储的集中，我们只是通过统一的搜索引擎让用户能夠快速地搜索找到他需要的非结构化的信息

7）风险防控，是落地最快、最有成效的应用

工行在大数据应用方面主要侧重在风险方面

工荇通过大数据在事前、事中、事后三个环节的运用进行风险的柔性控制。简单地举一个例子事前，比如银行卡的授信过程中或者信贷偠进行发放做净值调查中，数据能给它一个支撑事中，比如银行卡最近比较多地发生盗刷行为我们可以在事中通过大数据的方式发现銀行卡的盗刷行为。事后可以根据事后的交易或者发生的事件进行相关的分析，分析我们后续在业务的拓展或者风险控制方面有哪些需偠进一步改进或者补救的工作

这里举了几个简单的案例。非常好的大数据的应用场景：

第一交易反欺诈，需要利用大数据流数据的技術用户在做交易的过程中采用主机旁路技术，交易没有完成之前通过大数据在内存中进行一个判断

第二，大数据怎么运用模型通过仳较好的用户特征的总结和模型做一个监控。通过标签信息比如我们定义了两个标签，一个是用户开户的地区比较广泛另一个他持有仳较多的借记卡，我们可以认为他涉嫌倒卖银行卡的嫌疑我们通过大数据的计算可以把这些人员抓出来，可以进行后续的业务处理和防涳这也是大数据应用的比较好的方面。

第三现在各个银行业碰到的比较大的困境，信贷资产的质量问题工行持续在推动运用大数据驅防控信贷风险，工行成立了信贷防控中心运用大数据技术在进行相关的防控。

03 中国农业银行软件开发中心专家赵维平

1）银行在技术选擇上相对保守

我们在2003年初开始搞大数据，当时有很多困惑首先感觉到大数据到来了，现在各个行业中央台什么东西都用大数据说话，我们在银行业我们能做什么呢?

早期在十几年前我们大家做数据仓库的时候大家可能选择面都很窄，四大行除了我们没用TD其他都是用TD做嘚数据仓库我们当时某系统也很痛苦，计算资源可以扩但IO能力就在那里。当时觉得列存储带来很大的优势处理通用的数据量减少了佷多IO。平台选用什么?还用传统的吗?新型的怎么样?

金融在有些技术的选择上还是相对比较保守的我们不会用的技术，不会用的版本这也洇为金融工委和国家人民银行对于我们的连续服务要求特别高，一旦出了事情领导交不了差

2）自主可控，我们从几点入手

在自主可控上基础硬件、基础软件、数据模型、工具平台和制度管理都是自主可控的。

硬件方面采用华为的RH2288系列，2C、docore、256内存、12 4T硬盘不同时期买的硬盘的容量是不一样的，后来是4T之前是3T。

基础软件方面我们引进了国产的南大通用做的MPP架构数据库，我们在原形试运行阶段从2013年圆形環境开始投产采用28个数据节点，2014年3月份把它扩到56个节点非结构化，结构化的数据上游生产数据基本都是放在MPV架构数据库里使用起来技术上更流畅，效率更好Hadoop方面，非结构方面目前使用的是CDH开源版大概有100个左右的Datanode。

数据模型方面我们结合先进的建模理论，我们融匼了范式和维度的思路我们在主库核心层面基本是范式建模减少重复。维度方面由业务驱动的方式建立维度模型为主

基础的工具方面，大家知道有ETL、批量调度、源数据的管理这些东西都是我们自主开发的。我们制定了一套比较完备的规范、制度、方法、标准

数据源層，上游的生产系统几乎全行所有的生产系统的数据到今年底已经全部进来了，金融交易类百分之百都进来了现在有60多个上游系统，通过一个交换平台交换平台不仅仅为大数据服务，负责上游生产和下游数据消费系统总分行之间、总行各应用系统间数据交互的平台

數据处理层，淡黄色指关系型的数据库也就是MPP架构数据库。操作数据区、非结构化数据区、历史数据平台、流计算流计算用Hadoop Stam架构。

下媔是Hadoop的东西我们在整个大数据平台的结构化主库里分了基础数据库、共性加工区和指标区，非结构化有操作数据区、非结构化处理和历史数据平台影像那部分早期已经建好了，为了减少网络压力基本上存在分行

跟传统不一样的是，大数据平台的日加工时间目前在七八個小时早期批量一个是优化不到位，一个是处理的分层所以用了Hadoop把ETL和操作数据区都放在Hadoop里，因为可以节点多、计算能力强完成了ET的過程，上游来的全量数据在这里做了归类生成了一个纯层量的数据，减少了一天的批量时间几个小时提升33%的性能。

数据集市层现在規划8个数据集市，跟其他行没有太多区别客户营销、风险管控、外部监管，对分行服务的集市各行服务的对象都是一样的。底下研了數据提取平台外部监管和数据提取任务特别重，早期都得到生产去导带生成现在我们通过单独建一个环境，把一些数据预加工好基夲以宽表的模式，以前做加法的事情变成了做减法至少80%的提出需求都在我的环境里直接提取，大大减轻了人力

底下是分析挖掘平台，ODM、SaaS都是农行已有的云大数据只是它的用户而已，我们在Hadoop分装了应用为全行的分期挖掘提供服务支撑。对上层应用的服务有直接访问數据文件和外部服务和数据快速复制等技术和应用进行连接。应用主要是对资产负债领域、电子银行领域、信用卡和个人金融领域、风险囷财务提供了一些支撑

大数据平台和集市，我们建成了4个集市有3个集市在建的过程中，今年分行下半年要搞分行集市的试点应用，峩们提供统一的数据展示和服务展示服务一个是对所有全行业的用户，对所有行业监管的各种报送因为各种报送比较零乱，点也比较哆趋向不同部署也不一样，底层做了统一调度、统一监控和ETL对全行描述类数据进行了统一管理，包括我们的数据标准和数据质量管理嘟在这里统一进行

4）硬件环境如何进行有效支撑?

在Gbase方面，56是生产环境现在实现了56环境的双活，这两个56环境同时在工作一个做T+1当天的數据加工，一个做隔一天的连级服务这样的话连级服务的能力，按实侧的话会比以前做TD的测试中更强一点另外个人客户集市、资产负債集市，还做了数据挖掘层次Gbase集成了WODM和SaaS。Hadoop的生产环境是92个datanode和2个namenode我们现在Gbase有236个节点，库内主副本的整个容量有5.2PB数据Hadoop的集群是150个节点，嫆量是4.3PB

56+8是56个数据计算环境，8个是加载机56个环境每个节点是12块3T的硬盘，有2块做Read1是存放操作系统和重要的参数信息和数据库环境，其他10個环境是Read5来存放数据一个节点存放有效数据10几个T，56的环境里有效数据将近300个TGbase有5到10的压缩比，各个字段可以选择压缩去300个TB的数据换算荿仓外的文本量，就算简单乘以300T也是1.5PB以上现在折算成1.8PB左右，是PB级的

我们跟Gbase从这个时候开始合作，我们在八方面跟他们共同做了一些优囮工作跟Gbase做了大量优化，有近百个优化的细项MPP数据库，我们搭建了双活机制两个库之间的同步加验证现在每天大概是22TB的数据，仅需偠3小时早期在给主库做备份的时候，100TB的数据有小40个小时后来我们用了Hadoop做备份，100TB用了不到10小时大家用TB备份一直是比较难的事情，在Hadoop方媔我们做了大量基础性的工作非结构化的数据、文件的服务、数据的备份等等。

我们做了MPP和Hadoop的交互有些应用要交互，我们做了非结构囮MPP和HDFS之间的融合后来启用了MPP和Hadoop之间的备份，大大提高了效率300T也需要将近20个小时，所以我们做了双活如果双活稳定的话我们就不用备份数据了。开发的基础工具包括ETL工具、批量调度、整个的监控和统一访问层监控这块我们还做了健康检查，通过SaaS把半年的日志交过去朂后生成一些模型，给我预测整个系统运行的安全状况数据混搭的模型设计，我们有一套完整的方法论能保证数据的准确、稳定、完整和可用。同时我们在方法论、开发规范、数据规范和流程规范都积攒了一系列文档整个模型是分层的，操作数据区、基础数据区、共性加工区、指标层和集市层完成了客户的统一试图、产品的统一管理和客户的精准营销和风险管控等等。

通过6个方面对大数据平台的数據进行了全生命周期的管理包括建模、验证、清理、准入、数据地图和一些规范。

5）如何充分体现大数据的价值?

我们在大数据的建设中充分体现了数据的价值：

分析挖掘上跟业务融合，分别在多个领域写出了20多份分析报告有精准营销和业绩价值等九个方面都落到不同嘚应用去尝试实现。

培养的人才对SaaS、Spack、R语言，熟悉这些算法对聚类、分类、回归、神经网络等等进行了研究，要好用建立一套多场景的实验环境，流水线式的作业、组建化的模型集脱拉拽式的服务使业务人员能更快地使用我的系统。多个技术对用户来讲是透明的鼡户要使用的话非常方便。我们展示了非常完整的服务对基础环境融合，对资源的管理展现进行全覆盖部署的模式也是收放自如的，展现也突破了传统的思维我们在报表展示层面是可交付的、动态的，可以放大缩小可以按某一列去排序，可以锁定表头不是一个静態的页面，报表是可操作的

04 中国银行总行软件中心上海分中心副总经理牛晓峰

1）思考：大数据没有成功的原因是什么?

2015年下半年将近年底，Ganner对这1000多家企业和机构做了另外一次调查大数据项目成功上马的不到9%，为什么?Ganner对他们没有成功做了原因的分析其中比较重要的几条是這样的。

排在第一位的是无法挖掘出数据的价值是什么 第二位是企业或机构没有明确的大数据的战略目标和战略规划， 第三是缺乏核心技术 第四是无法有效的整合数据资源， 第五是企业的内部无法对大数据的实施和规划达成共识 总结了这样一些不太顺利的原因之后，峩觉得有一个清晰的完整的系统性的战略规划对中国银行以后大数据的建设的作用是非常巨大的。

中行的战略方向： 以平台为支撑构建夶数据的技术体系; 以数据为基础充分整合数据资源; 以应用为驱动深入挖掘数据价值; 以人才为核心提升数据分析能力; 以平台为支撑构建大数據的技术体系我们把大数据的技术体系分成战略层面、规划层面和设计及交付层面，在这里面最重要的是大数据的体系架构分为业务架构、应用架构、信息架构和技术架构四个不同的架构，在这四个不同的架构里分别支撑我们的业务流程和端到端的场景及应用的组建及汾析模块最后是设计跟交付。

我们在实施的方面采用分行试点的模式有很多的调查机构在对大企业实施大数据项目做了总结之后发现夶数据的项目实施方法上分两个流派，一个流派是自顶向下的上来规划很大的大叔据的东西，从地层往下逐渐延伸累了大量的数据，茬这里面做清洗分析在这里面找规律，再看这个企业怎么从数据里得到什么样的东西另一个流派是从底向上的，先看需要哪些东西洅对这些数据进行整合。我看了很多相关的实例之后后一个方法在现阶段的效果会更明显，有了清晰的需求才会更准确的对位需求的产品所以我们在大数据实施的策略上采取小步快跑、快速迭代、迅速试错的方式。

3）中银开放平台是中行大数据实施例子之一

中银开放岼台，2014年IDC金融的大奖去年获得人民银行的奖，亚洲金融家组织把它评为今年较佳的金融云服务产品这个产品是我们对大战略的落地实施的例子。这个产品的主要设计思路是我们把整个中国银行的大数据进行了归并整理之后开发了1000多个标准的API接口，这些API接口可以用与我們的分行甚至我们的客户在我们规划的未来里，可以通过这些API访问和使用中国银行的数据用于加工得到自己想要的相关结果。

目前已經有很多分行利用这样的平台开发出了很多比较受欢迎的产品大家如果有兴趣的话可以在苹果的APP Store或者安卓的平台下载这个产品看一下。

4）让数据发挥较大价值

我们非常希望在合规的前提下充分利用银行外部的数据服务因为银行或者金融企业的数据在深度上不是一般的互聯网企业能够比拟的，如果我们金融行业跟其他的相关企业进行有效的数据交换大家彼此利用对方的优势，就能够使我们这个数据得到哽完美的使用

以应用为驱动，深入挖掘数据价值做大数据应用的场景产品。此外中国银行还推出来口碑贷、中银沃金融的服务都是按照这个思路去进行我们产品的组合规划和设计。

精准地建设客户的营销平台把线下的客户信息和线上的客户行为统一在一起，把结构囮的数据和非结构化的数据有机地提炼并且整合争取能够较精确地描述客户的各项属性特征。