基于数据挖掘的银行客户流失研究与应用摘要当前，金融体制改革、互联网金融创新对银行业传统的零售业务构成了越来越大的挑战。在金融产品严重同质化的今天，银行原有客户的忠诚度正逐渐降低，客户流失已成为各商业银行都不得不重视的一个严峻的问题。中国工商银行作为国内最大的国有商业银行，客户流失特别是中高端客户流失的现象也日趋严重。本文从银行业对客户流失管理的研究现状、存在的问题及国内外的应用状况等角度入手，结合笔者在工行多年的工作经验，采用理论研究和实证建模相结合的方法，以数据挖掘和客户关系管理作为理论研究的重点，以该行的部分真实客户数据作为实证研究的背景，运用数据挖掘技术中的决策树模型和LOGISTIC回归模型，重点描述了基于SASEM挖掘平台客户流失预警模型的建模过程。同时，本文还将此研究结果运用到实际的营销活动中，以该行的两家支行中高端客户的实际交易数据为例，带入模型计算得到每个客户的流失概率，筛选了流失概率前30%的客户，运用该行的精准营销平台进行有针对性地流失挽回营销，结果证明采用该模型进行客户挽留可以将客户的流失率降低近一半。最后，本文根据此次建模过程及后续的营销活动探讨了客户挽留的策略，总结出流失客户挽回及建模过程等几方面的启示，供银行的相关管理者参考。本文的主要研究成果在于：一是构建了客户流失预警模型；二是将此模型运用于实际的客户流失挽回营销活动中；三是证明了采取流失客户挽回措施可以有效降低客户流失率。关键词：商业银行、数据挖掘、客户流失、LOGISTIC回归、流失客户挽回IAbstractCurrently, financial system reform and internet finance innovation become a much stronger challenge to the retail business in Banks. Under the situation that the homogeneity of financial products is extremely similar, customer loyalties are in the down trend progressively, customer churn is now a severe issue which all commercial banks have to face. As the largest state-owned commercial bank, The ICBC suffered from an increasing customer churn, especially from middle and high-end customer under the strong competition with all kinds of equity banks and emerging internet financial companies.This article starts from studying the current situation of customer churn to existing issues, further to worldwide applications, together with years’ working experience in bank, using theoretical study on data mining and customer relationship management and empirical research based on one bank data, applying decision tree method and logistic regression model. The article depicts the modeling of an early alert of customer churn based on SAS EM data mining laboratory. At the same time, the results of this article have been applied into the real marketing activities. Taking realistic transaction data of the high-end customers as the basis, to the top 30% customers in terms of churn rate, author will promote pertinent marketing and sales pla

摘 要：内部评级体系建设是各家商业银行实施新资本协议的重点内容，由于国内商业银行在内部评级体系和建设方面起步较晚，在内部评级方面存在一定的障碍，本文就国内商业银行实施内部评级存在的问题进行了探讨，提出了改进建议。关键词:商业银行 信用风险 内部评级一、国内商业银行实施内部评级的难点在实施巴塞尔新资本协议的内部评级方面，国内商业银行存在的最大障碍和难点是数据、模型和相配套的系统支持，主要表现在：（一）数据基础薄弱数据问题是制约国内银行内部信用评级的瓶颈。根据新资本协议，对于使用基础内部评级法的银行，要求具备五年以上的历史数据来估计并验证违约概率；对于使用高级内部评级法的银行，必须有七年以上的历史数据来估计违约损失率。由于新资本协议对数据依赖性很强，历史数据清洗和整合是内部评级体系开发建设的关键环节。因此，银监会一直要求银行加强对历史数据的跟踪、整理和加工，建立完整的数据库。但对于国内商业银行来说，绝大部分银行在实现从手工操作到计算机处理的转变的同时，积累了大量的业务数据，但是，数据的质量不高，主要表现在：1、企业报表数据质量不高一是企业报表的多样化导致财务数据失真。由于历史和监管不到位原因，企业会计报表呈现多样化和复杂化，企业数据一方面混乱不清，另一方面，一些企业在申请贷款时财务报表存在虚填、漏填现象，商业银行的审核不是非常严格，银行人员对数据的认识也仅仅停留在财务数据上，对于非财务数据缺乏深入细致的研究，企业内生的风险可以通过粉饰的报表，躲过审计师的审计，或者审计师事务所索性帮助企业重新炮制一份报表交给银行，银行缺乏用于对企业财务报告进行反欺诈监测的有效手段，导致银行获取的企业数据质量不高，从企业的财务报表中往往不能真实反映企业的经营状况，导致在模型设计时西方沿用的杜邦分析体系和沃尔比重分析偏离度较大，越来越受到严重的质疑。二是中小企业数据不完整。从国内来看，中小企业在发展的过程中，由于管理不规范和其他主观原因，企业数据不完整，从中小企业授信业务开展和小企业自身的生命周期来看，银行方面收集的信息一般都低于五年，并且数据的失真程度较高， 数据不完整和数据失真对小企业评级带来了难度。2、银行数据管理不到位导致数据混乱一是数据冗余与缺乏并存。大部分商业银行尤其是中小商业银行如城市商业银行(简称城商行)等都经历过转制，由于历史、银行自身经营等原因,在数据标准的统一等方面，没有从全行历史发展和风险管理的角度，制定全行的信息资源规划，使数据能够按需求变为信息，银行在采集数据时一方面收集到的客户和债项的数据连续性不够，另一方面没有进行数据的梳理和挖掘，采集到的数据出现冗余、多矢量同一数据现象较重，数据的质量和实用性较差,造成真正可以用于银行分析的数据缺乏，无论使用多复杂的模型都会出现失真程度较高现象。二是数据的存储更新不及时。银行对客户数据采集更新完全依赖于各业务系统操作者或基层营销人员的自觉性、纪律性、业务能力以及各级管理部门的检查督促力度，由于受到财务报表报送频率的限制和基层网点业务人员素质和工作压力等方面的原因，基层操作人员或营销人员无法对客户的信状况作出及时更新，使商业银行无法及时有效地分析和排除信用风险隐患。同时，受国内发展环境的影响，国内中介商业信用评级机构处于发展初期，还很不成熟，银行获得数据的渠道一般只能通过企业获得，获取适用的外部数据的难度较大，导致数据更新不及时。因此，实施内部评级对商业银行来讲，面临的首要问题就是数据的完整性和可靠性。据安永会计师事务所公布的调查显示，近40%的国内商业银行认为IRB法模型的数据收集位居信用风险管理障碍的首位，约60%的商业银行尚未掌握信用数据的收集和管理方法，信用文化以及管理文化的建设方面也需要进一步完善，这些问题的解决将需要大量的人力和时间，数据问题任然是制约银行实施内部评级的瓶颈因素。（二）缺少现代评级模型使用的环境国外现代评级模型是建立在市场化程度很高的基础上，模型由严格的假设，由于受国外市场化程度和环境的影响，在国内银行在利用国外现代信用风险模型来进行国内内部评级模型建设时，还存在制约因素。1、市场机制制约。CrdeitRiks+模型对违约次数服从泊松分布的假设，认为违约事件概率很小，需要健全的市场体系、完善的信息披露制度和监管机制等完全有效的市场假设作为前提，CrdeitRiks+模型中一个重要假设是将每一笔贷款视为独立，并且每一笔贷款发生违约的可能性很小，贷款组合违约的分布符合泊松分布。而我国目前信用制度不健全，企业之间诚信意识不强；商业银行为规避风险总是倾向于给熟悉的客户和有关系的客户发放贷款，而且贷款方式中经常出现客户之间的担保，从而使得许多贷款项目之间存在关联性；银行倾向于向自己熟悉的行业发放货款的习惯造成客户集中于某些行业，客户的行业不独立。同时，由我国现阶段相关机制不健全，资产收益的相关度不稳定，使得信用计量模型对资产组合的分析难以恰当反映组合风险的未来状况，使得模型对未来风险的预测能力有较大的影响所以由于市场制度的固有缺陷，使此类模型的应用受到限制。CrdeitMetricS模型认为企业违约的驱动因素在于企业信用等级的降低而引起信用资产市场价值的变化，即信用风险价差，其中企业信用等级变化的度量是由穆迪公司或标准普尔公司等评级机构对债券市场的信用变迁情况来模拟的信用等级迁移矩阵。因此债券市场的发育程度、科学合理的评级制度和准确的信用评级数据和信用等级转换数据是模型建立的关键所在。我国债券市场政府债券又占了很大比重，很少存在违约数据，在这种情况下，违约数据的缺乏使信用评级机构缺乏一个有效的评估和模拟信用等级转换的基础债券市场数据，所以目前在信用转换矩阵生成上存在间题，CreditMctrics模型在我国还存在较明显的操作性困难。同时，利率尚未市场化等为转移矩阵的建立以及信用价差的确定造成了困难。2、受评级对象的制约。KMV模型运用现代期权定价理论建立起KMV违约预测模型，采用的是企业股票市场价格分析方法，使该模型可以随时根据企业股票市场价的变动来更新模型输入数据的是一种动态模型，由于该模型将企业的预期违约频率与企业的股票价值联系起来，借款企业股票价格的波动状况引起借款企业资产市值发生变化必然会传导到企业的预期违约率上，可以及时反映信用水平的变化。因此运用该模型计算出的企业EDF对借款企业的变化具有很强的敏感性，对上市公司的信用风险评估特别适用。但是对非上市公司的EDF进行计算时，由于企业的资产价值企业资产收益率的期望值和波动性都无法观察到，使模型的使用范围受到限制。目前我国银行的客户大多是非上市企业，KMV模型运用受到限制，同时国内证券市场股价不仅波动幅度大，而且极端值出现的概率相对偏大，因此资产收益的非正态性问题也即肥尾问题应该受到重视。3、数据支撑不足。采用IRB初级法的银行至少需要5年的数据来估计违约率(PD)，而采用IRB高级法的银行至少需要7年的数据来估计违约损失率(LGD)。由于由于我国建立内部评级体系的时间尚短，商业银行数据管理基础薄弱，数据不完善，有关公司历史违约数据和规范债券评级统计数据的严重缺乏，特别是缺乏一个完整的经济周期的数据，难以进行合理的压力测试以及对评级结果的返回检验，也很难把违约距离转化成实际违约率。（三）系统建设滞后内部评级系统不仅包括内部评级模型系统，还包括与内部评级相关联的信贷管理系统、客户信息管理系统、押品管理系统、风险预警系统、风险分类系统等，他是一整套相互连接和实现数据共享的系统体系。新巴塞尔协议要求银行内部评级系统的方法经过严格的统计检验，不仅要求样本内一致，而且要求样本外预测精度高。目前国内大的商业银行已经建立了内部评级系统，许多中小银行除了有信贷管理系统和风险分类系统外，其他系统还没有完全建立。由于国内银行前期发展过程中缺少系统规划和数据规划，部分银行已经建立了相应的系统，但各个系统的使用和管理部门主要都是按自己的部门分工设计的，没有考虑全面风险管理对数据的要求，基于系统设计目的差异，银行的核心系统中业务处理往往按照授信产品来划分，而IRB提出风险暴露的分类模式并非按照承担信用风险的产品来进行，基本是按照交易对手划分(主要以交易对手进行风险暴露分类是“以市场为中心，以客户为导向”在银行风险管理领域的具体体现)。为此就需要银行从各业务系统中抽取交易对手的基本信息、财务信息、授信产品信息和授信清偿信息等进行清洗、存储，并按照金管局的监管要求将这些信息通过模型转化为关键风险值，以及与关键风险值对应的企业评级、零售组合评级、评级和金融机构内部评级体系。系统之间没有实现完全的联结或系统之间数据无法实现共享，导致数据的重复录入，不仅加大了工作量，而且会导致不同系统客户数据的不一致会重复；这需要业务处理系统、流程系统、内部评级系统之间的逻辑关系将面临重新规划和整合。另一方面，为达到实施IRB法的相关要求，根据国外研究机构的研究报告，中国的每家商业银行达到新巴塞尔协议要求所需花费将不低于500万美元，这对于国内的商业银行尤其是对于那些中小商业银行来说，显然是一个相当大的负担。二、建立内部评级体系的建议内部评级体系不仅仅是风险计量手段，而且是实现风险管理技术、信贷管理流程、相关制度安排有机结合的一整套信用风险管理框架，涉及到商业银行的公司治理、组织架构重塑和流程再造、数据挖掘与重构，模型建设和系统开发等各个方面。开发和建设内部评级体系是是一项长期性、系统性、投入高的工程，因此国内商业银行进行内部评级组织体系建设的建立，应根据内部评级的基本要求，在公司治理、组织架构和流程再造、数据挖掘与重构，模型建立和系统开发上下功夫，加强领导，统一规划，分步实施，坚持制度创新和技术创新相结合，开发与运用相结合，扎实推进内部评级体系的开发和建设，不断提升风险管理能力和市场竞争力，为在我国实施新资本协议创造条件，打好基础。（一）加强数据的规划和管理商业银行采用内部评级，为了准确评定客户的信用评级，对客户数据的要求比较高，对初级法而言，要收集和保存客户至少5年的财务数据、经营管理情况、违约记录数据，用其中三年的数据做建模基础数据，用两年的做观察期验证数据。而对于采用高级法进行内部评级，至少需要一个完整的经济周期，数据的来源应不少于7年的标准。因此，各商业银行应首先加快数据清洗和补录工作，建立并实行完整、严格、一致的数据标准，制定数据质量管理规章，确保数据的及时性、准确性和全面性，夯实数据基础，全面改造信息管理系统，为不断建立并完善风险计量模型和拓宽内部评级体系的应用领域奠定基础。1、加强数据基础建设，建立统一的数据管理架构。国际上很多银行在内部评级系统开发过程中为了管理所有数据，都选择了集中的数据管理模式。在我商业银行IT系统建设过程中，各业务部门往往习惯于在各自的业务范围内建立自己的业务数据库，来储存管理小规模的数据，常常缺少整体的数据管理策略。这些独立的、非合作性的业务数据库，不能满足内部评级法对数据的整体性和一致性要求。采用集中的数据管理方式，有效地整合各系统的数据资源，实现数据的集中存储和展现，不仅为内部评级法提供统一的风险数据，还能节约数据管理成本。因此，需要从全局的角度来看待数据和数据管理，其中确定统一的数据标准，建立统一的技术架构和数据管理架构是战略重点。2、明确数据标准。商业银行应根据新资本协议和相关监管指引的要求建立完整、严格、一致的数据管理标准、政策和流程,统一数据仓库,满足不同需要的数据集市以及IT支持系统,收集和储存充足的关键数据,支持内部评级体系的正常运作,满足风险量化过程和模型验证需要。同时,根据建模要求提出具体的数据需求,由此来分析现有数据的差异,寻求解决的办法。3、加强数据处理,夯实数据基础。一是加强数据收集。商业银行要以内部评级系统开发为契机,做好数据收集工作。银行应对各部门原始数据进行广泛、及时的收集,并且从前台业务处理到后台报表、数据利用,进行统一管理。二是进行数据整合。数据整合就是将内外部以及各部门、各渠道的原始数据,通过标准化方式加以整理合并,形成可用于内部评级的数据库。从业务流程系统直接收集的数据,通常比较分散,缺乏完整性和统一性,因此需要对前台业务流程系统传送来的相关数据进行整合。三是进行数据清洗。经过收集与整合的数据还可能存在不少缺陷,数据遗漏、数据矛盾和数据错误等,对这些问题需通过一定的技术手段进行系统化的查找、纠正,这过程称为数据清洗。四是进行数据反欺诈过滤和清洗。单靠数据清洗并不能从根本上剔除欺诈性据。欺诈性数据大多出现在客户向银行提供的授申请材料中,如公司类客户所提供的不真实的财报表。我国会计失真现象十分严重,粉饰财务报的事件屡有发生。所以,银行在内部评级系统设中,还应设计专门的数据反欺诈系统和模型,以有地识别和防范数据欺诈行为。经过数据清洗和过滤,最终形成可用于内部评级的数据集市。4、按数据准备工作要求配备和培养专门人才。内部评级法的数据准备工作是一项复杂的工程，它需要熟悉商业银行现有各业务系统数据状况又了解内部评级法的复合人才；内部评级法的数据准备工作也是一项长期的工程，因为随着风险管理水平和管理体制的变化，各业务系统在相应变化，内部评级法本身的实施要求也在变化，由此带来相应的数据要求的变化，需要专门人才长期从事这项工作。（二）根据客户结构和划分标准确定评级模型类内部评级在发展过程中，涉及到许多理论问题，国际先进银行在内部评级体系的实践方面，已经形成了系统的运作模式。随着资本市场的迅速发展、融资的非中介化、证券化趋势以及金融创新工具的大量涌现，一系列信用风险的度量模型相继提出。然而对中国的银行业来说，数据的不完整或完全不具备，严重制约了现代先进信用评级模型在我国的应用。在目前情况下建立内部评级模型和实行内部评级法不可能一蹴而就。从国外银行风险内部评级体系的发展过程来看，国内银行首先应对客户进行准确的分类，根据客户分类建立打分卡模型，提高评级打分的质量和效率，改变指标和权重选择过于受主观影响的现状，使打分客观化，更加注重定量分析。然后在打分卡和数据积累的基础上根据不同类别的客户类型和特征，进行模型及其参数的设计、开发和验证，建立不同的评级模型（三）进行评分模型系统的开发信用评级系统体系的建设不仅包括用于客户评级的评级系统，还包括与内部评级相关的信贷管理系统、押品管理系统、风险分类以及核心业务系统。银行进行内部评级系统，首先做好系统的整体规划建设，在核心业务系统的基础上做好相关系统的接口，以保持系统的对接和相关信息的共享。在内部评级系统建设时，要根据客户的分类，客户模型选择及其参数的设置，分别建立不同的评级模型系统，以满足和支持评级的需要。参考文献[1]杨晓勇 商业银行信贷风险量化模型研究 P 29―31[2]武剑 内部评级系统的数据管理 电脑金融2004年11期 P26―32[3]薛锋，关伟，乔卓.上市公司信用风险度量的一种新方法一KMV[D]，西北工业大学学报，2003，(3)