这里提供一个案例是Fiserv,是IBM非常有名的客户,它在全球范围内提供了金融的数据分析解决方案给他的金融机构,像一些银行、保险机关,他希望帮助一些中小型银行提供高质量的数据分析。这个客户希望在数以亿计的交易量里抓取对客户构成重大影响的数据,然后提供给金融机构,提供一些服务。举个例子,如果有一个客户过往买东西的时候,现在突然多逛了一些婴儿用品的商场,我们有理由相信,他生活方式会产生改变,我们把有关信息抓取到这些特性以后,交给银行或者金融机构,他可以向那个客户主动提供一些像教育基金,一些新的保险计划,或者提供一些储蓄计划等等给他们,这样就可以针对性为客户定制客户化的服务,这样可以提供更好的服务质量。这个客户每年处理的交易量达到1万亿美元,它不但采用Cognos、SPSS等架构。我想问在座各位,如果各位是一个CIO坐在企业里要处理1万亿的交易每年,你会选择什么样的大数据平台呢?开源的,还是企业版的?IBM有这样一个成功案例,希望可以跟你们参考。
接下来我们从数据仓库的增强提供分析,数据仓库的增强主要来自于几方面,第一是我们今天有大数据、新数据的产生,我们尽可能利用多元化的数据。第二是我们希望把今天的数据仓库有效使用起来,因为发现今天建造的很多数据仓库里,可能很大部分的数据不见得经常被使用,数据量很大,一定要有取舍。大数据,并不是所有数据都要,是要抓一些有用的数据才有意义。在这个前提下,我们可以提供几种解决的场景,第一种是Pre-Processing Hub,通过流数据,我们可以实施透过Streams把它分析,也可以把它放在BigInsights里面进行一些数据处理,然后再进行分析。如果流数据重要性不是很多,用完之后可以马上抛弃,一般来讲秒级以内做好分析。Query-able Archive可查询的数据归档,传统的数据仓库里会发现很大量的数据,怎么样有效分析,数据量越大,分析的时间可能不是线性的增长,我们怎么样有效管理那个数据,也是提高服务承诺非常重要的信息。透过IBM技术,我们可以把传统的数据,一些不经常使用的或者一些过期的信息,把它放在BigInsights Hadoop架构,我们可以把它抓出来放在BigInsights体系架构里面,把过期的不经常用的放在里面,因为那个架构I/O吞吐量比较快,同时架构相对传统结构化数据价格比较便宜一点。我们怎么样提供一个统一的分析、统一的报表,IBM Cognos系统可以从传统结构化数据里抓取数据,也同时可以从非结构化环境里抓取数据,帮你继续进行分析。我不需要把所有数据都放在核心企业级的设备里,有一部分可以放在扩展性比较大的BigInsight架构。Exploratory Analysis,挖掘一些信息的分析。新类型的数据主要有两类,一类是非结构化数据,第二个类型是流数据。透过IBM软件解决方案,我们可以把这两类数据结合传统结构化数据,统一做分析,这样可以给客户提供新一点的Insight信息。
这里提供了一个案例是联动优势,联动优势是中国移动跟中国银联合资的企业,作为中国移动主要的网上支付的服务供应商。它采用了IBM的PureData For Analytics解决方案,帮他们大大加快了数据分析的过程。因为他们现在的数据有400台机器,200个业务应用,它的数据分别放在不同的数据仓库里,但是他们的业务透过分析使用的状况,我们怎么样可以抓到一些风险,或者增加产品推广。他们的分析非常重要,所以每天他们都要进行相关的分析。他们传统是把数据放在很多的TB级的数据仓库里,很难抓取一些数据,有的可能要几天才能抓取一个报告。Netezza现在叫做PureData for Analytics解决方案以后,我们可以用新一代加速技术,可以更快地帮助他们进行数据的分析,比原来提升了一倍的时间以上。同时部署PureData Analytics需要一天就可以部署完成,对于数据库管理员来讲,性价比可以大大降低,减少一半。
安全智能的扩展,大数据的产生某种程度上跟安全性也有很大的关系,怎么样可以有效地分析流数据,怎么样可以有效地做关联性等等。安全主要是几方面,一方面是大数据本身,也需要注意它的安全性符合法则。另一方面,大数据的体系架构非常适合针对一些安全性的应用。这个架构图是针对一些安全的系统,监控的系统。我们可以透过新一代,图里有两边数据,右边是传统结构化数据,左边是简单的非结构化数据,像视像的信息,我们怎么可以实时的搜集进一些有关的分析,IBM提供一些相关的解决方案。像il,可以帮忙抓取很多传统的数据,非关联性的数据,比如我们要分析一个罪案的时候,可以把打电话信息跟交易的信息,网上信息等等做一个关联性的分析,透过新一代结构可以提供有关的信息。
在金融行业安全性也非常重要,主要在两方面,一方面是防止欺诈。我们怎么样知道交易是有潜在问题的,有什么解决方案。另一方面,金融机构,因为涉及的金额很大,也是受到很多政府法则的遵从或者上市公司法则的遵从,怎么样满足安全的遵从呢?我们需要有很好的解决方案。这里提供一个案例,是中国最大城市的银行,采用的是IBM PureData Analytics,还有IBM的Gardium,这里特别讲一讲Gardium的解决方案,Gardium是Compliance设备,可以放在网络上连到数据库,在数据库里安装一个驱动器以后,可以帮你监测交易本身,中间加密的数据也可以安全进行分析。把数据管理员跟分析的人工作划分,提供了非常好的监控机制,让你可以看到,举个例子,你怎么知道有一个人下载了某一个信用卡的交易,你怎么样在金融机构里可以抓取到这个数据,如果传统没有这个机制的话,数据库的管理员是有很大的能力,自己进去做很多扫描,数据就抓出来了。但是透过这种机制我们可以提供第三方监控,我们可以看到哪一个人跟哪一个人交易的信息我们可以记录在Gardium里面,这是只读的环境,不会被修改。这样我们可以产生一个报表,来满足各行各业,政府监控的需求。这样我们也给大数据的环境提供了非常安全的环境。