看软件定义存储在金融行业中的应用分析
　作者: 厂商投稿　编辑:
　　【IT168 资讯】作者：中国银联国家工程实验室软件定义存储研究团队　　1 存储技术变革背后的推动力　　信息处理技术、互联网技术、技术的诞生与成长对各行各业产生着潜移默化的影响。互联网时代，数据采集手段纷繁复杂，形态五花八门，半结构化与非结构化数据体量日趋增大，传统的储架构已经逐渐显现出自身的固有局限。在数据量爆发性增长以及处理方式逐渐向云端靠近的背景下，存储地位日益重要。　　软硬件技术的革新也不断推动存储的快速发展，包括存储的介质、计算能力、网络能力等多方面。SSD的高性能解决了存储系统I/O负荷瓶颈带来的困扰。通用网络平台延迟的降低打破了网络在I/O通道上的瓶颈，万兆以太网已经能够提供高性能、低时延、低占用率的高带宽连接服务。　　2 金融行业对于下一代存储的需求　　互联网、的快速发展推动着金融行业的不断创新，在移动支付、互联网金融等创新业务方面全面推进。业务的发展、数据的增长以及云计算、大数据等新技术的快速发展，均对存储提出了相关的要求，具体包括如下五点：　　1、高性能：金融企业业务的快速增长对存储的性能要求越来越高。同时，企业对记录和存储的大量业务数据等进行分析和挖掘，支撑企业经营决策、精准获客、风险防范等多方面数据增值服务，也对存储的性能提出更高的要求。　　2、高可用性：数据是企业的核心资产，存储的高可靠性和数据高可靠性是业务活动的基础支撑。对于数据来说，需要提供相应的高可用机制，尤其对于金融行业企业来说，存储和数据的高可用性更加重要。　　3、动态扩展：虚拟化技术的发展使得计算资源得以池化，使得业务系统所需要的资源能够按需分配，弹性扩展。同样，企业需要建立存储的资源池，并能够按需分配和动态增加资源池的资源，满足业务发展的需要。　　4、接口标准性：存储系统应该支持自动对硬件资源的部署、优化和管理，将各类存储资源进行灵活的配置，实现应用按需(容量、性能、QoS、SLA等)分配。　　5、高可管理性：存储应该具备日常部署、管理、监控的自动化和可视化，提高存储资源服务的可管理性，包括资源分配、资源监控、存储IOPS和吞吐量检测、故障告警等多方面的内容，从而提高运维管理人员的管理效率。　　3 软件定义存储技术的发展现状　　随着业务规模与模式的不断扩大更新以及伴随x86逐渐通用标准化，结合计算机与网络技术，辅以高速网络、SSD等技术的发展和广泛应用，存储系统逐渐从集中式逐渐过渡到分布式存储架构。结合企业业务云化需求的推动，存储系统从块设备存储转向文件、对象存储。在这样的背景下，软件定义存储SDS应运而生。SDS通过软件将控制平面与数据平面分离，实现资源的灵活控制。SDS通常有如下几个特点：　　1、采用分布式架构：SDS通常采用分布式架构，具备架构灵活、高性能的优点，提供了计算、性能和容量的线性弹性扩展。　　2、支持分级存储：由于通过网络进行松耦合链接，SDS允许高、低速存储分开部署，或者任意比例混布。分层存储的优势在不可预测的业务环境或者敏捷应用情况下，可以发挥到最佳。　　3、高可靠：与传统的存储架构使用RAID模式来保证数据的可靠性不同，SDS采用了多副本备份机制。为了保证多个数据副本之间的一致性，SDS通常采用的是一个副本写入，多个副本读取的强一致性技术。　　4、强兼容性：能够较好地兼容各种云平台，为其提供后端存储服务，采用行业标准接口(SMI-S)进行存储接入，将异构存储资源进行抽象化，实现存储资源集中管理。　　4 SDS在金融行业应用评测及分析　　为面向金融行业的云计算建设方案提供指导，中国银联电子商务与电子支付国家工程实验室在深入研究现有存储技术的基础上，结合对金融行业存储需求的分析，编制了SDS存储测试标准，并参照测试标准针对部分目前主流的SDS产品(开源Ceph、商业版本和高校版本)进行测试与评估。结合金融行业的应用背景，评测标准涵盖了功能性、系统性能、可扩展性、高可用性、易维护性五个方面。相关评测总结如下：　　1、开源Ceph　　缺点：RBD的I/O路径很复杂，导致效率相对较低，无法将磁盘性能发挥到最佳;维护社区的主要开发者为国外开发团队，存在后期维护路径长的不足。　　优点：整个系统自主可控，并且支持iSCSI、SWIFT等访问协议，对异构存储具有较强的兼容性;除了与OpenStack原生集成之外，并很好地兼容VMware、Hyper-V、KVM等虚拟化平台。在全球范围内有多家知名企业在开源社区中不断对Ceph进行优化和改进。SUSE是Ceph社区的8大理事成员之一，也是社区贡献最多的组织之一，提供了SUSE Storage的发行版，并且提供商业支持以及更多的增强特性。　　2、商业SDS　　缺点：作为商业产品，商业SDS版本的更新需要经过长时间的开发测试，版本间隔时间长，对新版本、新设备以及其他云计算平台的兼容性较弱。　　优点：商业SDS作为一个成熟的商业产品，优化较好，性能较高，内部提供多项功能保证了系统的稳定运行。商业SDS提供功能全面的管理页面，交互性好，支持对传统存储进行统一接管，方便利旧。　　3、高校SDS　　缺点：研发应用场景较为单一，可靠性服务较少，需要在多场景下进行大量验证。　　优点：继承了学术研究上的领先架构，具有超高的性能，能够完全发挥出磁盘的性能，系统部署方便，支持精简配置等功能。　　5 SDS在金融行业云中的应用前景　　软件定义存储SDS技术相比传统存储已经在多方面有了明显的优势，能够有效满足云计算环境下存储服务高性能、高扩展性以及多种通用接口服务等需求。对于金融行业典型的存储服务虚拟机、非结构化数据、数据库以及大数据应用场景分析如下：　　1、虚拟机存储：主要特点包括文件较大、单个虚拟机的IOPS和带宽要求低、可用性要求较高。基于SDS技术的统一存储资源池，可以实现动态扩展，并有效提升存储资源的管理和使用效率，可使用SAS接口的磁盘甚至SATA接口的磁盘。　　2、非结构化数据存储：业务系统在运行过程中生成的非结构化数据特点包括文件大小中等，一般几十MB到几百MB不等;IOPS和带宽要求低，一般是连续读写;可用性要求较高。SDS技术也可很好的满足上述要求，使用廉价SAS和SATA磁盘满足大规模非结构化数据的存储，并提供良好的扩展性。　　3、数据库存储：主要特点包括联机业务数据库业务访问并发量高、实时性和可用性高、数据量较大等，数据表内容最高达到上亿条;批量业务数据库业务访问并发量低、访问数据量较多、实时性较高等;参数库数据增加缓慢、业务访问并发量不高、实时性较高等。SDS技术结合固态SSD的应用，完全可以满足批量业务数据库和参数库应用场景下的带宽和IOPS方面的性能要求。但是，SDS技术在高可靠性方面的功能还需要进一步提升，以满足业务系统尤其是联机类业务系统的要求。　　4、大数据存储：大数据场景下的存储主要特点包括数据量非常大、多种业务分析场景并存、动态扩展以满足数据增长、计算靠近数据以避免大量数据传输带来的网络压力。SDS技术有效解决了存储资源的问题，能够支撑大规模数据存储、动态扩展。但是存储资源和计算资源的分离，使得SDS技术目前无法有效满足计算靠近数据的需求。　　6 总结　　SDS技术作为存储发展的主要趋势，已经在高性能、高扩展性、高可管理性等方面相比传统存储体现出了明显的优势，能够在云计算环境进行了运用，替代部分的传统存储。但是，仍需要进一步在高可靠性、高可用性等方面进行加强，以满足金融行业的业务需求。　　新技术的发展是一个持续渐进的过程，需要在实际中不断应用和改进，相信软件定义存储技术在整个产业的联合推进下，会大放光彩!　　团队简介：中国银联国家工程实验室软件定义存储研究团队，负责中国银联前瞻性、基础性存储技术研究和应用，目前重点围绕软件定义存储开源技术评测方案和标准、软件定义存储技术在金融行业应用开展研究。中国银联国家工程实验室是金融行业第一家获得批复建设的电子商务与电子支付国家工程实验室，承担电子支付、电子货币和电子商务相关技术的研究和应用。更多信息请关注公众号“电子商务电子支付国家工程实验室”。
IT168企业级TOP热门关键词
专题页面精选
【编者注】本文观点最初来源于百度知道：数据处理软件有那些？百度知道的推荐答案是mathlab\SPSS\DIMENSION\QUANTUM\SAS\Surveycraft等软件，这些让小编想起了大学时代的一些数据处理软件包，比如计量经济学中用到的 ...
【编者注】本文观点最初来源于百度知道：数据处理软件有那些？百度知道的推荐答案是mathlab \SPSS\DIMENSION \QUANTUM\ SAS\Surveycraft 等软件，这些让小编想起了大学时代的一些数据处理软件包，比如计量经济学中用到的eviews，但是这些远不够详细，
工欲善其事，必先利其器！
数据分析也好，统计分析也好，数据挖掘也好、商业智能也好都需要在学习的时候掌握各种分析手段和技能，特别是要掌握分析软件工具！我曾经说过，沈老师的学习方法，一般是先学软件开始，再去应用，再学会理论和原理，因为是老师，再去教给别人！没有软件的方法就不去学了，因为学了也不能做，除非你自己会编程序。 那么在数据分析领域，都有哪些软件分析工具呢？如何选择呢？其实很多领域或者说分析方法都有相应的软件工具，只要你想找就应该能够找到！
/uploads/allimg/605D10-0.jpg 这里我把软件分成纵横四个层次的的象限图来表达！ 第一维度：数据存储层——&数据报表层——&数据分析层——&数据展现层 第二维度：用户级——&部门级——&企业级——&BI级
首先，存储层：
我们必须能够存储数据，对个人来讲至少应该掌握一种数据库技术，当然也不一定要熟练操作，但至少要能够理解数据的存储和数据的基本结构和数据类型，比如数据的安全性、唯一性、冗余性，表的关系，粒度，容量等，最好能够理解SQL查询语言的基本结构和读取等等！
Access2003、Access07等：这是最基本的个人数据库，经常用于个人或部分基本的数据存储；MySQL数据库，这个对于部门级或者互联网的数据库应用是必要的，这个时候关键掌握数据库的库结构和SQL语言的数据查询能力；SQL Server 2005或更高版本，对中小企业，一些大型企业也可以采用SQL Server数据库，其实这个时候本身除了数据存储，也包括了数据报表和数据分析了，甚至数据挖掘工具都在其中了；DB2，Oracle数据库都是大型数据库了，主要是企业级，特别是大型企业或者对数据海量存储需求的就是必须的了，一般大型数据库公司都提供非常好的数据整合应用平台；BI级，实际上这个不是数据库，而是建立在前面数据库基础上的，这个主要是数据库的企业应用级了，一般这个时候的数据库都叫数据仓库了，Data Warehouse，建立在DW级上的数据存储基本上都是商业智能平台，或许整合了各种数据分析，报表、分析和展现！
第二：报表层
当企业存储了数据后，首先要解决的报表，还不是分析问题，是要能够看到，看到报表，各种各样的报表！国内外有专门提供报表分析服务的企业和软件。
Crystal Report水晶报表，Bill报表，这都是全球最流行的报表工具，非常规范的报表设计思想，早期商业智能其实大部分人的理解就是报表系统，不借助IT技术人员就可以获取企业各种信息——报表。而且很多数据库内置的报表也是采用CR报表的开发版嵌入的！Tableau软件，这个软件是近年来非常棒的一个软件，当然它已经不是单纯的数据报表软件了，而是更为可视化的数据分析软件，因为我经常用它来从数据库中进行报表和可视化分析，先暂列在报表层；
/uploads/allimg/.jpg
这个软件从3.0开始，现在已经有了5.1版本，两年的时间已经到了服务器和Web方式了！
当然，如果企业有上万张报表，需要好好管理起来，还有安全性，并发请求等，就需要有Server版；
博易智讯公司专门提供Crystal Report和Crystal Report Server版销售和软件服务；
第三：数据分析层
这个层其实有很多分析工具，当然我们最常用的就是Excel，我经常用的就是统计分析和数据挖掘工具；
Excel软件，首先版本越高越好用这是肯定的；当然对Excel来讲很多人只是掌握了5%Excel功能，Excel功能非常强大，甚至可以完成所有的统计分析工作！但是我也常说，有能力把Excel玩成统计工具不如专门学会统计软件；SPSS软件：当前版本是18，名字也改成了PASW Statistics；我从3.0开始Dos环境下编程分析，到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化，从重视医学、化学等开始越来越重视商业分析，现在已经成为了预测分析软件。Clementine软件：当前版本13.0，数据挖掘工具，我从6.0开始用，到了13版，已经越来越多的提高了更多有好的建模工具，现在改名叫PASW Modeler 13建模器了。而且与SPSS统计功能有了更多的整合，数据处理也更加灵活和好用。SAS软件：SAS相对SPSS其实功能更强大，SAS是平台化的，EM挖掘模块平台整合，相对来讲，SAS比较难学些，但如果掌握了SAS会更有价值，比如离散选择模型，抽样问题，正交实验设计等还是SAS比较好用，另外，SAS的学习材料比较多，也公开，会有收获的！
/uploads/allimg/.jpg当然，我主要是采用SPSS和Clementine，有时候就是习惯，当然会了一种软件在学其他的也不是很困难！
JMP分析：SAS的一个分析分支XLstat：Excel的插件，可以完成大部分SPSS统计分析功能Ucinet社会网分析软件：SNA社会网络分析是非常流行和有价值的分析工具和方法，特别是从关系角度进行分析社会网络，关系分析非常重要，过去我们都是属性数据分析
大家如果有需要试用版，可以联系博易智讯，他们可以提供SPSS和Clementine软件版本的咨询。
第四：表现层
最近我一直在研究数据可视化技术，一方面是因为Excel大家有需求，另一方面就是我第一个购买了Xcelsius，也写了《Excel高级应用与数据分析》和《数据展现的艺术——Xcelsius》。这个领域的软件，特别是一些小工具非常有价值！
PowerPoint软件：这个没得说了，大部分人都是用PPT写报告；Visio、SmartDraw软件：这些都是非常好用的流程图、营销图表、地图等，而且从这里可以得到很多零件；Swiff Chart软件：制作图表的软件，生成的是Flash；Color Wheel软件：配色软件Yed软件：网络关系图、流程图和图形分析软件，类似SNA分析，我经常用来设计流程图，还有就是分析优化关系图；Netdraw软件：这是社会网络分析展现软件，主要是可视化网络关系图的，读取Ucinet软件；Mindmanager软件：思维导图，非常好的软件，可以把非线性思维很快构建起来，并且项目组织管理、报告设计构想都可以应用，直接生成PPT等，当然这个软件功能非常强大，我的学生都用它来做笔记和会议记录；Xcelsius软件：Dashboard制作和数据可视化报表工具，可以直接读取数据库，在Excel里建模，互联网展现，最大特色还是可以在PPT中实现动态报表；这个是我最希望应用的一个软件工具，非常有价值！
/uploads/allimg/60534B-3.jpg
最后，需要说明的是，我这样的分层分类并不是区分软件，只是想说明软件的应用，其实每个层次的软件都是相互融合的，追求：平台化，整合化，智能化，可视化，专业化，都是各有特色；价格也不同，有免费的，有上百万的；有单机版的，有服务器版的；有正版的，有盗版的！
有时候我们把数据库就用来进行报表分析，有时候报表就是分析，有时候分析就是展现；当然有时候展现就是分析，分析也是报表，报表就是数据存储了！
没有最好，只有更好，适合你的就是最好的！
「就学高端版」APP：随身顾问，立即就学！
期刊投稿----核心期刊编辑帮您了解投稿、审稿规则，提高投稿命中率！
考研咨询----国内经管名校研究生，为您解答疑惑、分享经验！
高考择校----高校老师为您介绍学校、专业情况，助您成功选择理想大学！
扫描下方二维码下载并注册APP
本文关键词： 本文论坛网址：
您可能感兴趣的文章
本站推荐的文章
本文标题：
本文链接网址：
1.凡人大经济论坛-经管之家转载的文章,均出自其它媒体或其他官网介绍,目的在于传递更多的信息,并不代表本站赞同其观点和其真实性负责；
2.转载的文章仅代表原创作者观点,与本站无关。其原创性以及文中陈述文字和内容未经本站证实,本站对该文以及其中全部或者部分内容、文字的真实性、完整性、及时性，不作出任何保证或承若；
3.如本站转载稿涉及版权等问题,请作者及时联系本站,我们会及时处理。