推荐回答
大数据由于其异构性和异质性的特征,提高大数据格式转化的效率成为了增加大数据技术应用价值的必经途径,而提升大数据计算能力的关键在于提高数据的转移速率,这就要求技术人员要及时对大数据进行整合与处理。在大数据的处理中,数据的重组与错误数据的再利用都是有效提高大数据应用价值的措施。在应用实践研究方面,目前大数据在实际中的研究应用主要体现为数据管理、数据搜索分析和数据集成。其中,数据管理主要用于大型互联网数据库和新型数据储存模型与集成系统中,而数据搜索分析则多用于模型社交网络中,数据集成则通过将不同来源不同作用的数据进行整合从而开发出整体数据库新的功能,目前正处于研究发展的起始阶段。
齐月升2019-11-05 23:01:59
提示您:回答为网友贡献,仅供参考。
其他回答
-
数据库技术是现代信息科学与技术的重要组成部分,是计算机数据处理与信息管理系统的核心。数据库技术研究和解决了计算机信息处理过程中大量数据有效地组织和存储的问题,在数据库系统中减少数据存储冗余、实现数据共享、保障数据安全以及高效地检索数据和处理数据。随着计算机技术与网络通信技术的发展,数据库技术已成为信息社会中对大量数据进行组织与管理的重要技术手段及软件技术,是网络信息化管理系统的基础。本章主要介绍数据库技术的应用与发展、关系模型的基本概念、关系数据库的设计理论及数据库设计方法等内容,是学习和掌握现代数据库技术的基础。1.1数据库技术的发展与应用从20世纪60年代末期开始到现在,数据库技术已经发展了30多年。在这30多年的历程中,人们在数据库技术的理论研究和系统开发上都取得了辉煌的成就,而且已经开始对新一代数据库系统的深入研究。数据库系统已经成为现代计算机系统的重要组成部分。1.1.1数据库技术与信息技术信息技术InformationTechnology,IT是当今使用频率最高的名词之一,它随着计算机技术在工业、农业以及日常生活中的广泛应用,已经被越来越多的个人和企业作为自己赶超世界潮流的标志之一。而数据库技术则是信息技术中一个重要的支撑。没有数据库技术,人们在浩瀚的信息世界中将显得手足无措。数据库技术是计算机科学技术的一个重要分支。从20世纪50年代中期开始,计算机应用从科学研究部门扩展到企业管理及政府行政部门,人们对数据处理的要求也越来越高。1968年,世界上诞生了第一个商品化的信息管理系统IMSInformationManagementSystem,从此,数据库技术得到了迅猛发展。在互联网日益被人们接受的今天,Internet又使数据库技术、知识、技能的重要性得到了充分的放大。现在数据库已经成为信息管理、办公自动化、计算机辅助设计等应用的主要软件工具之一,帮助人们处理各种各样的信息数据。1.1.2数据库技术的应用及特点数据库最初是在大公司或大机构中用作大规模事务处理的基础。后来随着个人计算机的普及,数据库技术被移植到PC机PersonalComputer,个人计算机上,供单用户个人数据库应用。接着,由于PC机在工作组内连成网,数据库技术就移植到工作组级。现在,数据库正在Internet和内联网中广泛使用。20世纪60年代中期,数据库技术是用来解决文件处理系统问题的。当时的数据库处理技术还很脆弱,常常发生应用不能提交的情况。20世纪70年代关系模型的诞生为数据库专家提供了构造和处理数据库的标准方法,推动了关系数据库的发展和应用。1979年,Ashton-Tate公司引入了微机产品dBaseⅡ,并称之为关系数据库管理系统,从此数据库技术移植到了个人计算机上。20世纪80年代中期到后期,终端用户开始使用局域网技术将独立的计算机连接成网络,终端之间共享数据库,形成了一种新型的多用户数据处理,称为客户机/服务器数据库结构。现在,数据库技术正在被用来同Internet技术相结合,以便在机构内联网、部门局域网甚至WWW上发布数据库数据。1.1.3数据库技术发展历史数据模型是数据库技术的核心和基础,因此,对数据库系统发展阶段的划分应该以数据模型的发展演变作为主要依据和标志。按照数据模型的发展演变过程,数据库技术从开始到现在短短的30年中,主要经历了三个发展阶段:第一代是网状和层次数据库系统,第二代是关系数据库系统,第三代是以面向对象数据模型为主要特征的数据库系统。数据库技术与网络通信技术、人工智能技术、面向对象程序设计技术、并行计算技术等相互渗透、有机结合,成为当代数据库技术发展的重要特征。1.第一代数据库系统第一代数据库系统是20世纪70年代研制的层次和网状数据库系统。层次数据库系统的典型代表是1969年IBM公司研制出的层次模型的数据库管理系统IMS。20世纪60年代末70年代初,美国数据库系统语言协会CODASYLConferenceonDataSystemLanguage下属的数据库任务组DBTGDataBaseTaskGroup提出了若干报告,被称为DBTG报告。DBTG报告确定并建立了网状数据库系统的许多概念、方法和技术,是网状数据库的典型代表。在DBTG思想和方法的指引下数据库系统的实现技术不断成熟,开发了许多商品化的数据库系统,它们都是基于层次模型和网状模型的。可以说,层次数据库是数据库系统的先驱,而网状数据库则是数据库概念、方法、技术的奠基者。2.第二代数据库系统第二代数据库系统是关系数据库系统。1970年IBM公司的SanJose研究试验室的研究员EdgarF.Codd发表了题为《大型共享数据库数据的关系模型》的论文,提出了关系数据模型,开创了关系数据库方法和关系数据库理论,为关系数据库技术奠定了理论基础。EdgarF.Codd于1981年被授予ACM图灵奖,以表彰他在关系数据库研究方面的杰出贡献。20世纪70年代是关系数据库理论研究和原型开发的时代,其中以IBM公司的SanJose研究试验室开发的SystemR和Berkeley大学研制的Ingres为典型代表。大量的理论成果和实践经验终于使关系数据库从实验室走向了社会,因此,人们把20世纪70年代称为数据库时代。20世纪80年代几乎所有新开发的系统均是关系型的,其中涌现出了许多性能优良的商品化关系数据库管理系统,如DB2、Ingres、Oracle、Informix、Sybase等。这些商用数据库系统的应用使数据库技术日益广泛地应用到企业管理、情报检索、辅助决策等方面,成为实现和优化信息系统的基本技术。3.第三代数据库系统从20世纪80年代以来,数据库技术在商业上的巨大成功刺激了其他领域对数据库技术需求的迅速增长。这些新的领域为数据库应用开辟了新的天地,并在应用中提出了一些新的数据管理的需求,推动了数据库技术的研究与发展。1990年高级DBMS功能委员会发表了《第三代数据库系统宣言》,提出了第三代数据库管理系统应具有的三个基本特征:l应支持数据管理、对象管理和知识管理。l必须保持或继承第二代数据库系统的技术。l必须对其他系统开放。面向对象数据模型是第三代数据库系统的主要特征之一;数据库技术与多学科技术的有机结合也是第三代数据库技术的一个重要特征。分布式数据库、并行数据库、工程数据库、演绎数据库、知识库、多媒体库、模糊数据库等都是这方面的实例。1.1.4数据库系统访问技术目前访问数据库服务器的主流标准接口主要有ODBC、OLEDB和ADO。下面分别对这三种接口进行概要介绍。1.开放数据库连接ODBC开放数据库连接OpenDatabaseConnectivity,ODBC是由Microsoft公司定义的一种数据库访问标准。使用ODBC应用程序不仅可以访问存储在本地计算机的桌面型数据库中的数据,而且可以访问异构平台上的数据库,例如可以访问SQLServer、Oracle、Informix或DB2构建的数据库等。ODBC是一种重要的访问数据库的应用程序编程接口ApplicationProgrammingInterface,API,基于标准的SQL语句,它的核心就是SQL语句,因此,为了通过ODBC访问数据库服务器,数据库服务器必须支持SQL语句。ODBC通过一组标准的函数ODBCAPI调用来实现数据库的访问,但是程序员不必理解这些ODBC,API就可以轻松开发基于ODBC的客户机/服务器应用程序。这是因为在很多流行的程序开发语言中,如VisualBasic、PowerBuilder、VisualC++等,都提供了封装ODBC各种标准函数的代码层,开发人员可以直接使用这些标准函数。ODBC获得了巨大成功并大大简化了一些数据库开发工作。但是它也存在严重的不足,因此Microsoft公司又开发了OLEDB。2.OLEDBOLEDB是Microsoft公司提供的关于数据库系统级程序的接口System-LevelProgrammingInterface,是Microsoft公司数据库访问的基础。OLEDB实际上是Microsoft公司OLE对象标准的一个实现。OLEDB对象本身是COM组件对象模型对象并支持这种对象的所有必需的接口。一般说来,OLEDB提供了两种访问数据库的方法:一种是通过ODBC驱动器访问支持SQL语言的数据库服务器;另一种是直接通过原始的OLEDB提供程序。因为ODBC只适用于支持SQL语言的数据库,因此ODBC的使用范围过于狭窄,目前Microsoft公司正在逐步用OLEDB来取代ODBC。因为OLEDB是一个面向对象的接口,特别适合于面向对象语言。然而,许多数据库应用开发者使用VBScript和JScript等脚本语言开发程序,所以Microsoft公司在OLEDB对象的基础上定义了ADO。3.动态数据对象ADO动态数据对象ActiveDataObjects,ADO是一种简单的对象模型,可以被开发者用来处理任何OLEDB数据,可以由脚本语言或高级语言调用。ADO对数据库提供了应用程序水平级的接口Application-LevelProgrammingInterface,几乎使用任何语言的程序员都能够通过使用ADO来使用OLEDB的功能。Microsoft公司声称,ADO将替换其他的数据访问方式,所以ADO对于任何使用Microsoft公司产品的数据库应用是至关重要的。1.1.5网络数据库系统编程技术在当今网络盛行的年代,数据库与Web技术的结合正在深刻改变着网络应用。有了数据库的支持,扩展网页功能、设计交互式页面、构造功能强大的后台管理系统、更新网站和维护网站都将变得轻而易举。随着网络应用的深入,Web数据库技术将日益显示出其重要地位。在这里简单介绍一下Web数据库开发的相关技术。1.通用网关接口CGI编程通用网关接口CommonGatewayInterface,CGI是一种通信标准,它的任务是接受客户端的请求,经过辨认和处理,生成HTML文档并重新传回到客户端。这种交流过程的编程就叫做CGI编程。CGI可以运行在多种平台上,具有强大的功能,可以使用多种语言编程,如VisualBasic、VisualC++、Tcl、Perl、AppletScript等,比较常见的是用Perl语言编写的CGI程序。但是CGI也有其致命的弱点,即速度慢和安全性差等。2.动态服务器页面ASP动态服务器页面ActiveServerPages,ASP是Microsoft公司推出的一种用以取代CGI的技术,是一种真正简便易学、功能强大的服务器编程技术。ASP实际上是Microsoft公司开发的一套服务器端脚本运行环境,通过ASP可以建立动态的、交互的、高效的Web服务器应用程序。用ASP编写的程序都在服务器端执行,程序执行完毕后,再将执行的结果返回给客户端浏览器,这样不仅减轻了客户端浏览器的负担,大大提高了交互速度,而且避免了ASP程序源代码的外泄,提高了程序的安全性。3.Java服务器页面JSPJava服务器页面JavaServerPages,JSP是Sun公司发布的Web应用程序开发技术,一经推出,就受到了人们的广泛关注。JSP技术为创建高度动态的Web应用程序提供了一个独特的开发环境,它能够适用于市场上大多数的服务器产品。JSP使用Java语言编写服务器端程序,当客户端向服务器发出请求时,JSP源程序被编译成Servlet并由Java虚拟机执行。这种编译操作仅在对JSP页面的第一次请求时发生。因此,JSP程序能够提供更快的交互速度,其安全性和跨平台性也很优秀。http://book.csdn.net/bookfiles/117/1001173609.shtml。
齐春影2019-11-05 22:19:12
-
数据库技术的发展趋势:根据数据库应用及多家分析机构的评估,数据库技术发展将以应用为导向,面向业务服务,并与计算机网络和人工智能等技术结合,为新型应用提供多种支持。数据库将与业务语义的数据内容融合数据库将更广泛地为用于“信息服务”。对新一代基于AJAX、MashUp、SNS等技术的创新应用,数据从集中于逻辑中心数据库,改为分布网络,为了给予技术支持,数据聚集及基于业务语义的数据内容融合也成为数据库发展的方向,不仅在商务智能领域不断加强对服务应用的支持,而且注重加强数据集成服务。
章见平2019-11-05 22:05:08
-
数据挖掘、海量存储、数据仓库、智能商务运算、高性能并发管理与控制主流产品的发展现状数据库管理系统经历了30多年的发展演变,已经取得了辉煌的成就,发展成了一门内容丰富的学科,形成了总量达数百亿美元的一个软件产业。根据GartnerDataquest公司的调查,2000年国际数据库市场销售总额达88亿美元,比1999年增长10%。根据CCID的报告,2000年的中国数据库管理系统市场销售总额达24.8亿元,比1999年增长了41.7%,占软件市场总销售额的10.8%。可见,数据库已经发展成为一个规模巨大、增长迅速的市场。目前,市场上具有代表性的数据库产品包括Oracle公司的Oracle、IBM公司的DB2以及微软的SQLServer等。在一定意义上,这些产品的特征反映了当前数据库产业界的最高水平和发展趋势。因此,分析这些主流产品的发展现状,是我们了解数据库技术发展的一个重要方面。关系数据库技术仍然是主流关系数据库技术出现在20世纪70年代、经过80年代的发展到90年代已经比较成熟,在90年代初期曾一度受到面向对象数据库的巨大挑战,但是市场最后还是选择了关系数据库。无论是Oracle公司的Oracle9i、IBM公司的DB2、还是微软的SQLServer等都是关系型数据库。GartnerDataquest的报告显示关系数据库管理系统RDBMS的市场份额最大,2000年RDBMS的市场份额占整个数据库市场的80%,这个比例比1999年增长了15%。这组数据充分说明RDBMS仍然是当今最为流行的数据库软件。当前,由于互联网应用的兴起,XML格式的数据的大量出现,学术界有一部分学者认为下一代数据库将是支持XML模型的新型的数据库。作者对此持否定态度,认为关系技术仍然是主流,无论是多媒体内容管理、XML数据支持、还是复杂对象支持等都将是在关系系统内核技术基础上的扩展。产品形成系列化一方面,Web和数据仓库等应用的兴起,数据的绝对量在以惊人的速度迅速膨胀;另一方面,移动和嵌入式应用快速增长。针对市场的不同需求,数据库正在朝系列化方向发展。例如IBM公司的DB2通用数据库产品包括了从高端的企业级并行数据库服务器,到移动端产品DB2Everywhere的一整套系列。从支持平台看,今天的DB2已经不再是大型机上的专有产品,它支持目前主流的各种平台,包括Linux和WindowsNT。此外,它还有各种中间件产品,如DB2Connect、DB2Datajointer、DB2Replication等,构成了一个庞大的数据库家族。支持各种互联网应用数据库管理系统是网络经济的重要基础设施之一。支持Internet支持平台,中间件产品与其核心数据库具有紧密集成的特性,OracleApplicationServer增加的一项关键功能是高速缓存特性,该特性可以将数据从数据库卸载到应用服务器,加速Web用户对数据的访问速度。IBM公司也把BI套件作为其数据库的一个重点来发展。微软认为商务智能将是其下一代主要的利润点。数据库技术的发展趋势数据、计算机硬件和数据库应用,这三者推动着数据库技术与系统的发展。数据库要管理的数据的复杂度和数据量都在迅速增长;计算机硬件平台的发展仍然实践着摩尔定律;数据库应用迅速向深度、广度扩展。尤其是互联网的出现,极大地改变了数据库的应用环境,向数据库领域提出了前所未有的技术挑战。这些因素的变化推动着数据库技术的进步,出现了一批新的数据库技术,如Web数据库技术、并行数据库技术、数据仓库与联机分析技术、数据挖掘与商务智能技术、内容管理技术、海量数据管理技术等。限于篇幅,本文不可能逐一去展开来阐述这些方面的变化,只是从这些变化中归纳出数据库技术发展呈现出的突出特点。四高”即DBMS具有高可靠性、高性能、高可伸缩性和高安全性。数据库是企业信息系统的核心和基础,其可靠性和性能是企业领导人非常关心的问题。因为,一旦宕机会给企业造成巨大的经济损失,甚至会引起法律的纠纷。最典型的例子就是证券交易系统,如果在一个行情来临的时候,由于交易量的猛增,造成数据库系统的处理能力不足,导致数据库系统崩溃,将会给证券公司和股民造成巨大的损失。在我国计算机应用的早期,由于计算机系统还不是企业运营必要的成分,人们对数据库的重要性认识不足,而且为了经费上的节约常常采用一些低层次的数据管理软件,如dBASE等,或者盗版的软件。但是,随着信息化进程的深化,计算机系统越来越成为企业运营的不可缺少的部分,这时,数据库系统的稳定和高效是必要的条件。在互联网环境下还要考虑支持几千或上万个用户同时存取和7x24小时不间断运行的要求,提供联机数据备份、容错、容灾以及信息安全措施等。事实上,数据库系统的稳定和高效也是技术上长久不衰的追求。此外,从企业信息系统发展的角度上看,一个系统的可扩展能力也是非常重要的。由于业务的扩大,原来的系统规模和能力已经不再适应新的要求的时候,不是重新更换更高档次的机器,而是在原有的基础上增加新的设备,如处理器、存储器等,从而达到分散负载的目的。数据的安全性是另一个重要的课题,普通的基于授权的机制已经不能满足许多应用的要求,新的基于角色的授权机制以及一些安全功能要素,如存储隐通道分析、标记、加密、推理控制等,在一些应用中成为切切实实的需要。互联”指数据库系统要支持互联网环境下的应用,要支持信息系统间“互联互访”,要实现不同数据库间的数据交换和共享,要处理以XML类型的数据为代表的网上数据,甚至要考虑无线通讯发展带来的革命性的变化。与传统的数据库相比,互联网环境下的数据库系统要具备处理更大量的数据以及为更多的用户提供服务的能力,要提供对长事务的有效支持,要提供对XML类型数据的快速存取的有效支持。协同”面向行业应用领域要求,在DBMS核心基础上,开发丰富的数据库套件及应用构件,通过与制造业信息化、电子政务等领域应用套件捆绑,形成以DBMS为核心的面向行业的应用软件产品家族。满足应用需求,协同发展数据库套件与应用构件,已成为当今数据库技术与产品发展的新趋势。规划中的Oracle11i的主要扩展方面据称主要也是各种面向应用套件的支持。
齐晓桦2019-11-05 22:01:59