论文部分内容阅读
摘要：随着科技的不断进步和经济的不断发展，人们在获取数据方面取得技术性突破，由于存储器价格的下降以及人们希望获取数据信息等，进而催生大数据的产生。在大数据时代，微小型数据库的扩展性遇到瓶颈，难以支持多样化的数据类型。本文试图沿着数据库技术进步的历史脉络，从应用维度入手，为当今数据管理技术的新格局，讨论具有挑战性的重要问题。
关键词：微小型数据库 大数据 趋势
1 大数据概述
1.1 大数据的概念
随着科技的不断发展，继云计算物联网之后，大数据成为全球关注的焦点问题，大数据凭借自身巨大的潜在价值，备受社会各界的认可和关注。从2009年开始，在互联网上开始流行大数据，专家和学者们分别从不同的角度对大数据进行定义。由于大数据本身抽象性比较强，进而在一定程度上增加对其定义进行统一的难度。
对于大数据，在内涵方面，一方面大数据包含海量数据和大规模数据，另一方面大数据包含各种复杂的数据类型；在处理数据方面，大数据的响应时间比较迅速，并且由传统的周、天、小时等逐渐向分、秒转变，借助云计算物联网技术，数据处理成本不断降低，同时数据处理速度不断提高。
1.2 大数据的特征
对于大数据来说，通常情况下，是指规模超过10TB的数据集，规模性、多样性、高速性和价值性是大数据的主要特征。
1.2.1 规模性
随着经济的发展，科学技术的进步，数据信息出现爆长，社交网络、移动网络、智能终端等逐渐成为人们掌握数据信息的来源，据相关统计显示，近4亿的淘宝网会员每天产生约20TB的商品交易信息；约10亿的Facebook用户每天产生超过300TB的日志信息；Google通过云计算平台每天处理超过13.4PB的数据。在数据大爆炸时代，人们在智能算法，数据处理平台，以及先进的处理技术方面都提出了更高的要求，进一步对大规模的数据进行统计分析和预测，以便做出实时处理。
1.2.2 多样性
由于产生数据的应用系统和设备存在差异，进而在一定程度上决定了大数据形式的多样性，其多样性主要体现为：一是财务系统数据、信息管理系统数据、医疗系统数据等结构化数据，这些数据的特点存在较强的因果关系；二是视频、图片、音频等非结构化数据，该数据的特点是数据之间不存在因果关系；三是HTML文档、邮件、网页等半结构化数据，这些数据的特点是数据之间存在比较弱的因果关系。
1.2.3 高速性
与海量数据相比，大数据的区别，主要体现在：一是在数据规模方面，大数据的规模更大；二是在数据处理的响应速度方面，大数据的要求更为严格，并且都是对数据进行实时分析，而不是所谓的批量分析，对于数据来说，输入、处理、丢弃等都是立刻见效，根本不存在延迟现象，对于大数据来说，其高速性主要体现在数据的增长速度和处理速度两个方面。
1.2.4 价值性
有价值的数据在大数据中只占很小的比例。从大量不相关的数据中，对未来趋势与模式预测分析有价值的数据进行挖掘，这是大数据价值性的重要体现，对这些有价值的数据，通过机器学习方法、人工智能方法或数据挖掘方法等进行深度分析，进而广泛运用于农业、金融、医疗等领域，以便创造更大的价值。
2 微小型数据库技术
随着科学技术的不断进步，在微小型数据库系统需求方面，嵌入式操作系统为数据库技术开辟了新的空间。目前，微小型数据库技术逐渐从研究领域延伸到应用领域。对于微小型数据库系统来说，通常情况下，可以将其定义为：数据库系统的内核仅需一个很小的内存就可以支持。在微小型数据库系统中，对于便携式设备来说，其内存空间一般只有2MB，对于掌上设备或者其他手持设备来说，其内存空间通常只有50KB。内存空间的大小在一定程度上影响和制约着微小型数据库系统的运行速度。根据占用内存的大小，可以将微小型数据库系统分为：超微DBMS（pico-DBMS）、微小DBMS（micro-DBMS）和嵌入式DBMS。
在各种智能型嵌入设备或移动设备上，通过将微小型数据库系统与操作系统进行集成，进而确保设备的征程运行。目前，微小型数据库技术逐渐从研究领域延伸到应用领域，同时涌现出各种微小型数据库产品。在各种智能设备中，随着移动数据处理和管理需求的不断提高，在学术界、工业界、军事领域和民用部门等给予了嵌入式移动数据库技术高度重视，并且不断实用化。
3 微小型数据库的发展
随着科技的发展，对数据管理提出新的要求和挑战，研究和开发工作出现一片繁忙的景象。研究的重点依然是更高的性能，以及更为复杂、多样的数据。
3.1 面向云平台的数据管理技术
通过对计算、存储、网络等硬件资源进行整合，云平台为用户提供了虚拟化技术，进而在一定程度上为用户使用这些资源提供了便利性，同时确保了经济性。对于云计算来说，虚拟化和动态伸缩性是其主要的特点。在管理面向操作型应用数据、分析型应用数据的过程中，采用云平台还需面对许多的挑战，例如，在具有动态伸缩性的云平台上，如何支持事务处理，如何在云平台上部署新的存储模型，如何放置数据，如何对数据进行容错，以及如何将新的索引结构部署到云平台上等，以及如何在云平台上将数据库当作一个服务进行部署，随着时代的不断发展，上述问题需要继续进行深入研究分析。节能、隐私保护和安全等关键问题还需要面向云平台的数据管理进行解决和处理，进而赢得用户的信任，进一步实现产业化。
3.2 大数据统一处理平台
通过对上文进行分析，围绕RDBMS和Hadoop技术分别产生了一个分析生态系统，以及正在产生一个分析生态系统。在某些方面这两个系统是重叠的，在这种情况下，能否采取相应的措施，将两项技术和生态系统融合到一起？在理论界、工业界的共同努力下，一定会形成一个统一的大数据处理框架以及生态系统。但是需要深入的研究某些问题，例如，如何在一个存储层上(数据组织方式)上整合多类型的数据；如何采取措施建立智能的存储层；如何改进和优化查询的调度算法，以及执行算法等，进而在一定程度上与多核、GPU、异构环境等相应的硬件环境相互适应，并且在云平台上能够正常运行；如何确保服务和功能超越SQL，对编程和应用接口进行扩展，针对普通用户、高级用户、统计学家，以及数学家等不同类型的用户，进而提供个性化的数据分析环境和分析工具；如何对大数据的处理结果进行可视化。
4 结论
随着时代的不断发展，大数据时代正在向我们走来，数据管理技术研究逐渐进入新的阶段。本文通过对技术进步的历史思路进行分析，同时对数据管理技术的发展进程进行阐述，并展开当今数据管理技术新画卷。
参考文献：
[1]李斌.大数据及其发展趋势研究[J].广西教育，2013(09).
[2]覃雄派，王会举，杜小勇，王珊.大数据分析——RDBMS与 MapReduce的竞争与共生[J].软件学报，2012，23(1):32.
[3]林子雨，赖永炫，林琛，谢怡，邹权.云数据库研究[J].软件学报，2012，23(5):1148.
[4]王意洁，孙伟东，周松，裴晓强，李小勇.云计算环境下的分布存储关键技术[J].软件学报，2012，23(4):962.
作者简介：丰娟娟（1981-），女，湖北谷城人，教师，讲师职称，研究方向：数据库技术。
关键词：微小型数据库 大数据 趋势
1 大数据概述
1.1 大数据的概念
随着科技的不断发展，继云计算物联网之后，大数据成为全球关注的焦点问题，大数据凭借自身巨大的潜在价值，备受社会各界的认可和关注。从2009年开始，在互联网上开始流行大数据，专家和学者们分别从不同的角度对大数据进行定义。由于大数据本身抽象性比较强，进而在一定程度上增加对其定义进行统一的难度。
对于大数据，在内涵方面，一方面大数据包含海量数据和大规模数据，另一方面大数据包含各种复杂的数据类型；在处理数据方面，大数据的响应时间比较迅速，并且由传统的周、天、小时等逐渐向分、秒转变，借助云计算物联网技术，数据处理成本不断降低，同时数据处理速度不断提高。
1.2 大数据的特征
对于大数据来说，通常情况下，是指规模超过10TB的数据集，规模性、多样性、高速性和价值性是大数据的主要特征。
1.2.1 规模性
随着经济的发展，科学技术的进步，数据信息出现爆长，社交网络、移动网络、智能终端等逐渐成为人们掌握数据信息的来源，据相关统计显示，近4亿的淘宝网会员每天产生约20TB的商品交易信息；约10亿的Facebook用户每天产生超过300TB的日志信息；Google通过云计算平台每天处理超过13.4PB的数据。在数据大爆炸时代，人们在智能算法，数据处理平台，以及先进的处理技术方面都提出了更高的要求，进一步对大规模的数据进行统计分析和预测，以便做出实时处理。
1.2.2 多样性
由于产生数据的应用系统和设备存在差异，进而在一定程度上决定了大数据形式的多样性，其多样性主要体现为：一是财务系统数据、信息管理系统数据、医疗系统数据等结构化数据，这些数据的特点存在较强的因果关系；二是视频、图片、音频等非结构化数据，该数据的特点是数据之间不存在因果关系；三是HTML文档、邮件、网页等半结构化数据，这些数据的特点是数据之间存在比较弱的因果关系。
1.2.3 高速性
与海量数据相比，大数据的区别，主要体现在：一是在数据规模方面，大数据的规模更大；二是在数据处理的响应速度方面，大数据的要求更为严格，并且都是对数据进行实时分析，而不是所谓的批量分析，对于数据来说，输入、处理、丢弃等都是立刻见效，根本不存在延迟现象，对于大数据来说，其高速性主要体现在数据的增长速度和处理速度两个方面。
1.2.4 价值性
有价值的数据在大数据中只占很小的比例。从大量不相关的数据中，对未来趋势与模式预测分析有价值的数据进行挖掘，这是大数据价值性的重要体现，对这些有价值的数据，通过机器学习方法、人工智能方法或数据挖掘方法等进行深度分析，进而广泛运用于农业、金融、医疗等领域，以便创造更大的价值。
2 微小型数据库技术
随着科学技术的不断进步，在微小型数据库系统需求方面，嵌入式操作系统为数据库技术开辟了新的空间。目前，微小型数据库技术逐渐从研究领域延伸到应用领域。对于微小型数据库系统来说，通常情况下，可以将其定义为：数据库系统的内核仅需一个很小的内存就可以支持。在微小型数据库系统中，对于便携式设备来说，其内存空间一般只有2MB，对于掌上设备或者其他手持设备来说，其内存空间通常只有50KB。内存空间的大小在一定程度上影响和制约着微小型数据库系统的运行速度。根据占用内存的大小，可以将微小型数据库系统分为：超微DBMS（pico-DBMS）、微小DBMS（micro-DBMS）和嵌入式DBMS。
在各种智能型嵌入设备或移动设备上，通过将微小型数据库系统与操作系统进行集成，进而确保设备的征程运行。目前，微小型数据库技术逐渐从研究领域延伸到应用领域，同时涌现出各种微小型数据库产品。在各种智能设备中，随着移动数据处理和管理需求的不断提高，在学术界、工业界、军事领域和民用部门等给予了嵌入式移动数据库技术高度重视，并且不断实用化。
3 微小型数据库的发展
随着科技的发展，对数据管理提出新的要求和挑战，研究和开发工作出现一片繁忙的景象。研究的重点依然是更高的性能，以及更为复杂、多样的数据。
3.1 面向云平台的数据管理技术
通过对计算、存储、网络等硬件资源进行整合，云平台为用户提供了虚拟化技术，进而在一定程度上为用户使用这些资源提供了便利性，同时确保了经济性。对于云计算来说，虚拟化和动态伸缩性是其主要的特点。在管理面向操作型应用数据、分析型应用数据的过程中，采用云平台还需面对许多的挑战，例如，在具有动态伸缩性的云平台上，如何支持事务处理，如何在云平台上部署新的存储模型，如何放置数据，如何对数据进行容错，以及如何将新的索引结构部署到云平台上等，以及如何在云平台上将数据库当作一个服务进行部署，随着时代的不断发展，上述问题需要继续进行深入研究分析。节能、隐私保护和安全等关键问题还需要面向云平台的数据管理进行解决和处理，进而赢得用户的信任，进一步实现产业化。
3.2 大数据统一处理平台
通过对上文进行分析，围绕RDBMS和Hadoop技术分别产生了一个分析生态系统，以及正在产生一个分析生态系统。在某些方面这两个系统是重叠的，在这种情况下，能否采取相应的措施，将两项技术和生态系统融合到一起？在理论界、工业界的共同努力下，一定会形成一个统一的大数据处理框架以及生态系统。但是需要深入的研究某些问题，例如，如何在一个存储层上(数据组织方式)上整合多类型的数据；如何采取措施建立智能的存储层；如何改进和优化查询的调度算法，以及执行算法等，进而在一定程度上与多核、GPU、异构环境等相应的硬件环境相互适应，并且在云平台上能够正常运行；如何确保服务和功能超越SQL，对编程和应用接口进行扩展，针对普通用户、高级用户、统计学家，以及数学家等不同类型的用户，进而提供个性化的数据分析环境和分析工具；如何对大数据的处理结果进行可视化。
4 结论
随着时代的不断发展，大数据时代正在向我们走来，数据管理技术研究逐渐进入新的阶段。本文通过对技术进步的历史思路进行分析，同时对数据管理技术的发展进程进行阐述，并展开当今数据管理技术新画卷。
参考文献：
[1]李斌.大数据及其发展趋势研究[J].广西教育，2013(09).
[2]覃雄派，王会举，杜小勇，王珊.大数据分析——RDBMS与 MapReduce的竞争与共生[J].软件学报，2012，23(1):32.
[3]林子雨，赖永炫，林琛，谢怡，邹权.云数据库研究[J].软件学报，2012，23(5):1148.
[4]王意洁，孙伟东，周松，裴晓强，李小勇.云计算环境下的分布存储关键技术[J].软件学报，2012，23(4):962.
作者简介：丰娟娟（1981-），女，湖北谷城人，教师，讲师职称，研究方向：数据库技术。