基于大数据的信息系统关键技术研究
2022-06-08
信息技术的发展推动了物联网技术、移动互联网技术、云计算技术等现代数字信息系统的全面发展，使得信息的获取途径和获取量产生了几何性的增长，且获取数据和存储数据的成本都有了显著降低。这些海量数据在极大地促进数据信息处理与分析方式转变的同时也提升了数据结构的复杂度。如何从大量复杂数据中提取有用信息并对其进行组织和管理已经成为当前信息系统的重点关注内容之一。
1大数据的定义与特性概述
目前来说，大数据并没有一个标准的统一的定义，但是其与海量数据之间存在非常明显的区别，即大数据是海量数据中的有价值数据信息的集合，包含了针对数据的处理行为，且各数据之间存在一定的关联，具有挖掘和分析价值，需要应用特定的数据管理与分析技术对其进行处理。
其核心技术又可分为处理和分析两类，每一类中又包含多种数据处理技术，如数据挖掘技术、模式识别技术、信号处理技术、数据库技术、云计算技术、可视化技术、分布式技术等。
综合来看，大数据之所以在信息系统中得到了广泛的重视和应用，主要是由以下几方面特性决定的。
首先是大数据的普遍性。信息技术的发展使得人们的生活、工作、学习中产生了大量的数据信息，统计分析结果表明，全球所产生的数据量正在以每两年翻一倍的速度增长，而新技术和新研究方向的拓展和开发又使得数据的生产成本、存储成本、处理成本等都得到了大幅度下降，大数据已经被普遍应用到目前的数据信息分析与处理过程中。
其次是大数据技术对企业发展的重要性。大数据使用数据挖掘技术、聚类分析技术等对企业发展过程中产生的海量数据进行分析、挖掘和整合，能够从中提炼出对企业具有积极推动意义的价值信息，该信息对于提升工作效率，改善决策过程，推动业务开展等具有十分重要的意义。
再次大数据是必然的发展趋势。大数据所能够创造的价值越来越明显，从中所能够获取的信息也越来越丰富，无论是个人还是企业，甚至是国家，都将大数据作为了重点对象进行应用和研究。
2基于大数据的信息系统关键技术分析
基于大数据的信息系统所具有的具体功能千差万别，系统结构复杂多变，但是对其进行抽象可将其分为如下几部分关键技术：分布式的大数据存储技术、分布式的大数据处理技术以及海量数据运算与管理技术等。
2.1分布式文件管理技术
数据存储与管理是大数据应用的基础之一，但是传统的数据文件管理系统不适用于大数据信息系统，需要根据实际应用需求进行设计与分析。目前应用比较成功的文件管理系统技术主要集中在具有海量用户的互联网企业中。GFS文件管理系统是由Google所提出和应用的一类数据文件管理技术，该技术使用大量的廉价服务器搭建了一个可扩展的文件管理系统，数据可以被存储在不同的服务器中。
可以看出该管理技术通过分块存储、关联链接、追加更新等对数据进行存储与管理，但是对于大文件的管理与存储，该技术存在一定的不足，为弥补和完善该不足，多个类GFS文件管理系统被开发应用到大数据管理中。这些技术通过增加缓冲层、使用内存加载部分元数据的方式提升了数据的存储和读取效率，使得大数据文件管理系统进入集群管理阶段。
2.2分布式数据处理系统
大数据信息的处理方式主要有流处理和批处理两种。前者将所需要处理的海量数据看作是一个不间断的流，可以实时的对进入处理系统的数据进行处理和结果返回。分布式处理方式的应用极大的提升了系统的数据处理实时性。后者则是将需要处理的数据先执行存储操作再对其进行处理。该技术可以使用将数据按照特定的分割方式分为多块数据，这些数据可同时由多个处理终端进行并行处理。显然，该处理技术淡化了数据的关联部分，但是极大的提升了数据的可调度性、集群性。该技术的核心在于数据的分割、分发以及处理。
2.3分布式数据库系统
传统的数据库大多是传统的关系型数据库，这些数据库在面对规模性、多样性、低价值密度性的大数据时存在不同程度的缺陷或不足。为实现大数据的处理需要采用更简单的数据库模型。如Bigtable技术将所管理的数据信息看做字符串进行管理，而不直接对字符串进行解释，从而使得所被管理的数据具有结构化或半结构化特征，这就使得数据库系统得到了简化。其他如Dynamo技术所使用的键值存储、分布式哈希表、向量时钟等技术同样能够实现对大数据库系统的可靠高效管理。而这些数据库系统的发展同样也推动了关系型数据库的发展，促进了NoSQLogic数据库的发展和应用。该数据库使用了模式智能识别、一致化与简单化应用程序接口等技术进行优化，同样可以达到较好的应用效果。
2.4其他系统及关键技术
大数据信息系统结构复杂，除上述几部分系统之外还包括其他多个系统，这些系统又由多个大数据处理与分析技术构成，如数据挖掘技术、云计算技术、模式识别技术、聚类分析技术、稀疏问题处理技术等。
[参考文献]
[1]黄哲学，曹付元，李俊杰，陈小军.面向大数据的海运数据系统关键技术研究[J].网络新媒体技术，2012（11）.
1大数据的定义与特性概述
目前来说，大数据并没有一个标准的统一的定义，但是其与海量数据之间存在非常明显的区别，即大数据是海量数据中的有价值数据信息的集合，包含了针对数据的处理行为，且各数据之间存在一定的关联，具有挖掘和分析价值，需要应用特定的数据管理与分析技术对其进行处理。
其核心技术又可分为处理和分析两类，每一类中又包含多种数据处理技术，如数据挖掘技术、模式识别技术、信号处理技术、数据库技术、云计算技术、可视化技术、分布式技术等。
综合来看，大数据之所以在信息系统中得到了广泛的重视和应用，主要是由以下几方面特性决定的。
首先是大数据的普遍性。信息技术的发展使得人们的生活、工作、学习中产生了大量的数据信息，统计分析结果表明，全球所产生的数据量正在以每两年翻一倍的速度增长，而新技术和新研究方向的拓展和开发又使得数据的生产成本、存储成本、处理成本等都得到了大幅度下降，大数据已经被普遍应用到目前的数据信息分析与处理过程中。
其次是大数据技术对企业发展的重要性。大数据使用数据挖掘技术、聚类分析技术等对企业发展过程中产生的海量数据进行分析、挖掘和整合，能够从中提炼出对企业具有积极推动意义的价值信息，该信息对于提升工作效率，改善决策过程，推动业务开展等具有十分重要的意义。
再次大数据是必然的发展趋势。大数据所能够创造的价值越来越明显，从中所能够获取的信息也越来越丰富，无论是个人还是企业，甚至是国家，都将大数据作为了重点对象进行应用和研究。
2基于大数据的信息系统关键技术分析
基于大数据的信息系统所具有的具体功能千差万别，系统结构复杂多变，但是对其进行抽象可将其分为如下几部分关键技术：分布式的大数据存储技术、分布式的大数据处理技术以及海量数据运算与管理技术等。
2.1分布式文件管理技术
数据存储与管理是大数据应用的基础之一，但是传统的数据文件管理系统不适用于大数据信息系统，需要根据实际应用需求进行设计与分析。目前应用比较成功的文件管理系统技术主要集中在具有海量用户的互联网企业中。GFS文件管理系统是由Google所提出和应用的一类数据文件管理技术，该技术使用大量的廉价服务器搭建了一个可扩展的文件管理系统，数据可以被存储在不同的服务器中。
可以看出该管理技术通过分块存储、关联链接、追加更新等对数据进行存储与管理，但是对于大文件的管理与存储，该技术存在一定的不足，为弥补和完善该不足，多个类GFS文件管理系统被开发应用到大数据管理中。这些技术通过增加缓冲层、使用内存加载部分元数据的方式提升了数据的存储和读取效率，使得大数据文件管理系统进入集群管理阶段。
2.2分布式数据处理系统
大数据信息的处理方式主要有流处理和批处理两种。前者将所需要处理的海量数据看作是一个不间断的流，可以实时的对进入处理系统的数据进行处理和结果返回。分布式处理方式的应用极大的提升了系统的数据处理实时性。后者则是将需要处理的数据先执行存储操作再对其进行处理。该技术可以使用将数据按照特定的分割方式分为多块数据，这些数据可同时由多个处理终端进行并行处理。显然，该处理技术淡化了数据的关联部分，但是极大的提升了数据的可调度性、集群性。该技术的核心在于数据的分割、分发以及处理。
2.3分布式数据库系统
传统的数据库大多是传统的关系型数据库，这些数据库在面对规模性、多样性、低价值密度性的大数据时存在不同程度的缺陷或不足。为实现大数据的处理需要采用更简单的数据库模型。如Bigtable技术将所管理的数据信息看做字符串进行管理，而不直接对字符串进行解释，从而使得所被管理的数据具有结构化或半结构化特征，这就使得数据库系统得到了简化。其他如Dynamo技术所使用的键值存储、分布式哈希表、向量时钟等技术同样能够实现对大数据库系统的可靠高效管理。而这些数据库系统的发展同样也推动了关系型数据库的发展，促进了NoSQLogic数据库的发展和应用。该数据库使用了模式智能识别、一致化与简单化应用程序接口等技术进行优化，同样可以达到较好的应用效果。
2.4其他系统及关键技术
大数据信息系统结构复杂，除上述几部分系统之外还包括其他多个系统，这些系统又由多个大数据处理与分析技术构成，如数据挖掘技术、云计算技术、模式识别技术、聚类分析技术、稀疏问题处理技术等。
[参考文献]
[1]黄哲学，曹付元，李俊杰，陈小军.面向大数据的海运数据系统关键技术研究[J].网络新媒体技术，2012（11）.