云计算在大数据中的应用探析

　　摘 要：近年来，随着网络的发展和新兴技术的出现，尤其是物联网技术的推广，大数据成为眼下最流行的技术，这必然会给目前的数据库和信息处理技术带来新的挑战，旧的数据处理、数据挖掘技术已经很难满足要求，必然要求数据处理技术进行新的革命性的变革。近年来，云计算技术也在不断的发展，二者的结合会给信息处理带来很多新的挑战和机遇。

　　关键词：云计算；大数据；数据挖掘；数据处理；存储

　　中图分类号：TP308

　　1 大数据概述

　　什么是大数据？“大数据”是一个数据量特别大、类别特别多的数据集，并且这样的数据集无法用传统数据库工具对其内容进行加工处理。“大数据”首先是指数据量非常庞大，指代大型数据集，一般在10TB规模左右，在日常的应用中，多数的单位都是把多个来源于不同系统的数据集统一的放在一起，形成了更为庞大的数据量；其次是指数据类型特别多，现在兴起的云计算技术，使得现在创造数据的主体由企业逐步的转向个体，而我们个体创造的数据大多是文档、图片、音频、视频等，这些数据都是非结构化的，还有大多数的企业的办公自动化通过网络得以实现，由此产生的数据也大多是非结构化的。也就是说我们要处理的数据来源于不同的系统和数据源，数据类型和数据格式更为复杂，已不在局限于结构化的数据结构，而是半结构化和非结构化数据的一个混合体。第三是要求要有非常高的相应处理速度，尽管要处理的数据量异常庞大，也必须对如此庞大的数据量做到实时处理。最后一个特点是指数据真实性高，随着社交数据、企业交易和应用数据等新数据源的崛起，传统数据源的局限被打破，企业越来越需要高效的信息处理，以确保数据的真实性、准确性及安全性。

　　另外，结构组成更为复杂的新数据开始出现，而且生成的速度提高到了一个前所未有的程度。例如：社交网络数据、备份数据和物联网应用下的传感器数据都属于人们在分析中关注的新数据源，企业需要对这些数据类型进行快速、准确、可靠的分析，以便充实其已知的信息数据量。

　　在企业内部，随着客户以在线渠道作为开展商业交易及与企业互动的主要手段和网络日志的不断增加，为监测和优化业务运营而部署的传感器网络和机器数量也越来越多。结果就生成了大量新数据源、快速增加的数据量和迅速增加的新数据流，需要分析所有这些新数据。“大数据”在互联网与传统企业之间建立了紧密的联系，推动了互联网企业与传统的企业的融合，逐步掀起了一场消费模式、生产模式、管理模式的革命。

　　2 云计算概述

　　2.1 云计算的概念

　　“云计算”将计算机从客户端集中到“云端”，作为功能应用通过互联网络提供给客户端，它将用户提交的各种需求动态、合理的分配给分布在各处的计算机系统，从而提出需求的各种应用系统能够获取相应的计算服务、存储空间。用户关心的是需求提出的功能，而不需要去关心应用功能是怎么实现的，所有的应用功能都是由服务提供商来完成的。它是一种商业计算模型，而不是一种平台或者架构。

　　实现云计算所需要的基础设施有多种技术结合来完成。尤其是需要一套系统的软件对分布在各处的硬件进行虚拟化调度和管理，即把分布于各处的计算机软、硬件资源集中起来进行综合处理。