海量数据挖掘技术探讨

　　摘要：近几年，由于科学技术的飞速发展和广泛应用，从而进一步加速了信息化建设发展速度。尽管搜集信息的能力与信息总量有了进一步提升和增长，但人们对大规模数据分析、利用的认识程度不够；单纯的凭借传统数据查询与统计系统将很难满足现代化社会发展的需求。而自引入海量数据挖掘技术能够更好地满足当前社会发展的需求，把海量数据信息转变成可利用的、应用价值高的数据仓库，这为各行业发展提供了可靠的技术支持。

　　关键词：海量；数据挖掘技术；探究

　　中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2014）20-4646-02

　　Technology of Data Mining

　　WANG Fang ，WANG Shui-ping

　　（Zhengzhou Vocational College of Economics and Trade，Zhengzhou 450000，China）

　　Abstract： In recent years， due to the rapid development and wide application of science and technology， so as to further accelerate the pace of development of the informationization construction. Although the collection ability and information quantity information has been further improved and growth， but the people of large-scale data analysis， knowledge utilization is not enough； the simple query and statistical system with traditional data will be very difficult to meet the development demand of modern society. Since the introduction of mass data of current social development technology can better meet the needs of mining， the data warehouse shift data information into a reusable， high application value， which provides reliable technical support for the development of the industry.

　　Key words： mass； data mining； inquiry

　　近年来，随着科学技术的发展和应用，促使我国的信息化发展步入到一个全新的发展阶段，极大地提升了人们的生活水平与生产效率。同时，也使各行业进入到信息化发展的轨道上，进一步提升了企业生产效益。正是由于经济的飞速发展，各行业发展都已积累了海量的数据信息。那么怎样才能把这些海量信息予以统计、分析及利用成为当前各行业需要解决的首个问题。而自出现海量数据挖掘技术后，保证了海量数据信息的合理利用，同时更能加快我国信息化技术的发展。

　　1 关于数据挖掘概念的论述

　　1.1 概念

　　海量数据挖掘技术指的是把海量数据信息有针对性地进行提炼、分类和整理，从而将隐含在最深层次的信息挖掘出，为各行业发展提供可靠的数据信息支持。换言之，海量数据挖掘技术利用当前最先进的数据分析工具从海量数据信息内部挖掘数据信息以及模型间的关系的一种技术统称，更加深入的认识与了解数据模型，并对各自模型件的关系对应关系予以深入分析，从而更好地指导各行业的生产与发展，同时为其提供更多决策性的技术支持。

　　1.2 特点

　　第一，海量数据挖掘技术重点针对的是各行业数据库内部海量数据信息进行的处理，而且此类数据信息均为预处理过的，因此这些都属于结构化的数值信息；第二，通过引入数学统计知识来构建挖掘模型，设计挖掘算法，从而挖掘出最有用的信息，并揭露出数值信息间存在的这种内在关系；第三，在构建挖掘模型后，可以更好地指导用户行为。

　　1.3 含义

　　首先，通常海量数据挖掘技术应用在各行业的生产和发展决策方面，也就是说数据挖掘工作将面临着巨大的数据信息，并且此类数据信息多数为模糊的、无规律的；其次，在建立高效、易理解的数据模型有助于实现海量数据挖掘；再次，数据挖掘模型的构建主要目的是想帮助用户解决实际存在的问题，在经过对海量数据信息进行挖掘之后，从中找出利用价值高的信息，再对此类信息予以统计、整理和分析，最终用于指导各行业的生产与发展；最后，开展数据挖掘工作主要是为从海量数据信息里找出有价值的数据信息，这并不是单纯的数学性研究，其根本目的是从各行业的海量数据信息中找出有价值的数据信息，它具有相应的约束条件，且面向的是针对性较强的数据挖掘模型。

　　2 海量数据挖掘分析

　　2.1 处理过程

　　事实上，数据挖掘过程不能够自动生成，必须通过人工建模来实现，因此，人需要完成大部分的工作。其中，主要包含数据采集、数据预处理、数据选择、建立挖掘模型及评估模型等。

　　2.2 关键技术

　　现如今，尽管海量数据挖掘属于一种新技术，但由于该技术发展速度较快，因此，已被广泛应用到计算机发展领域当中。近年来，由于数据挖掘理论的逐步趋于完善化，并且在实践中取得了较好成效。其中，最常用的海量数据挖掘技术主要包含以下几种：决策树、神经网络以及统计学模糊。（1） 决策树算法通常应用到分析分类问题当中，同时它也是分类与预测的一主要技术。其中，类别属于因变量，而决策树可从众多预测变量当中，再相关理论的指导下，预测变量的发展趋势及变化关系，同时可对其进行双向分析，即包含正向分析和反推分析，根据最终的结果去寻找问题的原因。（2） 神经网络的建立。事实上，人工神经网络法指的是模拟人脑神经元结构的一种算法。其中，改善神经网络算法的关键在于知识的表达与获取。神经网络可实现并行处理，这是因为神经网络应用的是自适应函数估计器，因此，它的学习能力是极强的，在短时间内能学会新知识，同时它的纠错能力与适应性也是非常可观的。（3） 统计学模糊学习。该方法属于一种预测法，常被应用到谈及机器学习规律当中，而且只可应用到小样本情形中。另外，该方法是对观测数据进行深入的研究，通过对原理的分析，找出其中不予通用的规律。再结合已找出的规律进行更深层次的分析与探究，再结合实践中存在的现象予以预测，这样可提前预测出数据的发展趋势。