云计算平台下的大数据分流系统的设计与优化
2022-06-09
【论文摘要】设计云计算平台下的大数据分流系统，实现优化数据聚类和模式识别。传统的云计算平台下的大数据分流系统采用的是开源码Linux嵌入式系统设计方法，分流系统通过耦合线圈连接到云计算平台的交换机中，导致分流系统中的数据出现漏分和错分。提出基于功能子程序动态加载和TinyOS优先级调度的云计算平台下大数据分流系统优化设计方法。设计的云计算平台下大数据分流模块主要包括控制器模块、电源管理模块、数据存储器模块、传输通信模块、以太网模块和显示模块。采用TinyOS优先级调度方法进行大数据信息流的特征采集和调度，得到大数据分流系统主控制器的芯片接口电路图和串口通信电路图。选用MBM29LV400BC作为片选和读、写信号的地址线，将大数据从12位的A/D结果转换成16位，最后在Linux操作系统中采用功能子程序动态加载方法进行系统的软件开发，实现系统优化设计。仿真结果表明，采用该系统能有效实现对云计算平台中的大数据分流，准确度高，性能优越。
【论文关键词】云计算；大数据分流系统；TinyOS；优先级调度
0引言
云计算是信息革命的重要产物，通过云计算和云存储，实现对海量大数据的协同管理和调度，当前云计算信息系统广泛应用在大数据信息资源调度和分配中。由于云计算采用的是分布式计算的方法，可以通过传感节点进行原始数据采集和数据的无线传输，在云计算平台下，通过连接传感器网络与其他网络构成一个庞大数据信息库。通过云计算将海量的网络资源数据融合到一个资源数据池中，实现及时、快速、精确地计算和数据调度。在云计算环境下，由于数据的来源和数据的服务用途具有巨大的差异性，而且云计算接口和通信协议存在很大的差别，导致云计算中的大数据具有不同的属性，在云计算环境下，计算资源、存储资源与软件资源的来源具有多重属性，形成多源信息资源的云计算和云存储，需要对云计算环境下的多源大数据进行分流处理，提高数据聚类的准确性，为实现模式识别提供基础[1]。
云计算平台下的大数据分流系统节点数目众多，节点受环境的限制，各层协议设计需要考虑大数据信息流的内部特征，进行大数据的信息特征提取，设计的大数据分流系统具有数据传感、信号处理和无线通信等能力，实现了对大数据信息进行分流操作，数据采集和特征存储的目的[2]。传统方法中，云计算平台下的大数据分流方法主要采用的是基于K?means聚类算法的大数据分流系统设计方法，基于模糊C均值的大数据分流系统设计方法和基于粒子群分割聚类方法进行云计算平台大数据分流系统设计[3?5]；但是，这些方法进行大数据分流过程中，容易导致数据的漏分和错分。对此，相关文献进行了系统的改进设计。文献[6]提出一种基于K均值聚类云计算平台下大数据分流系统模型，对群体中的个体数据进行遍历历经，增大覆盖的监测区域，提高数据的分流性能，但是系统设计中需要进行资源高维配置和拓扑控制，导致分流过程中计算量大，增大了系统的计算开销；文献[7]提出一种基于多跳节点随机分配的云计算平台下大数据分流模型，构建以数据为中心的网络，并应用于目标跟踪的传感器模型中，实现数据分类和模式识别，将系统功能模块化处理，提高了分流性能，但是该系统需要使用上下文转换来支持并操作，导致系统的中断时间过程容易产生分流误差；文献[8]中提出的云计算平台下大数据分流系统采用的放源码的Linux嵌入式系统设计方法，分流系统通过耦合线圈连接到云计算平台的交换机中，导致分流系统中的数据出现漏分和错分。
针对上述问题，本文提出基于功能子程序动态加载和TinyOS优先级调度的云计算平台下大数据分流系统优化设计方法。首先进行云计算平台下的大数据分流系统的总体模型构建，进行大数据分流的TinyOS操作系统体系结构设计；然后采用S3C2440作为系统控制核心进行分流系统的硬件结构设计；最后在Linux操作系统中采用功能子程序动态加载方法进行系统的软件开发。仿真实验进行了性能验证，展示了本文设计的大数据分流系统的优越性能。
1云计算平台下大数据分流系统的总体设计和
功能模块分析
1.1云计算平台下大数据分流系统的总体设计
在云计算平台下进行大数据分流是提高云计算的并行计算能力，实现数据聚类和模式识别的基础。基于云计算平台进行的大数据分流系统是通过对多源信息资源进行特征提取和数据分区，实现对云计算平台下的大数据采集、处理、发布。
大数据分流系统是实现云计算平台下的多源信息资源整合的基础设施，云计算信息系统作为一种开源的框架，通过对云计算平台下大数据分流，可以实现数据的无线收发和数据聚类。本文设计的云计算平台下的大数据分流系统具有扩展性、稳定可靠性和开放性等特点。扩展性是指云计算平台下大数据分流时是开源的，所以其面向的对象非常广泛，通过大数据分流发送和接收通知上层的射频字节，实现数据串口通信和无线收发；可靠性是指在云计算大数据信息分流系统采用了分布式的处理方法，当其中的一台或者几台设备出现故障时，可以通知高层次的主动消息组件进行替代性工作，包括后级的数据采集与处理系统都具有扩展性和开放性。本文设计的云计算平台下大数据分流系统的总体模型如图1所示。
图1云计算平台下大数据分流系统的总体模型
在上述系统总体模型设计的基础上，进行系统的网络设计。云计算平台下大数据分流系统采用分布式加权自组网的形式，网络中的簇内节点在每轮向其相应的簇头发送的数据长度时，产生能量消耗，采用ZigBee通信技术进行CDMA模块设计。当分流系统的数据分发节点竞选为簇头时，置[ru]为0，传输距离大于或等于阈值d0时，节点的剩余能量逐渐减少，功率放大器采用多路径衰减信道传输模型，此时的能耗系数是[εmp]，G是在最近的[1P]轮未当选候选簇头的节点集合，在分布式加权自组网网络中，使用32位ARM处理器和嵌入式网关进行数据通信，节点发送lb数据所消耗超过了承载能力，需要在mach?mini2440.c中把其中的16934400进行处理，在密集信道中产生间隙性混叠频段的功耗，Linux的内核在编译后即可下载到目标板运行，实现数据分流，数据分流的算法实现过程描述为：
Makemenuconfig进行内核的配置读入新的子簇[SubCi]，[SubCi∈Cj，j∈[1，k]]；
While（[SubCi]不为空）
根据[CFΔi]计算[SubCi]与所有云计算平台的数据分流簇[Cj]的中心[CenCj]的距离，确定最小距离[dist（SubCk，CenCl），l∈[1，k]]；
While（数据聚类的中心点发生改变）
选择Soundcardsupprt，将云计算大数据的聚类中心[SubCi]加入到[Cl]中，[SubCi][∈][Cl]；
[i←i+1]；
读入新的数据聚类向量[SubCi]，[SubCi?Cl]，[j∈[1，k]]；运行：
mkdir?p/var/lock
mkdir?p/var/run
mkdir?p/var/tmp
计算所有数据分流簇[Cj]中代表簇中心的子簇[CenCj]，生成的根文件系统，使得[Cj]中各子簇到其相应的簇中心[CenCj]的系统传递函数最小。由此实现数据分流。
1.2系统的功能模块设计
本文设计的云计算平台下大数据分流模块主要包括了控制器模块、电源管理模块、数据存储器模块、传输通信模块、以太网模块和显示模块。现根据上述数据分流系统的总体设计和数据分流系统设计，采用TinyOS优先级调度方法进行大数据信息流的特征采集和调度，读取大数据的特征采样值，并在DSP中进行数字FIR滤波，通过PCI总线送采样数据或处理结果到PC机，实现数据分流，然后输出动态增益控制码到功放管和变压器，进行DSP信息处理，大数据分流处理过程如图2所示。
图2大数据分流处理过程
其中，主控制器是整个嵌入式网关的核心，采用韩国三星公司生产的以32位的RISCARM920T为内核网络微控制器，以ARM920T为核心的32位的RISC微处理器设计大数据分流系统的主控制器，采用TSXM，TSYM，TSXP，TSYP作为四线触摸屏接口控制信号，实现断执行程序采集，主控器的芯片接口电路设计如图3所示。
图3大数据分流系统主控制器的芯片接口图
电源控制模块是为云计算平台下的大数据分流系统提供电源供电，采用ARM处理器进行电源控制模块设计。供电电压为DC3.3V和1.25V，采用DC5V作为电路板总体供电电源，在LM1117芯片两端都加上0.1μF和100μF的电容进行电源的FIR滤波。系统的电源能控制模块电路设计如图4所示。
图4系统的电源能控制模块电路
在数据存储器模块设计中采用扩展1片128MB的FLASH芯片和2片SDRAM芯片HY57V561620并联的形式，以满足ARM的数据存储需求，并调入SDRAM中进行使用，由于不需要外扩设备，所以仅仅只用USB的设备控制端口，通过RS232进行Linux终端控制，实现大数据的分流云存储，大数据分流系统的数据存储功能模块设计硬件电路如图5所示。通过TinyOS优先级调度，每个端口都可以在中断模式或DMA模式下工作，提高数据分流性能。
图5大数据分流系统的数据存储功能模块
2大数据分流系统软硬件设计关键技术实现
2.1云计算平台下的大数据分流系统硬件设计关键技术
在上述功能模块设计的基础上，本文针对传统的云计算平台下大数据分流系统采用的放源码Linux嵌入式系统设计方法，分流系统通过耦合线圈连接到云计算平台的交换机中，导致分流系统中的数据出现漏分和错分的问题，本文进行系统的改进设计。这里提出一种基于功能子程序动态加载和TinyOS优先级调度的云计算平台下大数据分流系统优化设计方法。
其设计步骤如下，对上述设计的控制器模块、电源管理模块、数据存储器模块进行集成设计，并采用DM9000网卡芯片进行系统的传输通信模块、以太网模块和显示模块的设计，选择一个10/100M自适应的PHY和4KBDWORD值的SRAM进行网关设计，网络接口使用RJ45连接头，调试系统时需要使用Linux下的NFS文件系统，即内核放入系统中，获得合适的220V标准交流电，通过两个DC?DC电源转换模块分别将12V电压转换为5V和±15V电源，对S3C2440A芯片、FLASH芯片、SDRAM芯片等进行供电。用DSP单独构成一个数据分流系统的特征处理器，实现对大数据分流系统的串口设计，串口电路如图6所示。结合图6，通过（R/X）PHASE设置接收大数据分流信息的同步脉冲，按照DSP串口0的引脚引出15针插座到数据分流信息系统的三个通道BCLKX0，BDX0和BFSX0中，当系统要求高的数据聚类性能时，采用5409A串口通信方法发送采样值，利用双端口的64KWord空间，选用MBM29LV400BC作为片选和读、写信号的地址线，数据分流系统的FLASH与DSP控制器的连线图如图7所示。通过上述设计实现云计算平台下的大数据分流系统的硬件设计，通过数据分流，将大数据从12位的A/D结果转换成16位，采用±10V的双极性输入，实现对云计算平台下的大数据分流系统设计。
【论文关键词】云计算；大数据分流系统；TinyOS；优先级调度
0引言
云计算是信息革命的重要产物，通过云计算和云存储，实现对海量大数据的协同管理和调度，当前云计算信息系统广泛应用在大数据信息资源调度和分配中。由于云计算采用的是分布式计算的方法，可以通过传感节点进行原始数据采集和数据的无线传输，在云计算平台下，通过连接传感器网络与其他网络构成一个庞大数据信息库。通过云计算将海量的网络资源数据融合到一个资源数据池中，实现及时、快速、精确地计算和数据调度。在云计算环境下，由于数据的来源和数据的服务用途具有巨大的差异性，而且云计算接口和通信协议存在很大的差别，导致云计算中的大数据具有不同的属性，在云计算环境下，计算资源、存储资源与软件资源的来源具有多重属性，形成多源信息资源的云计算和云存储，需要对云计算环境下的多源大数据进行分流处理，提高数据聚类的准确性，为实现模式识别提供基础[1]。
云计算平台下的大数据分流系统节点数目众多，节点受环境的限制，各层协议设计需要考虑大数据信息流的内部特征，进行大数据的信息特征提取，设计的大数据分流系统具有数据传感、信号处理和无线通信等能力，实现了对大数据信息进行分流操作，数据采集和特征存储的目的[2]。传统方法中，云计算平台下的大数据分流方法主要采用的是基于K?means聚类算法的大数据分流系统设计方法，基于模糊C均值的大数据分流系统设计方法和基于粒子群分割聚类方法进行云计算平台大数据分流系统设计[3?5]；但是，这些方法进行大数据分流过程中，容易导致数据的漏分和错分。对此，相关文献进行了系统的改进设计。文献[6]提出一种基于K均值聚类云计算平台下大数据分流系统模型，对群体中的个体数据进行遍历历经，增大覆盖的监测区域，提高数据的分流性能，但是系统设计中需要进行资源高维配置和拓扑控制，导致分流过程中计算量大，增大了系统的计算开销；文献[7]提出一种基于多跳节点随机分配的云计算平台下大数据分流模型，构建以数据为中心的网络，并应用于目标跟踪的传感器模型中，实现数据分类和模式识别，将系统功能模块化处理，提高了分流性能，但是该系统需要使用上下文转换来支持并操作，导致系统的中断时间过程容易产生分流误差；文献[8]中提出的云计算平台下大数据分流系统采用的放源码的Linux嵌入式系统设计方法，分流系统通过耦合线圈连接到云计算平台的交换机中，导致分流系统中的数据出现漏分和错分。
针对上述问题，本文提出基于功能子程序动态加载和TinyOS优先级调度的云计算平台下大数据分流系统优化设计方法。首先进行云计算平台下的大数据分流系统的总体模型构建，进行大数据分流的TinyOS操作系统体系结构设计；然后采用S3C2440作为系统控制核心进行分流系统的硬件结构设计；最后在Linux操作系统中采用功能子程序动态加载方法进行系统的软件开发。仿真实验进行了性能验证，展示了本文设计的大数据分流系统的优越性能。
1云计算平台下大数据分流系统的总体设计和
功能模块分析
1.1云计算平台下大数据分流系统的总体设计
在云计算平台下进行大数据分流是提高云计算的并行计算能力，实现数据聚类和模式识别的基础。基于云计算平台进行的大数据分流系统是通过对多源信息资源进行特征提取和数据分区，实现对云计算平台下的大数据采集、处理、发布。
大数据分流系统是实现云计算平台下的多源信息资源整合的基础设施，云计算信息系统作为一种开源的框架，通过对云计算平台下大数据分流，可以实现数据的无线收发和数据聚类。本文设计的云计算平台下的大数据分流系统具有扩展性、稳定可靠性和开放性等特点。扩展性是指云计算平台下大数据分流时是开源的，所以其面向的对象非常广泛，通过大数据分流发送和接收通知上层的射频字节，实现数据串口通信和无线收发；可靠性是指在云计算大数据信息分流系统采用了分布式的处理方法，当其中的一台或者几台设备出现故障时，可以通知高层次的主动消息组件进行替代性工作，包括后级的数据采集与处理系统都具有扩展性和开放性。本文设计的云计算平台下大数据分流系统的总体模型如图1所示。
图1云计算平台下大数据分流系统的总体模型
在上述系统总体模型设计的基础上，进行系统的网络设计。云计算平台下大数据分流系统采用分布式加权自组网的形式，网络中的簇内节点在每轮向其相应的簇头发送的数据长度时，产生能量消耗，采用ZigBee通信技术进行CDMA模块设计。当分流系统的数据分发节点竞选为簇头时，置[ru]为0，传输距离大于或等于阈值d0时，节点的剩余能量逐渐减少，功率放大器采用多路径衰减信道传输模型，此时的能耗系数是[εmp]，G是在最近的[1P]轮未当选候选簇头的节点集合，在分布式加权自组网网络中，使用32位ARM处理器和嵌入式网关进行数据通信，节点发送lb数据所消耗超过了承载能力，需要在mach?mini2440.c中把其中的16934400进行处理，在密集信道中产生间隙性混叠频段的功耗，Linux的内核在编译后即可下载到目标板运行，实现数据分流，数据分流的算法实现过程描述为：
Makemenuconfig进行内核的配置读入新的子簇[SubCi]，[SubCi∈Cj，j∈[1，k]]；
While（[SubCi]不为空）
根据[CFΔi]计算[SubCi]与所有云计算平台的数据分流簇[Cj]的中心[CenCj]的距离，确定最小距离[dist（SubCk，CenCl），l∈[1，k]]；
While（数据聚类的中心点发生改变）
选择Soundcardsupprt，将云计算大数据的聚类中心[SubCi]加入到[Cl]中，[SubCi][∈][Cl]；
[i←i+1]；
读入新的数据聚类向量[SubCi]，[SubCi?Cl]，[j∈[1，k]]；运行：
mkdir?p/var/lock
mkdir?p/var/run
mkdir?p/var/tmp
计算所有数据分流簇[Cj]中代表簇中心的子簇[CenCj]，生成的根文件系统，使得[Cj]中各子簇到其相应的簇中心[CenCj]的系统传递函数最小。由此实现数据分流。
1.2系统的功能模块设计
本文设计的云计算平台下大数据分流模块主要包括了控制器模块、电源管理模块、数据存储器模块、传输通信模块、以太网模块和显示模块。现根据上述数据分流系统的总体设计和数据分流系统设计，采用TinyOS优先级调度方法进行大数据信息流的特征采集和调度，读取大数据的特征采样值，并在DSP中进行数字FIR滤波，通过PCI总线送采样数据或处理结果到PC机，实现数据分流，然后输出动态增益控制码到功放管和变压器，进行DSP信息处理，大数据分流处理过程如图2所示。
图2大数据分流处理过程
其中，主控制器是整个嵌入式网关的核心，采用韩国三星公司生产的以32位的RISCARM920T为内核网络微控制器，以ARM920T为核心的32位的RISC微处理器设计大数据分流系统的主控制器，采用TSXM，TSYM，TSXP，TSYP作为四线触摸屏接口控制信号，实现断执行程序采集，主控器的芯片接口电路设计如图3所示。
图3大数据分流系统主控制器的芯片接口图
电源控制模块是为云计算平台下的大数据分流系统提供电源供电，采用ARM处理器进行电源控制模块设计。供电电压为DC3.3V和1.25V，采用DC5V作为电路板总体供电电源，在LM1117芯片两端都加上0.1μF和100μF的电容进行电源的FIR滤波。系统的电源能控制模块电路设计如图4所示。
图4系统的电源能控制模块电路
在数据存储器模块设计中采用扩展1片128MB的FLASH芯片和2片SDRAM芯片HY57V561620并联的形式，以满足ARM的数据存储需求，并调入SDRAM中进行使用，由于不需要外扩设备，所以仅仅只用USB的设备控制端口，通过RS232进行Linux终端控制，实现大数据的分流云存储，大数据分流系统的数据存储功能模块设计硬件电路如图5所示。通过TinyOS优先级调度，每个端口都可以在中断模式或DMA模式下工作，提高数据分流性能。
图5大数据分流系统的数据存储功能模块
2大数据分流系统软硬件设计关键技术实现
2.1云计算平台下的大数据分流系统硬件设计关键技术
在上述功能模块设计的基础上，本文针对传统的云计算平台下大数据分流系统采用的放源码Linux嵌入式系统设计方法，分流系统通过耦合线圈连接到云计算平台的交换机中，导致分流系统中的数据出现漏分和错分的问题，本文进行系统的改进设计。这里提出一种基于功能子程序动态加载和TinyOS优先级调度的云计算平台下大数据分流系统优化设计方法。
其设计步骤如下，对上述设计的控制器模块、电源管理模块、数据存储器模块进行集成设计，并采用DM9000网卡芯片进行系统的传输通信模块、以太网模块和显示模块的设计，选择一个10/100M自适应的PHY和4KBDWORD值的SRAM进行网关设计，网络接口使用RJ45连接头，调试系统时需要使用Linux下的NFS文件系统，即内核放入系统中，获得合适的220V标准交流电，通过两个DC?DC电源转换模块分别将12V电压转换为5V和±15V电源，对S3C2440A芯片、FLASH芯片、SDRAM芯片等进行供电。用DSP单独构成一个数据分流系统的特征处理器，实现对大数据分流系统的串口设计，串口电路如图6所示。结合图6，通过（R/X）PHASE设置接收大数据分流信息的同步脉冲，按照DSP串口0的引脚引出15针插座到数据分流信息系统的三个通道BCLKX0，BDX0和BFSX0中，当系统要求高的数据聚类性能时，采用5409A串口通信方法发送采样值，利用双端口的64KWord空间，选用MBM29LV400BC作为片选和读、写信号的地址线，数据分流系统的FLASH与DSP控制器的连线图如图7所示。通过上述设计实现云计算平台下的大数据分流系统的硬件设计，通过数据分流，将大数据从12位的A/D结果转换成16位，采用±10V的双极性输入，实现对云计算平台下的大数据分流系统设计。