一种基于云计算的大数据分析系统及其方法与流程

本发明涉及数据分析技术领域，尤其涉及一种基于云计算的大数据分析系统及其方法。

背景技术：

大数据与云计算的关系就像一枚硬币的正反面一样密不可分，现有的基于云计算的大数据分析系统大都存在着数据分析步骤复杂的问题，因此亟需设计一种基于云计算的大数据分析系统及其方法。

技术实现要素：

针对现有技术中存在的缺陷，本发明的目的在于提供一种基于云计算的大数据分析系统及其方法，数据分析步骤简单，且实现数据分析过程的“云计算”式的分析，提升数据的分析速率，简化数据分析流程。

为了实现上述目的，本发明采用了如下技术方案：一种基于云计算的大数据分析系统，包括用户终端、任务生成器、子数据储存库、子数据分析模块、数据传输模块、数据整理模块、数据采集模块、数据分析模块、大数据存储模块和云加密模块；

所述用户终端用于发出数据分析的需求以及接收数据分析的结果；

所述任务生成器用于将用户终端发出的数据分析需求生成任务文件，并将任务文件发出至子数据储存库；

所述子数据储存库用于实现大数据存储库的扩展，分摊大数据存储库的访问量，所述子数据储存库将任务文件生成日志文件的同时，将任务文件发出至子数据分析模块；

所述子数据分析模块用于对任务文件内的数据进行整理和分析，并将数据分析的结果发送至用户终端；

所述数据传输模块用于将经过子数据分析模块未解决的任务文件传输至数据整理模块；

所述数据整理模块用于实现任务文件中数据的整理；

所述数据采集模块用于将数据整理模块整理后的文件分类传递至数据分析模块；

所述数据分析模块用于对整理后的文件进行分类分析，并将分析结果汇总；

所述大数据存储模块用于将数据分析模块的数据分析结果储存；

所述云加密模块用于保证数据分析结果发送至用户终端时的安全；

所述数据整理模块包括数据识别模块、数据标记模块、数据分类模块和数据暂存模块，所述数据识别模块、数据标记模块、数据分类模块以及数据暂存模块单向相连，所述数据识别模块用于对任务文件中的数据进行拆解，所述数据标记模块用于对拆解后的数据进行标记，所述数据分类模块用于对标记后的数据进行分类，所述数据暂存模块用于将分类后的数据传递至数据采集模块，所述数据删除模块在用户终端接收到数据分析模块的数据分析的结果后，对任务文件以及分类数据进行删除；

优选的，所述用户终端包括手机、平板电脑和个人计算机等具有无线通信功能的终端设备。

优选的，所述数据采集模块包括无线通信和电缆通信。

优选的，所述用户终端上设置有语音播放系统及语音输入系统，语音播放系统用于播放数据分析结果，语音输入系统识别语音，用于录入语音形式的数据分析需求。

如上所述的一种基于云计算的大数据分析系统的分析方法，包括以下步骤：

s1：用户通过身份验证后登录用户终端，并通过用户终端发出数据分析需求，任务生成器将用户终端发出的数据分析需求生成任务文件后，将该任务文件发出至子数据储存库；

s2：子数据储存库将任务文件生成日志文件的同时将任务文件发出至子数据分析模块，子数据分析模块对任务文件内的数据进行分析，分析成功则将数据分析的结果发送至用户终端，未完成分析则通过数据传输模块将任务文件发送至数据整理模块；

s3：数据整理模块对任务文件中的数据进行整理，数据识别模块对任务文件中的数据进行拆解后，数据标记模块对拆解后的数据进行标记，数据分类模块对标记后的数据进行分类，最后数据暂存模块将分类后的数据传递至数据采集模块；

s4：数据采集模块将数据整理模块整理后的文件分类传递至数据分析模块后，由数据分析模块对分类后的文件进行分析，分析后的数据储存在大数据存储模块内并发送至用户终端，数据删除模块在用户终端接收到数据分析模块的数据分析的结果后，对任务文件以及分类数据进行删除。

优选的，所述s1中的身份验证方式包括密码验证、指纹验证和面部识别验证中的一种或几种。

与现有技术相比，本发明的有益效果是：本发明可通过子数据储存库和子数据分析模块实现对用户应用程序的执行，减小了远程执行应用程序过程中的通信延迟，通过子数据储存库简化数据分析流程，实现大数据存储库的扩展，分摊大数据存储库的访问量。

附图说明

图1为本发明提出的一种基于云计算的大数据分析系统的模块结构示意图；

图2为本发明提出的一种基于云计算的大数据分析系统数据整理模块的模块结构示意图。

图中：1用户终端、2任务生成器、3子数据储存库、4子数据分析模块、5数据传输模块、6数据整理模块、601数据识别模块、602数据标记模块、603数据分类模块、604数据暂存模块、605数据删除模块、7数据采集模块、8数据分析模块、9大数据存储模块、10云加密模块。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。

在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

参照图1-2，一种基于云计算的大数据分析系统，包括用户终端1、任务生成器2、子数据储存库3、子数据分析模块4、数据传输模块5、数据整理模块6、数据采集模块7、数据分析模块8、大数据存储模块9和云加密模块10；

用户终端1用于发出数据分析的需求以及接收数据分析的结果；

任务生成器2用于将用户终端1发出的数据分析需求生成任务文件，并将任务文件发出至子数据储存库3；

子数据储存库3用于实现大数据存储库的扩展，分摊大数据存储库的访问量，子数据储存库3将任务文件生成日志文件的同时，将任务文件发出至子数据分析模块4；

子数据分析模块4用于对任务文件内的数据进行整理和分析，并将数据分析的结果发送至用户终端1；

数据传输模块5用于将经过子数据分析模块4未解决的任务文件传输至数据整理模块6；

数据整理模块6用于实现任务文件中数据的整理；

数据采集模块7用于将数据整理模块6整理后的文件分类传递至数据分析模块8；

数据分析模块8用于对整理后的文件进行分类分析，并将分析结果汇总；

大数据存储模块9用于将数据分析模块8的数据分析结果储存；

云加密模块10用于保证数据分析结果发送至用户终端1时的安全；

数据整理模块6包括数据识别模块601、数据标记模块602、数据分类模块603和数据暂存模块604，数据识别模块601、数据标记模块602、数据分类模块603以及数据暂存模块604单向相连，数据识别模块601用于对任务文件中的数据进行拆解，数据标记模块602用于对拆解后的数据进行标记，数据分类模块603用于对标记后的数据进行分类，数据暂存模块604用于将分类后的数据传递至数据采集模块7，数据删除模块605在用户终端1接收到数据分析模块8的数据分析的结果后，对任务文件以及分类数据进行删除；

在上方案的基础上，用户终端1包括手机、平板电脑和个人计算机等具有无线通信功能的终端设备，数据采集模块7包括无线通信和电缆通信，用户终端1上设置有语音播放系统及语音输入系统，语音播放系统用于播放数据分析结果，语音输入系统识别语音，用于录入语音形式的数据分析需求；

如上的一种基于云计算的大数据分析系统的分析方法，包括以下步骤：

s1：用户通过身份验证后登录用户终端1，并通过用户终端1发出数据分析需求，任务生成器2将用户终端1发出的数据分析需求生成任务文件后，将该任务文件发出至子数据储存库3；

s2：子数据储存库3将任务文件生成日志文件的同时将任务文件发出至子数据分析模块4，子数据分析模块4对任务文件内的数据进行分析，分析成功则将数据分析的结果发送至用户终端1，未完成分析则通过数据传输模块5将任务文件发送至数据整理模块6；

s3：数据整理模块6对任务文件中的数据进行整理，数据识别模块601对任务文件中的数据进行拆解后，数据标记模块602对拆解后的数据进行标记，数据分类模块603对标记后的数据进行分类云计算技术培训，最后数据暂存模块604将分类后的数据传递至数据采集模块7；

s4：数据采集模块7将数据整理模块6整理后的文件分类传递至数据分析模块8后，由数据分析模块8对分类后的文件进行分析，分析后的数据储存在大数据存储模块9内并发送至用户终端1，数据删除模块605在用户终端1接收到数据分析模块8的数据分析的结果后，对任务文件以及分类数据进行删除；

在上方案的基础上，s1中的身份验证方式包括密码验证、指纹验证和面部识别验证中的一种或几种。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

（编辑：海南站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!