中国期刊库

 首 页   论文大全   论文精品   学术答疑   论文检测   出书咨询   服务流程   诚信通道   关于我们 

新葡萄京娱乐场网址

人气指数: 发布时间:2015-08-11 09:52  来源:http://www.plusonespro.com  作者:杨健章等
分享到:

 

  摘 要:针对当前数据可视化工具的种类、质量和灵活性上存在的不足,构建一个数据挖掘可视化平台。将获取的数据集上传到系统分布式数据库中,对数据集进行预处理,利用Mahout提供的分类、聚类等挖掘算法对数据集进行挖掘,使用ECharts将挖掘产生的结果进行可视化展示。
  关键词:数据挖掘;可视化展示;数据预处理;挖掘算法
  引言
  在大数据时代,通过数据挖掘可以对数据库中的大量业务数据进行抽取、转换、分析和其他模型化处理,从而提取辅助商业决策的关键性信息,帮助企业做出决策。丰富而灵活的数据挖掘结果可视化技术使抽象的信息以简明的形式呈现出来,加深用户对数据含义的理解,更好地了解数据之间的相互关系和发展趋势。然而当前数据可视化工具的种类、质量和灵活性较大的影响数据挖掘系统的使用、解释能力和吸引力。
  这就需要使用分布式大数据处理技术进行数据的存储和计算,构建一个数据挖掘可视化平台,通过多种挖掘算法实现对原始数据集进行挖掘,从而发现数据中有用的信息。
  1 关键技术
  1.1 MapReduce离线计算框架
  一种在YARN系统之上的大数集离线计算框架,使用MapReduce可以并行的对原始数据集进行计算处理,从而高效的得出结果。
  1.2 HBase分布式数据库
  一个构建在Hadoop之上分布式的、面向列的开源数据库。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。
  1.3 Mahout
  Apache Software Foundation旗下的一个开源项目,提供一些可扩展的机器学习领域经典算法的实现,包括聚类、分类、推荐过滤、频繁子项挖掘等。
  1.4 ECharts
  一种商业级报表,创建了坐标系,图例,提示,工具箱等基础组件,并在此上构建出折线图、柱状图、散点图、K线图、饼图、雷达图、地图、和弦图、力导向布局图、仪表盘以及漏斗图,同时支持任意纬度的堆积和多图表混合实现。
  2 系统设计
  数据挖掘可视化系统包括数据预处理、挖掘算法、可视化显示三大核心模块。
  2.1 数据预处理
  通过上传接口将数据集上传到分布式数据库HBase中,对数据进行预处理后,将处理后的的数据集存储留待挖掘时使用。
  2.2 挖掘算法
  使用开源的数据挖掘框架Mahout,对所需挖掘的算法进行相关的参数设定,完成相关算法的挖掘。
  2.3 可视化显示
  挖掘之后的相关结果存放到MySql数据库中,前台从数据库中获取挖掘结果,并且使用ECharts进行可视化显示,用户通过前台提供的可视化结果进行数据分析,从而获取所需要的信息。
  3 系统实现
  本系统在操作系统之上构造了HDFS分布式文件系统,本地文件系统与分布式文件系统共同存在。在本地文件系统之上组织了关系型数据库MySql和分布式数据库HBase集群,其中MySql用来存储管理员账户信息和少量的数据信息,HBase用来存储用户上传的数据集。文件系统和数据库之上使用分布式计算框架MapReduce和Mahout数据挖掘包,对用户的数据集进行分类、聚类、关联规则等挖掘。后台管理员界面选择数据集以及挖掘参数的设定,前台用户界面通过图表形式展示挖掘结果,帮助用户进行数据分析。系统中用到的开发工具如表1所示。


  中国期刊库(http://www.plusonespro.com),是一个专门从事期刊、论文发表的网站。
  本站提供如何发表论文,寻求论文发表代理,快速发表论文,发表论文格式指导等解决方案:省级论文发表/国家级论文发表/核心期刊论文发表//职称论文发表。


  【免责声明】本文仅代表作者本人观点,与论文发表,期刊发表_中国期刊库专业期刊论文发表网站无关。论文发表,期刊发表_中国期刊库专业期刊论文发表网站站对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。

 
QQ在线咨询
论文发表热线:
180-1501-6272
微信号咨询:
zgqkkcom
咨询电话:18015016272 投稿邮箱:zgqkk365#126.com(#换成@)
本站郑重声明:文章只代表作者观点, 并不意味着本站认同。所载文章、数据仅供参考,使用前请核实,风险自负。
部分作品系转载,版权归原作者或相应的机构  若某篇作品侵犯您的权利,请来信告知 
Copyright © 2002-2018 . 期刊库 版权所有

新葡萄京娱乐场官方网新葡萄京娱乐场官网