迪威现场牛牛

 首页 >> 图书情报学
大数据质量测度模型构建
2018年08月10日 10:43 来源:情报理论与实践 作者:莫祖英 字号

迪威现场牛牛 www.fkxrp.cn 内容摘要:文章将大数据质量分为原始质量、过程质量和结果质量,并根据不同的数据处理阶段分析其质量测度指标,通过专家打分计算各指标的权重值,从而构建大数据质量的测度模型。研究发现,大数据结果质量的重要性程度明显高于原始质量和过程质量,说明大数据质量的重点在于面向应用的结果质量上,而结果质量的形成离不开原始质量和过程质量的保障。大数据质量测度是实施大数据质量管理与控制的重要基础。

关键词:

作者简介:

  所谓大数据,是指由移动计算、社交网络、传感器和监控设备等信息源产生,主要包括用户多媒体服务数据、服务系统监控与管理数据、用户行为数据、服务市场环境和客户关系数据等。大数据的来源复杂性和类型多样性造成其价值密度低、提取难度大等特点,同时也给大数据质量管理带来了困扰。大数据应用强调对总体数据的处理与分析、关注事物之间的相关关系以及对发展趋势的分析预测,这就要求大数据在准确性、时效性、完整性、真实性等质量方面具有一定的保障。而大数据的规模性、高速性和数据来源及形式上的多样性,使数据更可能产生不一致和冲突,这些都会导致大数据质量问题,因此在利用大数据进行分析时,需要对大数据质量进行评价,并实施一定的质量管理措施来保障大数据应用。

  

  1 大数据质量

  

  根据已有的对“大数据”概念的界定,发现“大数据”区别于传统数据的本质特征是其数据规模已超出常规软件的处理能力,只有采用新的处理技术、平台等才能实现数据分析与预测的数据集合。大数据通常是由网站、传感器、系统等设备自动生成,故具有真实性特征。根据Juran提出的“质量即适合于使用”这一观点,大数据质量可以理解为“大数据中适合于进行数据分析、处理、预测等使用过程并满足用户需求的特征”。大数据处理流程主要包括数据收集、数据预处理、数据存储、数据分析与挖掘、数据展示(可视化过程)、大数据应用等环节[1],数据质量贯穿于整个大数据流程,故可将大数据质量分为原始质量、过程质量和结果质量。

  

  1)原始质量。大数据原始质量是指数据采集过程中采集到的原始大数据的质量,包括数据的真实性、完整性、一致性、准确性、时效性、安全性等。大数据通常由系统、传感器、网站等设备自动生成,它真实记录了数据对象的变化状态及其运行方式,体现了原始大数据的真实性特征,包括数据的可信性、真伪性、来源和信誉、有效性和可审计性等方面,同时要防止一些恶意攻击性的“数据污染”。在完整性方面,包括时间上的完整性、数据值的完整性等;在一致性方面,包括同构或异构来源数据的一致性、格式一致性、编码一致性等[2];在时效性方面,则是时间越近的原始大数据,其分析与预测的结果越准确。由于大数据多是由机器、系统、网站等自动采集或存储的,其产生速度快、流通快,时间上呈现连续性特征,使原始大数据具有更强的时效性。

  

  2)过程质量。大数据过程质量指经过数据预处理、数据存储等环节后的大数据质量,它为大数据分析与挖掘提供准备,其质量高低直接关系到大数据分析结果的价值。过程质量主要体现在大数据的安全性、可用性等方面。安全性质量包括数据来源的安全性、数据存取的安全性、权限管理、访问控制等,以保障大数据的真实性??捎眯灾柿渴侵妇杉?、预处理并进行存储的过程大数据可用于大数据分析、预测而获取有价值信息的属性,它是实现大数据价值的必要条件。

  

  3)结果质量。大数据结果质量指经过数据分析与挖掘、数据展示后产生的最终结果的质量,包括分析结果的价值性、直观性、时效性、准确性、适用性等,且与用户的需求和感知密切相关。不同质量属性之间也是相互关联的,如大数据分析结果的价值性离不开其准确性、时效性、适用性等质量特征,而价值性、适用性等特征又因用户需求而异,直观性、时效性和准确性则具有相对独立性。

  

  总之,大数据质量与大数据的收集、处理、存储、分析、可视化等过程密切相关,而在不同的阶段其质量内涵不同,本文拟从原始质量、过程质量和结果质量3个方面来分析大数据质量测度的指标,并通过专家访谈与调研构建大数据质量测度模型,为实现大数据的质量评价与管理提供理论框架与指导。

作者简介

姓名:莫祖英 工作单位:

转载请注明来源:中国社会科学网 (责编:闫琪)
W020180116412817190956.jpg
用户昵称:  (您填写的昵称将出现在评论列表中)  匿名
 验证码 
所有评论仅代表网友意见
最新发表的评论0条,总共0 查看全部评论

QQ图片20180105134100.jpg
jrtt.jpg
wxgzh.jpg
777.jpg
内文页广告3(手机版).jpg
中国社会科学院概况|中国社会科学杂志社简介|关于我们|法律顾问|广告服务|网站声明|迪威现场牛牛
  • 陈晓陈妍希大婚中式婚纱美翻天 张歆艺刘诗诗Angelababy佟丽娅 女星凤冠霞帔谁最美 2019-05-25
  • 《大轰炸》亮相上影节 历时8年导演曾四处举债 2019-05-25
  • 候选案例:同心谷·赣商之家 2019-05-19
  • 端午小长假各大文化场馆火热迎客 文化游成市民游客假期“心头好” 2019-05-18
  • 对于不听话的人,中国有句古语形容,叫做“有爹生无娘教”。它是什么意思你懂吗?我家的孩子和后人,永远都得听包括我在内的前辈怎么教他们做人,因为他们之所以能为人,是 2019-05-18
  • 中方就中美经贸磋商发表声明 2019-05-10
  • 中年不发福!51岁景岗山紧身衣秀健硕身材 2019-05-10
  • 铜梁这位30岁小伙抱上吉他骑着摩托去北极过生! 2019-05-08
  • 【理上网来·喜迎十九大】这五年,生态文明建设从理念到实践取得四大成就 2019-05-08
  • 中央军委印发《传承红色基因实施纲要》 2019-05-06
  • 长期吃柠檬 防骨质疏松 2019-05-04
  • 凯恩率“三狮军团”艰难战胜突尼斯 2019-05-04
  • 【学习时刻学思践悟十九大④】人民大学马亮:“美丽中国”建设是总书记心系人民的体现 2019-04-29
  • 为了守护净土 1102位羌塘牧民千里迢迢南迁至拉萨 2019-04-29
  • 普京力挽狂澜,从北高加索平叛到格鲁吉亚兴兵,从克里米亚回归到叙利亚反恐,给了俄罗斯人民新生——这一切都是和中国同志的支持分不开的。 2019-04-23
  • 52| 473| 341| 962| 22| 414| 493| 744| 774| 505|