高校数据质量不高的现象一直存在。虽然目前数据应用的项目非常多,但真正取得预期效果的项目少之又少,而且开发过程困难重重,其中的一个重要原因就是数据质量问题导致许多预期需求无法实现。
数据治理是一个有效提升数据质量的行动。数据治理的范畴更广,所以人们认为它是“一个系统的、大型的、长期的工程”。目前高校在数据治理方面还没有开始真正意义上的实践,究其原因,一方面高校还没有把数据治理的重要性提升到战略高度,另一方面没有将数据治理单独作为课题研究,没有形成系统的实施方法论。 观点 数据服务中涉及到的数据质量问题,目前主要存在哪些问题?有哪些解决方案?
陆以勤
众所周知,大数据并不等同于“大量数据”,对大数据进行有效分析的前提是必须要保证数据的质量, 数据的质量决定了数据的可用性和易用性,大量不可用的数据垃圾不仅提炼不出有价值的分析结果,还占用了数据存储资源。
一般面向大数据分析的数据质量可以体现在数据的完整性、真实性、精确度、一致性、时效性、容量、面向大规模分析的存储方式等。由于大数据的来源复杂、数据量大、产生速度快、处理过程多样等,目前对大数据分析的可用性而言质量普遍存在问题。
为了保证数据的质量,在数据的整个生命过程要统一规划、有效采集、合理存储。首先要制定统一的数据标准,对于采集的新数据,应采用新的标准进行采集、清洗和转换,对于现存的数据,要进行一致性校验、清洗、信息补充等,未来保证数据时效性,要保证数据采集、传输过程的时效性,另外,目前很多大数据采用普通云架构的存储方式,这种存储方式是面向应用程序运行的,对于数据分析,应该采取分布式的存储方式,以便采取分布式的算法提供分析效率。
宓詠
数据质量的完善很难一蹴而就,有一个逐步完善的过程,需要改变数据属性的观念,逐步从“我的数据”到“部门的数据”再到“学校的数据”,把数据从“私有”变为“公有”,共同来维护数据质量;
需要完善管理机制和数据标准,科学规划,重构数据基础,以“面向对象”方式有机组织教学、科研、财务、人事、生活等各类数据资源;
关注数据生命周期的四个要素:从哪来?怎么来?到哪去?如何用?技术手段上下功夫,降低数据收集的成本、尽量能自动从系统中定时获取数据;
数据管理后端和前端服务分离,实现“松耦合”化:数据的交换、保管等过程,由信息化部门统一操作,数据产生(收集)和校验由用户与二级单位共同承担;
由于每个人对自己的数据是最清楚的,可以通过向用户个人开放属于其本人数据的方式,形成倒逼机制来督促业务部门修正错误数据、改善数据质量。
陈云
数据质量管理,是指对数据采集、存储、共享、维护、应用、消亡生命周期中可能引发的各类数据质量问题,进行识别、度量、监控、整改等一系列管理活动,保证数据质量不断提高。因此从系统建设阶段到运维阶段都涉及到数据质量的管理工作,建立数据从采集、处理到维护的全过程监控体系,确保数据的完整性、有效性、准确性、惟一性、一致性。