返回顶部

数据治理方案

1. 建设背景

 

      “十三五”期间,全国各大高校已基本完成各业务部门主要信息系统以及数据中台的建设,实现了业务流程数字化的阶段目标。随着智慧校园建设理念的不断深化发展,高校信息化对数据的需求已经不只是简单的用于异构系统间的共享交换,而是能够满足大量业务使用、数据分析、数据挖掘等数据的消费或服务场景,响应国家着力深化教育体制机制改革,加快教育治理体系和治理能力现代化建设政策,发挥数据的价值,基于大平台、数据质量梳理分析、大数据挖掘,实现学校精准化、智能化、精细化管理,将成为我校“十四五”期间的重要建设方向。

      随着高校数据资产管理体系的逐步完成,数据建设成果的资产化、规范化、可视化是高校信息化持续发展的一项重要目标,其中数据质量是核心,结合数据管理模式和工作流程,制定了一系列数据活动规范和数据管理制度。活动规范内容涵盖数据来源确认、数据质量保证、数据标准发布更新、数据共享发布、数据安全和隐私保护等全工作流程;管理制度体系明确了数据从定义、生产、存储、复制、转换、调用、变更、存档直至销毁的全生命周期过程中,各部门各岗位应该如何操作、管理、协调,做到有法可依、有章可循、责权明晰,保障数据的集合完整、信息安全、质量合规,从而使数据治理的成效能够不断持续和改进。

     当前各高校的数据资产尚未发挥完全价值,存在的主要问题在于:

      数据资产质量参差不齐:由于学校的信息化组成情况复杂、异构现象突出、业务开展水平参差不齐,导致数据采集阶段会遇到数据源头、实施过程、运维过程的各种问题,最后采集的数据完整性就有不足;另外高校的业务生态和异构系统现状导致很难从业务源头开始执行校标,这对采集过程中的数据对标、转换也提出了较高的业务和技术要求。即使标准严格施行,最后还可能因为业务管理水平的原因(业务规范性不足,业务信息化开展不足),产生很多低质量的数据甚至不生产数据

      定义与衡量学校发展的核心指标体系缺乏。学校的现状与发展情况可以通过各类定性或量化的核心指标去体现,而这些指标也是各级管理人员非常关心并且想要实时了解的。当前,这些状态指标分散在各业务部门,没有经过系统的梳理形成校级核心指标体系库,难以立体化、全面化地支撑我校管理者决策。

 

2. 政策驱动

 

      2015年8月5日,国务院正式发布《促进大数据发展的行动纲要》,明确提出建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制,实现基于数据的科学决策。

     2016年6月7日,教育部发布教技【2016】2号《教育信息化”十三五”规划》文件,六处提到用大数据、云计算等技术创新管理模式。

     2016年12月18日,工信部规[2016]412号《大数据产业发展规划(2016-2020年)》。落地实施国家大数据战略,将教育行业作为大数据落地实施的重点行业之一。

      2017年12月8日,习主席主持中央政治局第二次集中学习实施国家大数据战略,明确提出大数据是信息化发展的新阶段,重点推进教育等行业的大数据普及应用工作。

       2019年2月,中共中央、国务院印发了《中国教育现代化 2035》,从战略角度提出要“加快信息化时代教育变革”,要“建设智能化校园,统筹建设一体化智能化教学、管理与服务平台。

       2021年3月,教育部印发《高等学校数字校园建设规范(试行)》,鼓励有条件的高校充分利用云计算、大数据、物联网、移动互联网、人工智能等技术进行数字校园建设各方面智慧应用。

 

3. 建设目标

 

      通过本次项目建设旨在:基于学校已有信息化建设成果与历史数据资产,构建本校数据治理体系,设计配套数据管理组织结构、制定数据治理流程、对智慧校园各类数据进行梳理、采集、清洗、标准化规范存储及应用、对学校数据资产进行可视化的全生命周期管理,并提供包括数据质量检测、跟踪处理、数据质量分析报告在内的数据质量全程管理服务,实现对信息化基建的充分利用、对数据的充分价值挖掘,提供面向业务部门的各类业务分析主题分析、构建符合学校决策部门的数据分析驾驶舱。其建设过程,就是学校内部管理体系的自我梳理与优化的过程,通过自顶向下的设计思路以及自下而上、上下互通的建设思路,构建数据可视、风险可控、业务可管、流程可优的新型学校治理机制。同时全面、直观、可视化展现学校现状,为未来发展提高量化决策辅助。

      具体建设目标如下:

  • 通过深入调研,梳理学校各业务部门的核心业务,整理出能反映学校整体运行状态的核心指标体系库。

  • 对学校数据资源情况进行全面盘点,然后根据学校实际情况,制定多样化数据采集的实施方案并落地执行。首先把学校具备采集条件的数据尽量的采集进资产库,并在这个过程中完成校级数据资产内容的对标、采集、转换(初步清洗)或特定编码工作

  • 在已建成数据资产的基础上,针对具体的应用数据、消费数据的场景,分析数据的内部质量的不足,形成由场景驱动的数据质量要求,进一步进行具体数据质量的检测和问题处理;

  • 建设统一的大数据可视化平台,接入学校已有的海量数据,提供数据资产的规划、管理、运营、持续迭代的能力,使数据资产的建设形成良性循环;提供数据生产和数据消费环节的构造机制,拓展、促进数据生产和使用环节,提高数据生产效率和使用价值,运用大数据技术进行分布式存储和融合计算,构建算法模型。打通上下数据链路,实现复杂指标的在线构建与管理。最后把计算的指标结果通过大数据可视化分析系统进行展示,从而把学校所有的信息变成可视化的资产,使传统的校园进行数字孪生化。

  • 基于大数据可视化平台构建包含学情、人资、校情决策分析的领导驾驶舱,把核心指标分类组合,形象化、直观化、具体化的展现给校领导。把原来传统的汇报内容直接用可视化的方式展现出来,提高决策的实时性和准确性,真正做到了然于心,谋定而动。

  • 通过对指标的构建,反向推动底层数据到上层展现的通道打通,实现底层数据实时产生,上层指标动态变化。

  • 通过对指标的梳理、数据的采集、计算加工、展示等过程,反向校验数据质量,提升学校信息标准治理的进程,为智慧校园建设夯实地基。为数据驱动学校业务变革提供技术赋能。

  •  

4. 建设内容

 

数据治理及质量分析服务

      围绕高校数据资产治理目标以及可视化分析主题的数据需求,进行各项数据进行全面的治理,包括两个方向:(数据资产)内部治理和数据质量外部牵引。

      数据资产的内部治理,是指在数据资产建设的基础上,通过数据资产管理平台对数据建设的过程管控能力和数据处理能力,实现数据采集过程的标准化、采集完整性、按规则转换和清洗(事中数据处理),实现已采集数据的合规性检查(事后发现问题)。因为这是数据资产管理平台能够提供的数据治理能力,所以叫做“内部治理”。

      数据治理范围主要包括:学工、人事、教务、科研、研究生、后勤、办公OA等业务系统生产的业务数据。

为完成数据治理内容,配套的数据治理服务包括:

信息需求调研和数据资源盘点摸底服务

      专人负责对各个业务部门不同业务域、逐项按照指标进行实地调研。获取各业务系统的使用现状及其中数据提供情况;盘点校内的各项数据资源情况,包含各项业务系统、数据库的情况、数据管理部门和责任人/接口人、技术属性信息、数据使用(数据源精确到来源表、字段)和质量概况、离线电子数据的情况、历史数据保存情况、量化数据分析目标的数据支撑度等情况。

数据资产日常治理及服务

       对已采集的数据资产进行日常治理和相关服务,包括以下几个方面:

       针对库表一致性检测问题情况进行处理,保证元数据一致性;

      根据学校运行情况进行下数据采集、数据校核等工作;根据学校实际业务需求进行数据共享交换工作;核心业务点数据的传输保障工作。

      根据学校业务场景需求制定数据项的合规性检测模型、配置检查规则,自动化检测并输出检测报告,定期评估数据质量。针对检测出的问题数据,能够提供自动化处理手段的,通过自动化手段进行处理;因业务场景只能人工处理的,通知数据相关责任单位进行处理。

 数据质量管理和治理体系建设

        提供数据管理和治理的规范文档模板,帮助学校形成正式的管理办法。其中包括相应的组织架构和资源保障、各方职责、管理流程、标准规范等,推进数据资产统一管理及质量提升工作。

项目过程管理服务

       在整个“数据资产建设和治理项目”的实施过程中,进行项目管理工作。包括但不限于制定实施方案、工作计划、进度监控、定期工作总结和工作成果汇报等内容,同时配合学校在关键组织会议时,参与探讨项目实施情况及数据建设和质量治理工作。

 

5、大数据可视化分析平台

 

       大数据可视化分析平台是一款应用搜索引擎技术、使用自然语言交互的敏捷大数据平台,平台基于微服务框架,分布式数据架构,分布式缓存,分布式开发框架,提供私有项目部署的一整套方案。平台由数据仓库子系统、数据可视化分析子系统及可视化资产管理子系统三部分组成, 可与学校主数据平台完美无缝对接。同时,平台具有强大的数据分析能力、灵活的组件扩展能力、丰富的数据处理手段、流畅的用户体验、一体化商业智能、自助式探索分析以及全平台数据展示能力等产品特色,能够快速帮助用户挖掘海量数据中的蛛丝马迹,发挥数据支撑决策的应有价值。

 智能数据接入

     大数据平台内置ETL工具,可以把校内各类型的软件系统、硬件设备、互联网数据等多类型数据进行采集,平台支持多种数据源的接入包括主流的关系型数据库、大数据库、文本、API接口、日志等非结构化的数据。并提供可视化的数据采集监控管理。

智能数据清洗与计算

      针对数据接入后的数据清洗,平台提供灵活的清洗组件,可以轻松应对常见的或者代码级复杂的数据处理场景,支持对HDFS、Hive、Spark数据库的接入清洗。通过构建清洗流水线的方式进行管理。

分析图表

       大数据分析平台支持丰富的分析图表类型,并支持以组件化的方式,以很小的开发代价订制特殊的分析图表 。

数字驾驶舱应用建设

         智慧校园IOC数据可视化运营中心通过对学校的相关数据包括覆盖基础设施、资产、教师、学生、专业、教务教学、科研成果、智能物联等数据进行全量或者增量的采集,运用大数据技术进行分布式存储和融合计算,并使用数据挖掘技术构建算法模型。最后把计算的结构通过大数据可视化平台进行数据展示,目的是为了把学校所有的信息变成可视化的资产,使传统的校园进行数字孪生化。帮助校领导和管理者提升数据洞察感知能力,从而改善学校的管理和业务。

领导数字驾驶舱应用建设

      学校各级领导可以通过手机随时随地查看学校各业务数据的实时状态。做到随时可查数、随时可溯源。移动端可以和学校各类移动APP、企业微信、钉钉进行对接。