数字政府智慧政务大数据治理平台及大数据能力平台建设方案WORD
原文《数字政府智慧政务大数据治理平台及大数据能力平台建设方案》WORD格式,主要内容为数字政府大数据治理平台及大数据能力平台。
更多参考一、大数据治理平台
大数据治理工作从数据汇聚开始,到最终服务业务,主要包括以下几个阶段:
第一阶段:数据汇聚,融合管理
从政务办公网、感知网、社会协同单位收集各类数据,形成大数据中心的数据基础,并对汇集的原始数据开展基于数据管理和业务视角的治理及应用工作。
基于数据管理视角,对业务元数据、技术元数据进行集中采集和管理,从站位全局服务XX市大数据创新应用的角度梳理大数据资产,构建数据资源目录和数据资产管理应用,达到数据资源的规范化和可视化;汇聚后的原始数据仍处于零散、不可直接使用的状态,为数据使用者提供一站式的集成开发环境,从而满足数据资源平台下,数据开发者进行ETL开发、数据挖掘算法开发、数据主题库建设等需求;对数据融合处理的全过程通过质量管理工具进行管理监测,保障数据质量;因政府数据的机密性、高敏感性等特点,需对数据资源层中各数据项进行安全上的分类分级,确保数据使用合理、安全可控。
基于业务应用视角,对汇聚的基础数据开展模型治理,通过数据清洗加工、基于业务背景及要求的处理加工、以及面向应用专题场景的开发,依次构建整合数据资源层、主题数据资源层、应用数据资源层,形成指标口径一致、统存统用的大数据资源层。
第二阶段:基于数据,提炼抽象信息,形成知识
因大数据涉及的来源广泛、数据采集背景及方法多样甚至特殊、复杂,导致因不同的汇集场景等因素,各个实体对象往往存在多个ID,需要对ID间关系做计算,通过IDMapping,建立ID和实体人/物间的关系,从而串联起实体人/物的属性/行为信息。
基于业务需求引导和对数据资源信息的价值梳理,对数据进行进一步提炼加工和算法计算,将数据标签化,构建基础库,支撑专题应用库建设,并通过标签中心产品对用户及开发者开放。
第三阶段:构建应用,服务业务
按照业务场景需求,将基础库、主题库和专题库等进一步组合利用,可构建起各类业务创新应用,如监控大屏、全息画像、预警中心等应用。通过数据服务平台,可以把数据和标签在线服务化提供给开发者和用户。数据治理流程
标准录入
数据治理平台会包含部分5大库数据标准,行标、部门标准等需由实施人员从客户处采集后录入系统同步数据结构
由于数据治理过程需采集数据元并标准化,故需先将生产库需桥接库表的数据结构录入前置库元数据采集
将数据结构采集入数据治理平台标准化
实施人员为采集来的元数据挂接数据标准,标准化其元数据格式属性、值域等落标及数据桥接
部门管理员根据标准化的字段属性,将生产库数据桥接到前置库质检及整改
中心管理员对前置库数据进行质量检查及整改数据集成
中心管理员将质检后数据集成到治理库逻辑质检
中心管理员对治理库的数据根据业务需求进行逻辑层质量检查资源挂载
部门管理人员对已完成数据治理的治理库数据进行资源挂载治理过程产出
通过数据治理工作后,形成的数据治理成果物。
大数据能力平台总体建设
本项目建设数据智能管理平台适用于分析型系统数据处理的各个过程,负责数据的加工处理以及加工处理过程数据标准、元数据和数据质量的管理。平台可以提供数据输入、数据加工、数据输出和贯穿数据处理各个过程的全流程、全生命周期的数据处理、数据治理和数据管控的一体化建设。建设方案架构
数据治理平台覆盖了从标准、设计、采集、开发到使用,再到交付的全数据治理流程,为组织提供了一站式数据治理运营平台,可满足数据共享交换、数据开发、数据运营多种应用场景,并通过构建数据工厂,实现数据治理的标准化、流程化与组件化。
平台功能架构
数据治理开发流程
数据标准管理
数据标准规范了业务术语,元数据,参考数据,基础数据,指标数据的规范定义、获取原则、管理要求等。 包括设计基础类和分析类数据标准,制定数据标准管理制度和流程,明确数据标准管理组织和职责,以明确的组织、职责、流程设计为前提,调动业务部门、技术部门和系统技术团队共同参与数据标准设计,建立全局数据标准流程,制定总体落地计划,推动数据标准落地执行,增强内部对数据标准的理解,指导信息化建设中对数据标准的参照。数据标准管理规范
数据标准管理体系主要包含数据标准管理、落地实施机制、及数据标准管理平台维护三部分。
平台通过对数据标准管理、落地实施机制、及数据标准管理平台维护三部分进行数据资源管理,制定数据标准管理制度和流程,明确数据标准管理组织和职责,以明确的组织、职责、流程设计。落地实施机制从规范推广、技术平台支撑两方面保障;数据标准平台维护主要包括建设数据标准技术平台,支撑数据标准日常管理工作两方面。数据标准管理机制设计
设计基础类和分析类数据标准,制定数据标准管理制度和流程,明确数据标准管理组织和职责,以明确的组织、职责、流程设计为前提,调动业务部门、技术部门和系统技术团队共同参与数据标准设计,建立企业级数据标准流程,制定总体落地计划,推动数据标准落地执行,增强对数据标准的理解,指导信息化建设中对数据标准的参照。数据标准分类规范
数据标准是对数据的名称、含义、结构、取值等信息的统一定义,达成对数据的业务理解、技术实现的一致性。
基于数据模型理论将数据标准延伸至5个分类,涵盖技术、业务多个视角。
业务术语:从一致性、通用性等方面统一业务术语定义。
数据项标准:用来描述实体的某种属性,包含数据项的名称、编号、别名、简述、数据项的长度、类型、数据项的取值范围。
参考数据标准:识别参考数据,并建立参考数据的统一标准样例,使参考数据可在不同系统中被使用而保持统一标准值。
主数据标准:主数据编码是应用系统中的重要数据类型之一,通常用来描述业务操作的具体对象及其特征,注重唯一性,特征一致性,稳定性及有效性。
唯一性:在一个系统,一个平台甚至整个范围内同一主数据编码要求具有唯一的识别标志(代码,名称,特征描述等),用以明确区分业务对象,业务范围和业务的具体细节
特征一致性:主数据在不同系统中,均按统一标准出现
稳定性:主数据相对稳定,本身属性不会随交易过程而被修改
有效性:贯穿该业务对象的全生命周期过程,只要该业务对象存在,则此数据不会丧失有效性
指标数据标准:需要收集指标的管理信息、业务定义、以及维度定义,需要兼顾通用性和个性化,个性化方面支持各使用部门个性化定制数据标准设计规范
以分析型应用建设和操作型应用集成为导向,两套方法结合,建立数据标准设计体系
分析型应用建设导向:以分析应用指标范围为依据,重点结合业务战略及管理要求,自上而下追溯数据源,聚焦数据标准范围。
操作型应用集成导向:自上而下的原则,基于实际业务流程及操作,重点识别跨业务、跨流程的集成点及关键步骤,分析提炼共享数据,完成业务流程和应用共享的数据映射,删除冗余、非重点数据,精简数据标准建设范围。平台建设内容范围
在现有平台基础上,按照项目建设目标,完善整个XX市大数据平台能力与功能建设,让平台可以支撑整个XX市大数据管理与应用。具体建设内容包括:建设数据治理平台
建设大数据治理子平台,提供数据标准管理、元数据管理、数据质量管理能力,实现对数据的规范治理与管理;提供数据工厂能力,实现对归集的数据进行清洗、加工,支撑业务的数据应用需求。建设AI能力平台
建设市级公共人工智能平台,提供包含机器视觉、语音识别、自然语言处理等基础模型为主的通用AI引擎以及满足城市交通、路政治理、城市安全、市场监管、智慧旅游、智慧农业等智能场景应用所需的算法库,结合机器学习算法、深度学习算法、多维分析,在海量数据中计算、分析和建模来挖掘出数据价值,输出统一的公共算法服务能力,统筹匹配各部门聚焦的业务需求,更高效的从数据中获取应用价值。建设GIS基础平台
建设数据地理信息服务平台,依托市级空间地理底图和各类图层信息台,建立统一的地名地址标准和数据库,叠加"一标多实"各类要素数据,实现各类地理数据资源的有序关联,完善地图更新和转换联动机制,支撑全市各部门对地图的统一服务需求。建设数据可视化平台
建设数据可视平台,提供基于拖拽的强大格式定义、可视化报表与图形化定义能力,支持用户非常方便控制报表中内容的精确布局,也可以很方便地制作各种不同维度的报表内容,并将包括表格、地图分布、文本内容等有用、关键的信息集成在各种看板设备上(PC、Pad、手机、大屏等)。建设安全管理平台
在数据安全保障的大环境下,建设数据安全管理平台支撑提升全市数据资源在数据加密、脱敏、分级分类、防泄漏、安全审计分析和权限管理等数据安全防护能力。
在大数据能力平台的建设实施阶段,要同步实施密码应用的实施,配合大数据能力平台的应用完成其密钥应用实施,最终达到实际的密钥安全应用需求,为大数据能力平台提供底层安全保障,并达到符合密钥应用安全性测评要求。建设统一运维平台
建设统一运维管理平台,提供统一监控运维功能,保证整个XX市大数据能力平台的稳定与高效运行,并提升数据资源全生命周期的保障执行力和运维效率。建设可视化指挥大屏
建设可视化指挥大屏,基于全市公共数据归集基础,以XX市高质量发展实际需求为驱动,通过多源数据融合和多维全景分析,通过全局态势可视,监测预警洞察能力,辅助提升城市发展科学决策水平。平台总体功能架构
XX市大数据能力平台的总体架构由支撑体系(标准规范支撑体系、管理运行维护支撑体系、安全支撑体系)、网络系统、信息资源平台软硬件系统环境、平台应用系统(数据支撑底座、数据交换平台、数据整理治理平台、数据目录管理系统、AI能力平台、GIS基础能力平台、可视化能力平台、数据资源共享门户、数据安全管理平台、统一运维管理平台、可视化运营指挥大屏),以及数据资源中心(数据湖、基础库、主题库、部门数据库、乡镇数据库、乡村振兴数据库)组成。具体,整个XX市大数据能力平台的功能架构如下:
平台各部分架构关系
上海龙腾输给深圳大学,陈梦靠排兵布阵侥幸赢球?深圳大学30横扫替补阵容出战的上海龙腾,拿到了开赛以来的第二场胜利,因为对方在排兵布阵上的保守,让一场精彩的比赛少了不少光彩。但无论任何时候,陈梦总是会被架在火上烤的那一位,笔者在
云南有哪些超出常人想象的神秘事件?迷人湖听命在云南怒江高黎贡山有一个神话般的湖泊,人们叫它听命湖,意思是能听懂人的命令,也有人称它为迷人湖。人们靠近湖泊只能轻声细语地说话,如果大声说话,顷刻之间,风云变幻,大雨瓢泼
木阵巨石阵鲜为人知的邻居木陈是位于今英格兰威尔特郡的一座新石器时代建筑,由六个同心圆的木材环组成,可追溯到公元前2500年左右。这个神秘的遗址位于法戈路旁的埃姆斯伯里以北,距巨石阵仅两英里。坐标为51。1
生活有苦乐人生有起落人生无完美,曲折亦风景,想通就是完美趁年轻,走自己想走的路。学会低调,取舍间,必有得失。做自己的决定,然后准备好承担后果。慎言,独立,学会妥协的同时,也要坚持自己的底线。明白付出并不一定有结果。过去的事情可以不忘记,
宠爱张国荣20年,为他终生不娶的男人唐鹤德,依旧和小鲜肉传绯闻文娱析编辑娱析前言2003年4月1日,巨星张国荣从香港文华东方酒店24楼一跃而下,当场身亡。七天之后,面容潦倒消瘦憔悴的唐鹤德在旁人的搀扶下出现在葬礼现场。任谁也瞧不出来,这竟是原
豪取乒超8连胜!国乒25岁王牌让刘国梁欣喜,马龙许昕甘拜下风现在乒超联赛俱乐部之间的团体赛正在进行当中,很多球迷都期待这次乒超联赛当中能有小将打入国家队,和樊振东一起扛起国家队的大旗,毕竟现在男乒的断层让球迷们很担心。原本大家都会以为国乒没
如何将一百万人送上月球火星要将100万人送上月球火星,首要解决的问题不是火箭宇宙飞船等技术。重中之重的问题是能源问题,个人认为,这个问题将会在10年左右解决,10年后,人类将具备将100万人送上月球火星。我
我国成功发射高光谱综合观测卫星12月9日2时31分,我国在太原卫星发射中心用长征二号丁型运载火箭成功发射高光谱综合观测卫星。该星是高分专项天基系统的重要组成部分,是实现高分专项高光谱观测能力的重要标志,将进一步
北交所拟进一步优化上市委重组委委员结构,建立专职化委员队伍12月9日,北交所发布通知,为保障北京证券交易所上市委员会和并购重组委员会规范廉洁高效运行,提高上市委和重组委的工作质量与透明度,北交所修订了北京证券交易所上市委员会和并购重组委员
看!嬉戏在漓江面上的小鸟当你走在漓江边,不时会看到一些珍稀保护的水鸟,如国家二级保护动物白鹭国家三有保护动物(即有益的有重要经济价值有科学研究价值的陆生野生动物)小鸊鷉和白骨顶鸡等在水面上游弋捕食。这些可
秦始皇比我们想象中的还厉害,为什么这么说?头号有新人嬴政,即秦始皇,秦昭襄王与赵姬之子,他是中国现代良好的政治家计谋家改造家,初次完成中国大一统的政治人物,也是中国第一个称天子的君主。自前230年至前221年,前后灭韩赵魏