工业数据中台功能有哪些?
大数据中台是数据仓库技术与分布式数据库技术相结合的产物,在数据仓库和分布式数据库基础上,充分利用大数据技术手段,从海量数据中提取出有价值的信息,并将这些信息进行处理、建模和分析,为企业提供快速的决策支持和数据分析服务。作为大数据应用的一种模式,大数据中台是将信息技术应用到企业传统管理和运营系统中而构建的企业 IT基础设施。因此,大数据中台可以看做是对原有 IT系统架构的重构。
大数据中台的主要目的是为企业提供数据共享能力,解决数据孤岛问题,消除数据孤岛,形成大数据生态体系。大数据中台可以在不改变原有系统架构的前提下,将海量数据集中到一起,并在此基础上进行统一存储、统一分析和统一展现,从而为企业提供一站式服务。大数据中台的出现改变了传统 IT架构中不同应用系统之间无法实现数据共享的情况,降低了企业对不同 IT基础设施的投入,使企业可以专注于自身核心业务的发展。同时,大数据中台可以与企业现有信息系统进行整合,并且能够向上层应用系统提供数据支持服务。
工业大数据中台以大数据为基础,将大量分散的数据采集、存储、处理、分析等能力整合,并为企业提供一体化的数据解决方案,形成面向多领域、多场景的新型应用模式。工业大数据中台以“应用”为核心,打破过去系统的边界,打通“数据孤岛”,消除系统之间的“信息壁垒”,通过数据模型和算法来驱动业务创新。在业务中台构建了面向不同需求的应用组件服务能力,并提供多种个性化的解决方案组合。工业大数据中台具备很强的扩展性和功能集成性,能够以灵活、易用、可扩展、低成本的方式满足用户对海量数据的处理和分析需求。
功能如下:
1、数据集成
数据库管理 — 管理用户添加的数据源,支持 MYSQL/ORACLE/SQLSERVER/POSTGRESQL/GREENPLUM/MARIADB/DB2/DM/OSCAR/KINGBASE8/OSCAR/GBASE8A/HIVE/SQLITE3/SYBASE/DORIS,支持库表查询,测试连接等
文件管理 — 管理用户上传的文件数据
数据接入 — 接入外部数据源的数据到中台 ODS 层,也可自定义接入目的端数据源,支持一次性全量同步和周期性增量同步;可自定义表名,字段名的映射规则,支持正则表达式匹配;支持查看执行记录及详细执行结果,可查看同步的数据量,数据大小,成功表数量,失败表数量,成功信息,失败信息,也可查看具体每张表同步的数据量,数据大小,错误信息等,帮助用户全面掌握数据接入的执行情况
贴源数据 — 查看接入到ods层的数据表和数据,可查看每张表的同步记录
2、数据开发
数据生产 — 对数据进行作业代码化编辑,自行 DDL 建模,运行,调试等
调度中心
调度管理 — 对生产作业进行流程编辑,可视化调度
调度记录 — 查看调度结果,日志等
运维中心 — 对作业执行运维管理
3、资源中心
Flink 集群实例 — 管理 FLink 资源
Hadoop 集群配置 — 管理 Hadoop 资源
配置中心 — 管理 FlinkSql 执行配置
数据服务
API 目录 — 用户自定义 API 目录,动态生成 API,对外提供服务
API 权限 — 对私有 API 进行授权操作
API 日志 — 查看 API 调用日志
4、数据治理
元数据
元模型 — 描述元数据的元数据,主要定义了元数据的属性,通常元模型都是系统内置的,如表元模型,字段元模型等
元数据采集 — 根据定义的元模型对元数据进行采集,通常是每一种元模型有自己内置的采集逻辑,可以设置采集周期等
元数据管理 — 对采集的元数据进行查看和管理
数据血缘 — 通过数据接入,数据生产流程之间的关系自动构建数据血缘关系图,追溯数据流向,目前通过neo4j查看血缘
数据标准
数据质量
5、数据资产
资源管理 — 自定义资源目录,在每个目录下自定义资源,挂在数据库,api等
资产总览 — 对中台资源做一个总的统计概览(开发中)
6、数据集市
资源目录 — 中台资源目录以及目录下资源的查看,可对资源进行申请操作
我的应用 - 用于申请 API 时授权,调用 API 获取 token
我的申请 — 可以查看自己的申请记录,审批结果
服务审批 — 管理员对其他角色的申请做出审批,若审批通过,申请人便可以收到审批通过的消息,使用自己申请的服务资源
7、全局管理
数据项目管理 — 中台项目的管理,每个项目下可以关联用户,用户只能查看自己关联的项目下的数据,所有的模块数据都会有所属项目,项目可以自行设置数仓类型(开源版本不支持切换数仓)
数仓分层展示 — 对中台数仓的分成做展示说明
应用管理
8、消息管理
短信平台 — 集成短信平台,支持阿里,腾讯等常用的短信平台
短信日志 — 调用短信所产生的日志
9、日志管理
登录日志 — 系统登录产生的日志
10、系统管理
用户管理 — 对系统用户进行管理
菜单管理 — 对系统菜单进行管理,用于实现动态菜单
定时任务 — 可自定义定时任务,调度执行
数据字典 — 系统的字典数据
机构管理 — 机构数据,若各模块中的数据有所属机构概念,可用于数据权限管理
岗位管理 — 岗位的管理
角色管理 — 角色管理,可以为每个角色自定义菜单查看权限以及机构级的数据权限
附件管理 — 系统附件管理,可以上传下载