建立大屏可视化综合展示平台,构建各业务板块统一的大数据分析平台,构建数据驾驶舱与智慧调度平台。深入探索挖掘企业的客户信息数据,以“大数据”理念,创新业务模式,向用户提供数据分析增值服务。建立数据中心分析系统,贯穿业务全流程环节,设立标杆,落实计划执行,时刻跟踪决策效果,实现经营活动数字化、绩效指标可视化,为决策层提供数据决策依据。
需求分析1.1.2.重难点分析①数据来源广:元数据除了来自于已有的传统业务系统外,还包括设备日志、传感器、多源数据库等。这些源端数据、类型、结构完全不同,整合难度大。
②数据标准不统一,质量低:企业的信息化建设,或因顶层设计缺失,或因某些历史原因等,致使冗余数据过多,而有价值的数据存在于各个信息孤岛之间,碎片化的信息阻碍了决策层透视全局。
③LED大屏分辨率:随着LED大屏技术成熟化,才能够方便支持当下的大屏可视化的需求。才能够继续在视觉效果上面进行更加酷炫的设计。
1.1.3.重难点解决措施①优化数据收集:数据收集是最终导致业务决策的事件链中的第一步,确保收集的数据和业务感兴趣的指标的相关性非常重要。定义对企业有影响的数据类型,以及分析如何增加价值。基本上,考虑客户行为,以及这将对企业的业务有何适用性,然后使用此数据进行分析。
②建立完整的大数据治理体系,保证数据质量:对分散在各系统中的数据提供一套统一的数据命名、数据定义、数据类型、赋值规则等的定义基准,通过数据标准化可以防止数据的混乱使用,确保数据的正确性及质量,并可以优化商业模式,指导企业生产经营工作。
③采用标准尺寸、比例、小间距大屏构建显示屏系:优化大屏可视化展示效果,提高决策分析能力。
1.2.系统架构设计1.2.1.系统架构图大屏可视化综合展示系统采用B\S的架构,主要帮助用户快速分析数据并洞察业务趋势,从而实现业务的改进与优化。系统支持非常丰富的数据源连接,能够通过拖拉拽的方式快速制作图表,并可以方便展示在LED大屏等设备上。其系统架构图如下:
系统架构图
数据层面向在用户信息化建设过程中产生多种数据源(例如数据仓库、数据湖等),将这些数据需要经过(抽取、清洗、转换等)ETL处理和存储的过程,形成数据可视化所需的各类数据集。
数据集面向而数据管理员可以将的关系型数据库、非关系型数据库、大数据平台、excel表格、api数据源接入到系统中,进行集中配置和维护。可以通过直连的形式访问系统中维护的关系型数据库数据源,也可以利用Kettle组件在本地连接模式下抽取和转换来自各种类型数据源的数据,进行数据的清洗。同时利用Apache Doris提供实时数据分析能力数据,帮助我们数据管理员可以进行海量数据分析,获取企业级的所需数据集,数据集是可视化图形展示的数据的重要来源。
视图层,面向前端业务人员在数据集的基础上,通过拖拉拽的方式,利用折线图、饼图、柱状图、地图等图表制作其所想表达价值的各类视图组件。
仪表板层作为数据可视化展现层,通过可视化效果展示将各种数据视图形成面板,并在LED大屏、PC、移动端中进行展示。从而帮助我们的企业管理人员可以快速的进行决策分析等提供数据支撑。
同时系统为企业用户提供可靠的安全与集成方式,包括日志审计、单点登陆、嵌入式集成、RestApi等。以及管理方式包括用户管理、组织管理、角色管理、权限管理等。
1.2.2.关键技术大屏可视化综合展示系统使用Java语言为主进行开发,遵循 Web 2.0 规范,关键技术如下:
关键技术列表:
类型
技术栈
前端
基于 Vue.js 进行开发。
后端
基于 Spring Boot 进行开发, 大屏可视化综合展示系统的功能主体。
数据库
主要数据均存储在 MySQL。
数据查询
基于Kettle在直连接模式下抽取和转换来自数据源的数据。
数据分析
基于 Doris 提供实时数据分析能力。
1.3.系统功能设计1.3.1.功能清单列表大屏可视化综合展示系统功能分为数据源管理、数据集管理、视图管理、仪表板管理、系统管理等模块,其主要功能列表如下:
序号
一级功能
二级功能
描述
1
仪表板
仪表板管理
支持仪表板的新建、重命名、删除、复制、移动、搜索等;
2
支持仪表板分组的新建、重命名、删除、移动等;
3
支持以树状形式展示仪表板分组;
4
仪表板制作
支持在线编辑仪表板;
5
支持仪表板通过矩阵或悬浮模式进行布局,支持开启辅助设计网格协助布局设计;
6
支持仪表板中添加多种组件,例如:视图/时间组件/文本组件/数字组件/样式组件/图片/视频/ Tab 组件/ Web 组件/链接等;
7
支持动态设置日期组件的默认值等;
8
支持通过一个过滤组件,过滤多个视图(视图数据来自多个数据集);
9
支持组件样式设置,例如颜色、大小、标签、标题、图例等;
10
支持仪表板中视图的下钻;
11
支持仪表板中视图间的联动;
12
支持仪表板中各组件背景图片、背景颜色、背景透明度、组件内边距、边框半径、边框样式等设置;
13
支持仪表板跳转,例如跳转至系统内其他仪表板、外部链接。支持视图跳转外部链接时传递点击参数给第三方;
14
支持视图及组件设置超链接;
15
支持仪表板背景、组件间隙、刷新时间、展示数据量等设置;
16
支持一键切换仪表板主题;
17
支持仪表板导出为 PDF 文件及图片;
18
支持撤销、重做、清空画布内容;
19
支持仪表板的全屏预览;
20
支持仪表板的收藏;
21
支持默认仪表板的设置;
22
支持仪表板模板的导出;
23
支持仪表板模版保存;
24
仪表板共享
支持按组织/角色/用户分享,查阅分享记录等;
25
支持创建公共链接,外部用户可通过密码访问仪表板,同时分享链接支持设置过期时间;
26
支持公共链接接收第三方系统参数,过滤仪表板数据;
27
视图制作
支持通过简单的拖拉操作,制作视图;
28
支持多种图表类型,明细表/汇总表/透视表/指标卡/文本卡/基础柱状图/堆叠柱状图/横向柱状图/横向堆叠柱状图/基础折线图/
29
堆叠折线图/饼图/南丁格尔玫瑰图/漏斗图/雷达图/仪表盘/中国地图/气泡地图/散点图/气泡图/矩形树图/组合图/
30
水波图/瀑布图/词云图等;
31
支持对柱状图、折线图等有纵坐标的图表,设置纵坐标起始和结束值范围;
32
支持柱状图和折线图设置缩略轴和辅助线;
33
支持视图阈值设置;
34
支持视图数据集的切换;
35
支持视图数据集的编辑;
36
支持选择视图的样式优先级;
37
支持选择图表的排序方式,根据维度、指标升序、降序进行展示;
38
支持视图的下钻和上卷;
39
支持指标的多种汇总计算方式,例如求和、平均、最大值、最小值等;
40
支持指标的高级计算,例如同比、环比等;
41
支持对图表类型的图形属性进行设置;
42
支持对图表类型的组件样式进行设置;
43
支持通过过滤条件筛选视图数据;
44
支持导出视图图片及导出视图明细数据;
45
数据集
数据集管理
支持添加多种类型的数据集,数据库数据集/ SQL 数据集/ Excel 数据集/自定义数据集/关联数据集/ API 数据集;
46
支持 Excel 数据集数据的替换、追加;
47
支持数据集的添加、移动、重命名、删除、预览等;
48
数据库数据集和 SQL 数据集支持直连和定时同步两种连接方式;
49
定时同步类型数据集,支持全量更新和增量更新两种方式;
50
支持创建定时任务,以此控制数据集的更新;
51
支持定时更新任务的查看;
52
支持对数据集的字段类型/字段名/展示字段进行设置;
53
支持数据集的维度、指标间的互相切换;
54
支持自定义计算字段(内置常用计算函数支持);
55
支持创建数据集间的关联关系(左连接、右连接、内连接);
56
数据源
数据源管理
支持多种数据源,例如: MySQL / Oracle / SQL Server /等
57
支持数据源的新建、编辑、删除等;
58
支持数据源的高级设置,如最大连接数、最小连接数、连接超时时间等;
59
支持数据源有效性校验;
60
支持定时检测数据源的连接状态;
61
系统管理
用户管理
支持用户的新建、编辑、删除、修改密码、启用、禁用、搜索等;
62
支持给用户分配组织;
63
支持给用户分配角色;
64
角色管理
支持角色的新建、编辑、删除、搜索等;
65
组织管理
支持组织的新建、编辑、删除、搜索、排序、移动等;
66
权限管理
支持从组织、角色、用户维度(组织架构维度)进行使用、管理、授权等形式的权限控制;
67
支持从数据源、数据集、仪表板(资源维度)进行使用、管理、授权等形式的权限控制;
68
支持菜单和操作层面的权限控制;
69
支持数据集的行级权限控制、支持行级权限使用系统内置变量(用户 ID、用户名、组织、邮箱等);
70
支持数据集的列级权限控制;
71
LDAP设置
支持LDAP认证对接;
72
单点登录
支持单点登录系统对接;
73
集成与扩展
提供完善的API接口及文档;
74
模板管理
支持系统模板和用户模板;
75
支持模板的分类、导入、重命名、删除、搜索等;
76
消息管理
支持系统常见消息的通知;
77
支持消息的接收配置;
78
支持消息状态标记;
79
支持已读消息的删除;
80
任务管理
支持对平台定时任务进行全生命周期管理;
81
支持定时报告,可以定时以邮件形式发送仪表板报告。