2014年4月29日 星期二

欢迎访问湖北交投随岳高速!

你当前的位置:首页 >> 企业文化 >> 管理之窗 >>

浅谈分布式云计算技术处理亿级业务数据的使用策略

【发布人】Admin 【发布时间】2022/6/2 21:37:19 【点击次数】323 【双击滚动】

【摘要】:自高速公路“全国一张网”改革以来, 我国智能高速公路得到了快速发展,其在具体运行过程中会形成大量的业务数据,这也就我们常说的大数据,这些数据在智能高速公路具体运行过程中不断增长,原有的百万级、千万级的业务数据处理分析方法无法满足当下业务场景需求,本文将结合部分业务场景对分布式云计算技术处理亿级业务数据的使用策略及用于分析和操作大数据的工具、技术和方法做简要说明。


关键词:云计算;Hadoop;数据可视化


一、名词解释

(一)云计算

云计算(cloud computing)是分布式计算的一种,指的是通过网络“云”将巨大的数据计算处理程序分解成无数个小程序,然后,通过多部服务器组成的系统进行处理和分析这些小程序得到结果并返回给用户。云计算早期,简单地说,就是简单的分布式计算,解决任务分发,并进行计算结果的合并。因而,云计算又称为网格计算。通过这项技术,可以在很短的时间内(几秒钟)完成对数以万计的数据的处理,从而达到强大的网络服务。

(二) Hadoop

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop能够处理 PB 级数据。

(三)数据可视化

数据可视化,是关于数据视觉表现形式的科学技术研究。其中,这种数据的视觉表现形式被定义为,一种以某种概要形式抽提出来的信息,包括相应信息单位的各种属性和变量。而这些技术方法允许利用图形、图像处理以及用户界面,通过表达、建模以及对立体、表面、属性以及动画的显示,对数据加以可视化解释。

二、数据分析工具简介

(一)个人自助式分析

非编程式可视化,能够适合业务人员、运营人员等进行自我数据分析,不需要依赖IT人员,代表工具比如Excel、python、FineBI、Tableau、Power BI、BDP商业数据平台等BI工具。

(二)指标监控型报表

能够及时反映业务实际情况,给予数据分析支持进行预测分析、决策诊断等,主要工具是应用于企业级的报表平台,代表工具有JReport水晶报表,思迈特软件(Smartbi),FineReport,ActiveRrports报表等。

(三)动态数据可视化

能够实现动态实时数据的更新与展示,除了时间序列数据,还有动态路径数据、实时轨迹数据等等,比较专业,代表工具为ECharts、数据魔方等。

三、可视化工具对比

由于篇幅有限,仅选择国内外支持个人与企业级使用的几款代表性工具进行比较,通过企业级配置均能实现亿级数据秒级响应的水平。

(一)Tableau

Tableau源于斯坦福实验室,图灵奖得主开创的BI工具Tableau,其核心理念是使数据库结构的数据易于可视化和分析。Tableau在2018年初,10.5版本开始,引入了高性能引擎技术Hyper,是全世界最流行的数据可视化工具。

优点:可制定,兼容性极强,学习难度简单,数据容量大。

缺点:2022年退出中国市场,对中文世界用户不够友好,费用昂贵,付费方式为美元结算。

(二)Power BI

Power BI 是微软公司推出的可视化报表工具软件,它们协同工作以将相关数据来源转换为连贯的视觉逼真的交互式见解。无论用户的数据是简单的 Excel 电子表格,还是基于云和本地混合数据仓库的集合,Power BI 都可让用户轻松地连接到数据源,直观看到(或发现)重要内容,与任何所希望的人进行共享,相比于Excel,Power BI数据容量更强大。

优点:个人版免费,方便制作自动化报表,可连接数百个数据源,而且里面自带PP、PQ功能,在数据预处理上也是非常方便。

缺点:版本更新频繁,企业版昂贵,云服务器部署在国外,国内用户使用功能受限,无法体验高效便捷的Azure云计算服务。

(三)FineBI

Finebi是国内帆软公司推出的可视化报表工具,其自带的BI分布式引擎(Spider引擎)根据硬件配置升级能实现亿级数据秒级响应的效果。

优点:个人版免费,只能单机体验学习使用。

缺点:企业版付费,需要专业人员部署维护。

(四)BDP商业数据平台

BDP商业数据平台是海致网络技术(北京)有限公司旗下云端可视化数据分析工具。

优点:相比上面三款软件,属于SAAS平台应用,无需安装软件,采用Hadoop框架搭建的分布式云计算,能一键联通企业内部数据库、Excel及各种外部数据,并在同一个云平台上进行多维度、细颗粒度的分析,通过企业级部署,能实现亿行数据、秒级响应,并可在移动端实时查看和分享,激活企业内部数据。

缺点:企业版按年付费,且账号数量过少,数据存放云端本地备份不够便捷。

三、分布式云计算技术业务场景架构

以常规业务流转模式,企业各层级面临的数据治理现状主要为高层获取数据存在时度差,缺乏战略分析的数据支撑;中层获取数据及时度较差,缺少系统化指标拆解,没有形成数据驱动管理的机制;基层缺乏优秀便捷的数据管理工具,无法及时得到基于数据分析的反馈指导。

 

以使用SAAS数据可视化平台部署一站式大数据分析平台为例,将数据接入至云端定期同步完成数据存储,通过设置业务分析模型提交分布式云计算进行数据计算,根据业务需求设置业务指标,根据基层、中层、高层需要获取的数据维度完成可视化输出,根据业务使用频次优化数据集提高访问速度,建立数据体系,驱动业务决策,形成数据生态闭环。

 

三、结语

大数据时代,依靠全面而可靠的数据和提升大数据分析工具的运用能力,树立用数据发现、用数据认知、用数据决策、用数据说话的数据决策思维;同时,随着全国公路一张网运行模式的深入推进,使得全网数字化新基建势必融为一体,依托一体成型的数字化新基建,交通大数据必将形成交通智脑,支撑起全国公路一张网的运营管理新模式。(监控中心 夏康)


参考文献:

[1]孙斐然. 基于云计算环境的分布式存储关键技术研究[J]. 中国新通信, 2022, 24(1):2.


上一篇:高速公路沥青路面预防性养护对策研究

下一篇:浅谈利用互联网直播平台打造跨平台“六微”...