网络质量实时分析思路

通信网络时时刻刻在产生着大量的事件，如信令、xDR等，产生速度可达几十MB/s至几十GB/s。要想实现大规模流数据的实时分析，传统的IT系统已经无法支撑，因此，我们需要引入流计算平台，如IBM Streams。利用流计算平台高性能、分布式、可扩展等特点，高速产生和流动网络事件能及时地获取有业务价值的信息。流计算平台在网络质量实时分析中实现的关键业务包括：

• 全局实时KPI计算，如当前1分钟和10分钟内的MSC切换失败次数和比例。
• 局部KPI监控与重点对象的关注，如VIP客户通话失败原因实时汇总。
• 大规模数据预处理，以便后续加载到数据仓库或HDFS再进行离线批量处理。

整体思路如下图所示。

信令数据直接从网络设备引入到Streams流计算平台；然后由Streams应用程序按照业务规则，对信令数据进行实时的加工、计算、汇总等处理；最后将实时分析结果写入至目标存储，如数据库、HDFS或实时展现工具。

网络质量实时分析参考模型

无论采取哪种流计算技术，网络事件的实时分析都可以分为三大部分：

• 数据实时注入或获取
• 数据按业务规则实时分析
• 分析结果推送到目标端

下图是网络质量实时分析的参考模型。为了方便结合业务场景进行描述，参考模型用多个红线框划分功能模块。

1. 数据实时注入

网络设备所产生的数据通过TCP／FTP／本地文件等方式实时注入到Streams。由于数据源可能提供多种不同的数据格式，如二进制码流、或CSV格式的文本，Streams接收到数据之后先进行解析，以便后续的处理。

2. VIP客户业务质量实时分析

根据用户静态属性（来源于数据库或文件），过滤出高价值客户，即VIP客户。对于这类客户的相关业务质量实时分析，有助于及时发现他们在使用通信网络中遇到的问题，以便及时处理VIP客户的投诉与对他们进行定制化的客户关怀。

3. 全局网络质量实时分析

利用所有网络事件对全网的网络质量进行实时分析，包括各项KPI的按不同的时间粒度进行统计，如1分钟和10分钟粒度的MSC内切换次数，通话失败原因的汇总和排序等。

4. 实时分析结果入库

将实时分析结果写入数据库，以便后续的查询和展示。除了写入数据库的方式，Streams也支持将结果写入文件、Kafka或TCP Socket等方式，亦可直接将结果推送给实时展示工具，如Excel Realtime Data。

5. 大规模数据预处理（实时ETL）

利用Streams的可定制业务逻辑及高性能处理能力的特点，实现网络事件数据的实时ETL

6. 预处理后的大规模数据写入HDFS

调研Streams提供的HDFS相关Toolkit，将经过预处理的网络事件数据写入至HDFS，一般后续进行离线分析。

Streams在网络质量实时分析中的价值

• 高性能：满足大规模数据实时计算的要求。
• 高扩展性：分布式架构极易扩展，满足日益增长的业务和计算能力要求。
• 易实现：针对流计算而设计的开发语言，内置大量的工具箱，结合基于图形和拖拽的开发工具，极易实现流分析应用。
• 完善的管理功能：基于Web的一体化管理和监控工具。
• 成熟、稳定、可靠：10多年的应用历程，业界最成熟、稳定、可靠的流计算产品。

via:华南IBM大数据支持团队

更多大数据与分析相关行业资讯、解决方案、案例、教程等请点击查看>>>

详情请咨询“在线客服”！

客服热线：023-66090381