移动互联网日志留存系统

移动互联网日志留存系统

1、产品概述

移动互联网日志留存系统主要针对移动上网方式,通过对2G/3G/4G的Gn/S11、Gb/Iu-PS、S1-MME、S1-U、S10、SGs、S6a等接口及防火墙日志数据进行采集和解析,生成各接口的原始XDR话单。在对原始XDR换单进行分析、关联、回填及合成后,输出所需的目标XDR及日志文件到各应用系统及指定系统,实现日志数据的存储、查询等功能。

2、产品架构

3、产品功能

  • 数据采集:对Mc、Gn、Gb、Iu-PS、LTE S1,以及Gi侧防火墙等接口原始信息进行采集。
  • 数据合成:获取采集设备上的日志,依照相关系统/平台订阅需求,生成对应的目标日志文件,并将日志文件发送到网络日志服务器。
  • 数据存储:负责接收对应数据合成服务器发送的数据,向指定系统/平台提供接口,并依据各系统/平台需求存储信息。
  • 日志上报:负责接收网络日志服务器数据,分别向指定系统/平台发送日志文件。
  • 日志查询:提供上网日志查询服务。

4、产品特点/优势

  • 支持分布式高性能采集分发技术来处理每日海量的原始日志数据。
  • 系统支持Hadoop、Spark、Storm等大数据计算框架,支持Spark内存延迟处理机制,能够对来自多种数据源的数据实现精准关联匹配。
  • 支持HDFS分布式文件存储、支持HBase高性能缓存。支持Mysql、Oracle等商业数据库持久化数据存储、支持Hive数据仓库。
  • 支持高性能的索引存储技术。
  • 支持高性能的报表统计展现,支持与APL智能查询的统一接口实现报表的多级钻取。

5、典型部署架构