商业挑战
一些恶意用户利用信用卡或其他漏洞刷单(充值),系统需要查询各种日志(如登录日志、充值日志等)。
随着业务的快速发展和用户行为日志的快速增长,需要从海量点击流日志和激活日志中挖掘数据价值3D场景,如广告转化率、激活率、用户单次安装成本等.
最初游戏开发 数据库,Greenplum 用于实时计算和统计分析。 但是,Greenplum存在以下缺陷,难以应对业务的快速发展:
1)Greenplum架构难以应对日益复杂的计算任务;
2)Greenplum的单表分区数量有限,多级分区支持不够友好。 不适用于单表数据量大,需要永久保存的日志。 如果单个分区表的数据量比较大游戏图片素材,查询性能不能满足业务性能。 需要;
3)Greenplum扩展时,由于数据重新分配游戏开发 数据库,会变慢;
4)Greenplum不适合处理非结构化数据。
解决方案
客户选择云数据库Lindorm SQL(Phoenix)服务+数据湖Spark服务构建实时计算和数据仓库解决方案。
1)运营数据层:手游客户端、用户中心、广告监测、游戏服务器等产生的原始日志;
2)数据明细层:运营数据层使用Spark Streaming等进行数据去噪、去重、字段标准化,然后写入Lindorm SQL服务,或者直接使用JDBC写入数据;
3)数据汇总层:数据明细层的数据可以周期性(按天或按小时)ETL(如关联维表、过滤、聚合),然后写入数据汇总层。 数据聚合层中的数据用于后续的复杂分析;
4)应用数据层:直接对外提供数据查询服务(基于Lindorm SQL服务),支撑上层大数据风控、广告推荐、海量数据精细化运营; 数据聚合层中的数据经过处理后,将结果数据写入Lindorm SQL,对外提供查询服务。
客户价值