业务挑战某些恶意用户利用信用卡或者别的漏洞(代充)

业务挑战某些恶意用户利用信用卡或者别的漏洞(代充)

商业挑战

一些恶意用户利用信用卡或其他漏洞刷单(充值),系统需要查询各种日志(如登录日志、充值日志等)。

随着业务的快速发展和用户行为日志的快速增长,需要从海量点击流日志和激活日志中挖掘数据价值3D场景,如广告转化率、激活率、用户单次安装成本等.

最初游戏开发 数据库,Greenplum 用于实时计算和统计分析。 但是,Greenplum存在以下缺陷,难以应对业务的快速发展:

1)Greenplum架构难以应对日益复杂的计算任务;

2)Greenplum的单表分区数量有限,多级分区支持不够友好。 不适用于单表数据量大,需要永久保存的日志。 如果单个分区表的数据量比较大游戏图片素材,查询性能不能满足业务性能。 需要;

3)Greenplum扩展时,由于数据重新分配游戏开发 数据库,会变慢;

4)Greenplum不适合处理非结构化数据。

解决方案

客户选择云数据库Lindorm SQL(Phoenix)服务+数据湖Spark服务构建实时计算和数据仓库解决方案。

1)运营数据层:手游客户端、用户中心、广告监测、游戏服务器等产生的原始日志;

2)数据明细层:运营数据层使用Spark Streaming等进行数据去噪、去重、字段标准化,然后写入Lindorm SQL服务,或者直接使用JDBC写入数据;

3)数据汇总层:数据明细层的数据可以周期性(按天或按小时)ETL(如关联维表、过滤、聚合),然后写入数据汇总层。 数据聚合层中的数据用于后续的复杂分析;

4)应用数据层:直接对外提供数据查询服务(基于Lindorm SQL服务),支撑上层大数据风控、广告推荐、海量数据精细化运营; 数据聚合层中的数据经过处理后,将结果数据写入Lindorm SQL,对外提供查询服务。

点触架构

客户价值