风控大数据分数  内容精选
  • 使用 DistCp 迁移数据至分层命名空间 Bucket 对象存储(BOS)

    更多配置 # 指定拷贝数据时map的数目 # 更多的map数量可能不会提升数据吞吐,反而会带来一些问题,map数量应该根据集群资源和拷贝数据规模综合设定 $ hadoop distcp -m 10 hdfs://host:port/src bos://bucket/dst # 忽略失败的map,但会保留失败操作日志 $ hadoop distcp -i hdfs://host:port/src bos

    查看更多>>

  • 定时分析日志数据 - MapReduce BMR_全托管Hadoop/Spark集群

    定时分析日志数据 概览 通过定时任务创建BMR集群,分析日志数据,定时释放集群,为用户大大节约了使用成本。 需求场景 对于业务稳定且有规律的用户,日志的峰值和低谷的规律一般是固定的。对于有规律的日志业务场景,用户只需要在特定的时间段内用集群进行分析即可,其余时间无需使用集群。传统的数据集群一旦构建则无法释放或者需要人工手动释放,使用成本较高。解决这一场景下的日志分析十分必要。

    查看更多>>

风控大数据分数  更多内容