Spark性能优化指南:高级篇

Spark性能优化指南:高级篇

发表于1年前 | 作者: Kar Chan | 分类: 大数据云计算 | 流行热度: 252 views°

0
 前言 继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。 数据倾斜调优 调优概述 有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业......

也谈谈 Redis 和 Memcached 的区别

发表于1年前 | 作者: Kar Chan | 分类: web技术 | 流行热度: 225 views°

0
说到redis就会联想到memcached,反之亦然。了解过两者的同学有那么个大致的印象: redis与memcached相比,比仅支持简单的key-value数据类型,同时还提供list,set,zset,hash等数据结构的存储; redis支持数据的备份,即master-slave模式的数据备份; redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用等等, 这似乎看起来redis比memcached更加牛逼一些,那么事......