### 本质 > 大数据性能调优的本质是硬件的调优。即基于`CPU`,`Memory`,`I/O-Disk/Network`基础上构建算法和性能的调优。 ### spark性能调优要点 - 并行度 - 压缩 - 序列化 - 数据倾斜 - JVM - 内存 - Task性能 - Shuffle - RDD算子（例如RDD复用，自定义RDD） - 数据本地性 - 容错调优 - 参数调优 - 资源分配和使用