分类：调优

2021
08-06

详解JVM中的GC调优

目录那些GC的默认值GC的选择GC的最大线程个数初始化heapsize最大的heapsize分层编译技术我们到底要什么最大暂停时间吞吐率那些GC的默认值其实GC或者说JVM的参数非常非常的多，有控制内存使用的：有控制JIT的：有控制分代比例的,也有控制GC并发的：当然，大部分的参数其实并不需要我们自行去调整，JVM会很好的动态帮我们设置这些变量的值。如果我们不去设置这些值，那么对GC性能比较有影响的参数和他们的默认值有哪些呢？GC的选择... 继续阅读 >
2020
10-09

Spark调优多线程并行处理任务实现方式

方式1:1.明确Spark中Job与Streaming中Job的区别1.1SparkCore一个RDDDAGGraph可以生成一个或多个Job（Action操作）一个Job可以认为就是会最终输出一个结果RDD的一条由RDD组织而成的计算Job在spark里应用里是一个被调度的单位1.2Streaming一个batch的数据对应一个DStreamGraph而一个DStreamGraph包含一或多个关于DStream的输出操作每一个输出对应于一个Job，一个DStreamGraph对应一个JobSet，里面包含一个或... 继续阅读 >