思维要走到多数人的前面，甚至是对立面

[置顶] 软考准备

软考报名 中级 中级考试 高级 高项-考分要求

Posted by timebusker on 2026-01-14

[置顶] 经典古诗词

更新1015 赞美美句 我想不出任何你需要改变的地方，我爱你的全部。 普天之下唯一能够影响他人的方式，就是找出他们想要什么，并且教给他们如何获得。 如果成功有诀窍的话，那就是我们能洞悉他人的立场，同时还能兼顾自己和他人的立场...

Posted by timebusker on 2021-07-19

Shell-常用指令使用详解

常用指令使用详解

IFS的默认值为：空白(包括：空格，制表符，换行符)． 【SED】 sed 是非交互式的编辑器。它不会修改文件，除非使用 shell 重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。 处理过程： 首先sed把当前正在处理的行保存在一个临时缓存区中（也称为...

Posted by timebusker on 2018-06-29

MySQL学习笔记（三）— MySQL异常解决办法

MySQL常用配置

MySQL学习笔记（二）—MySQL常用配置 MySQL-JDBC-URL异常 # URL:jdbc:mysql://hdp-cluster-6:3306/hive_a?createDatabaseIfNotExist=true&useUnicode=true&ch...

Posted by timebusker on 2018-06-25

Spark笔记(十八)-Spark transformation算子之coalesce&&repartition

coalesce coalesce算子最基本的功能就是返回一个numPartitions个partition的RDD，算子的结果默认是窄依赖。 def coalesce(numPartitions: Int, shuffle: Boolean = false,partitionCoale...

Posted by timebusker on 2018-06-25

Spark笔记(十七)-SparkCore的源码解读之启动与SparkSubmit

启动过程 通过Shell脚本启动Master，Master类继承Actor类，通过ActorySystem创建并启动。 通过Shell脚本启动Worker，Worker类继承Actor类，通过ActorySystem创建并启动。 Worker通过Akka或者Netty发送消...

Posted by timebusker on 2018-06-25

Spark笔记(十六)-SparkCore的调优之JVM-GC垃圾收集器

GC JVM中，程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭，栈帧随着方法的进入和退出做入栈和出栈操作，实现了自动的内存清理， 因此，我们的内存垃圾回收主要集中于java堆和方法区中，在程序运行期间，这部分内存的分配和使用都是动态的。 垃圾收集 Garbage Collectio...

Posted by timebusker on 2018-06-25

Spark笔记(十五)-SparkCore的调优之JVM架构

JVM的结构图 JVM内存结构主要有三大块：堆内存、方法区和栈。 堆内存是JVM中最大的一块由年轻代和老年代组成，而年轻代内存又被分成三部分，Eden空间、From Survivor空间、To Survivor空间,默认情况下年轻代按照8:1:1的比例来分配； ...

Posted by timebusker on 2018-06-25

Spark笔记(十四)-SparkCore的调优之资源调优

为spark提交的作业提供合理的资源分配 Spark作业运行 使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同，Driver进程可能在本地启动， 也可能在集群中某个工作节点上启动...

Posted by timebusker on 2018-06-25

Spark笔记(十三)-SparkCore的调优之内存模型

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。 理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 J...

Posted by timebusker on 2018-06-25

Spark笔记(十二)-SparkCore的调优之Shuffle调优

大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。 Shuffle Spark作业的运行主要分为两部分： - Driver，其核心是SparkContext - Worker，运行节点上Task处...

Posted by timebusker on 2018-06-25

Spark笔记(十一)-SparkCore的调优之数据倾斜调优

数据倾斜发生时的现象 绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。 原本能够正常执行的Spark作业，某天突然报出OOM...

Posted by timebusker on 2018-06-25