思维要走到多数人的前面，甚至是对立面

[置顶] 交易的道与术（一）

业绩拐点：合同负债（签了了合同没拿到钱）大增，现金流也保持的比较 设立交易系统的基础 要盈利，前提先要学会少亏 除非是穿越或者神，否则无人可以推翻这句话:“市场是不可能被持续准确预判”。许多投资者，比如那些经常询问是否现在是牛市、是否可以买入、买入后应持有多久的人，他们的潜意识里只...

Posted by timebusker on 2025-02-19

[置顶] 经典美句收录集合

更新1015 寒窑赋 吕蒙正是北宋初年宰相，出身贫寒，曾一度落魄到寄居寒窑、以乞讨为生的地步，后发奋读书，官至极品。相传此文是他为劝诫当时年少气盛的太子（即后来的宋真宗）而作，太子阅后深受触动，一改傲慢态度。 (宋）吕蒙正 天有不测风云，人有旦夕祸福。 蜈蚣百足，行不及蛇；雄鸡...

Posted by timebusker on 2021-07-19

SparkSQL快速使用

SparkSQL常用内置配置项 SparkSQL Spark SQL是Spark的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象就是DataFrame。 作用:提供一个编程抽象（DataFrame） 并且作为分布式 SQL 查询引擎 DataFrame：...

Posted by timebusker on 2018-07-15

SparkSQL快速入门

SparkSQL常用内置配置项 SparkSQL的由来 Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame（数据框）的编程抽象， DF的底层仍然是RDD，并且可以充当分布式SQL查询引擎。 SparkSQL的前身是Shark。在...

Posted by timebusker on 2018-07-14

Spring-Security开发总结

Spring Security技术栈开发企业级认证与授权-笔记 SpringBoot集成Spring Security 5 Spring Security 简介 Spring Security为基于 Java EE 的企业软件应用程序提供全面的安全服务。特别是使用 Spri...

Posted by timebusker on 2018-07-04

Shell-常用指令使用详解

常用指令使用详解

IFS的默认值为：空白(包括：空格，制表符，换行符)． 【SED】 sed 是非交互式的编辑器。它不会修改文件，除非使用 shell 重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上。 处理过程： 首先sed把当前正在处理的行保存在一个临时缓存区中（也称为...

Posted by timebusker on 2018-06-29

MySQL学习笔记（三）— MySQL异常解决办法

MySQL常用配置

MySQL学习笔记（二）—MySQL常用配置 MySQL-JDBC-URL异常 # URL:jdbc:mysql://hdp-cluster-6:3306/hive_a?createDatabaseIfNotExist=true&useUnicode=true&ch...

Posted by timebusker on 2018-06-25

Spark笔记(十八)-Spark transformation算子之coalesce&&repartition

coalesce coalesce算子最基本的功能就是返回一个numPartitions个partition的RDD，算子的结果默认是窄依赖。 def coalesce(numPartitions: Int, shuffle: Boolean = false,partitionCoale...

Posted by timebusker on 2018-06-25

Spark笔记(十七)-SparkCore的源码解读之启动与SparkSubmit

启动过程 通过Shell脚本启动Master，Master类继承Actor类，通过ActorySystem创建并启动。 通过Shell脚本启动Worker，Worker类继承Actor类，通过ActorySystem创建并启动。 Worker通过Akka或者Netty发送消...

Posted by timebusker on 2018-06-25

Spark笔记(十六)-SparkCore的调优之JVM-GC垃圾收集器

GC JVM中，程序计数器、虚拟机栈、本地方法栈都是随线程而生随线程而灭，栈帧随着方法的进入和退出做入栈和出栈操作，实现了自动的内存清理， 因此，我们的内存垃圾回收主要集中于java堆和方法区中，在程序运行期间，这部分内存的分配和使用都是动态的。 垃圾收集 Garbage Collectio...

Posted by timebusker on 2018-06-25

Spark笔记(十五)-SparkCore的调优之JVM架构

JVM的结构图 JVM内存结构主要有三大块：堆内存、方法区和栈。 堆内存是JVM中最大的一块由年轻代和老年代组成，而年轻代内存又被分成三部分，Eden空间、From Survivor空间、To Survivor空间,默认情况下年轻代按照8:1:1的比例来分配； ...

Posted by timebusker on 2018-06-25

Spark笔记(十四)-SparkCore的调优之资源调优

为spark提交的作业提供合理的资源分配 Spark作业运行 使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式（deploy-mode）不同，Driver进程可能在本地启动， 也可能在集群中某个工作节点上启动...

Posted by timebusker on 2018-06-25

Spark笔记(十三)-SparkCore的调优之内存模型

Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。 理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。 在执行 Spark 的应用程序时，Spark 集群会启动 Driver 和 Executor 两种 J...

Posted by timebusker on 2018-06-25

Spark笔记(十二)-SparkCore的调优之Shuffle调优

大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。 Shuffle Spark作业的运行主要分为两部分： - Driver，其核心是SparkContext - Worker，运行节点上Task处...

Posted by timebusker on 2018-06-25

Spark笔记(十一)-SparkCore的调优之数据倾斜调优

数据倾斜发生时的现象 绝大多数task执行得都非常快，但个别task执行极慢。比如，总共有1000个task，997个task都在1分钟之内执行完了，但是剩余两三个task却要一两个小时。这种情况很常见。 原本能够正常执行的Spark作业，某天突然报出OOM...

Posted by timebusker on 2018-06-25

Spark笔记(十)-SparkCore的调优之开发调优

Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。 最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速度更快、性能更高。 然而，通过Spark开发出高性能的大数据计算作业，并...

Posted by timebusker on 2018-06-25

Spark笔记(九)-Spark本地开发环境搭建

winutil模拟器设置 下载对应hadoop版本包 选择对应版本配置配置HADOOP_HOME、Path (null) entry in command string: null chmod 0644 将对应hadoop...

Posted by timebusker on 2018-06-25