timebusker的博客

[置顶] 交易的道与术（一）

业绩拐点：合同负债（签了了合同没拿到钱）大增，现金流也保持的比较设立交易系统的基础要盈利，前提先要学会少亏除非是穿越或者神，否则无人可以推翻这句话:“市场是不可能被持续准确预判”。许多投资者，比如那些经常询问是否现在是牛市、是否可以买入、买入后应持有多久的人，他们的潜意识里只...

Posted by timebusker on 2025-02-19

[置顶] 经典美句收录集合

更新1015 寒窑赋吕蒙正是北宋初年宰相，出身贫寒，曾一度落魄到寄居寒窑、以乞讨为生的地步，后发奋读书，官至极品。相传此文是他为劝诫当时年少气盛的太子（即后来的宋真宗）而作，太子阅后深受触动，一改傲慢态度。 (宋）吕蒙正天有不测风云，人有旦夕祸福。蜈蚣百足，行不及蛇；雄鸡...

Posted by timebusker on 2021-07-19

Spark笔记(八)-Spark在不同集群中的运行架构

Spark注重建立良好的生态系统，它不仅支持多种外部文件存储系统，提供了多种多样的集群运行模式。部署在单台机器上时，既可以用本地（Local）模式运行，也可以使用伪分布式模式来运行；当以分布式集群部署的时候，可以根据自己集群的实际情况选择Standalone模式（Spark自带的模式）、Y...

Posted by timebusker on 2018-06-25

Spark笔记(七)-Spark运行流程

基本概念 Application：客户端应用程序 Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContex...

Posted by timebusker on 2018-06-25

Spark笔记(六)-Spark的广播变量和累加器

概述在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是...

Posted by timebusker on 2018-06-25

Spark笔记(五)-Spark之RDD-算子API使用（二）

算法实例 workCount TopN 多主键排序 package com.timebusker import org.apache.spark.{Partitioner, SparkConf, SparkContext} import scala.collection...

Posted by timebusker on 2018-06-25

Spark笔记(五)-Spark之RDD-算子API使用（一）

Transformation算子 map(func()) 对于多层集合嵌套，需要确保函数能够处理当前迭代元素输入分区与输出分区一对一，即：有多少个输入分区，就有多少个输出分区。接收一个函数，对于RDD中的每一个元素执行此函数操作，结果返回到原集合中。 // 单层集合 val ...

Posted by timebusker on 2018-06-25

Spark笔记(四)-Spark之RDD-持久化机制和Checkpoint机制

持久化机制所谓RDD的持久化，其实就是对RDD进行缓存，它是Spark重要的优化手段之一。为什么需要对RDD进行缓存呢？这与Spark作业的执行机制有关，我们知道，Spark程序只有遇到action算子的时候才会执行程序，具体的执行算法大致如下： Spark会以actionRDD为起点，...

Posted by timebusker on 2018-06-25

Spark笔记(四)-Spark之RDD-分区

基础知识分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。为什么要进行分区数据分区，...

Posted by timebusker on 2018-06-25

Spark笔记(三)-Spark之RDD

RDD的概述 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。...

Posted by timebusker on 2018-06-25

Spark笔记(二)-Spark安装使用

安装基础 JDK安装成功(必须，Spark使用scala语言编写，运行在JVM上) zookeeper安装成功（非必须，基于ZK配置Spark高可用） hadoop2.7.5 HA安装成功（非必须，启动spark服务，sc变量可直接读取...

Posted by timebusker on 2018-06-25

Spark笔记(一)-初识Spark

Spark介绍 Apache Spark™是用于大规模数据处理的统一分析引擎。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的Map...

Posted by timebusker on 2018-06-25

MySQL学习笔记（三）— MySQL异常解决办法

MySQL常用配置

MySQL学习笔记（二）—MySQL常用配置 (内存信息超过限制额)Container is running beyond memory limits # 异常信息： Application application_1545595549057_0003 failed 2 times...

Posted by timebusker on 2018-06-25

MySQL学习笔记（二）—MySQL常用配置

MySQL常用配置

MySQL学习笔记（二）—MySQL常用配置 MySQL本机免密登陆注：密码配置到文件以后是有安全隐患的，请根据自己的实际需求来配置。 # 编辑配置文件后保存即可实现 # vim /root/.my.cnf [client] host=localhost user=root pas...

Posted by timebusker on 2018-06-24

大数据学习姿势

大数据学习姿势：循序渐进…. 前言三个发展方向平台搭建、优化、运维、监控大数据开发、设计、架构数据分析、挖掘大数据的4大特征数据量大：TB->PB 数据类型繁多：结构化、非结构化文本、日志、视频、图片、地理位置等商业价值高：但是这种...

Posted by timebusker on 2018-06-15

Hadoop学习笔记 — Hadoop2.0架构新特性

Hadoop2.0新特性 NameNode HA NameNode Federation HDFS快照 HDFS缓存 HDFS ACL NameNode HA 背景 Hadoop 1.0中NameNode在整个HDFS中只有一个，存在单点故障风险,一旦Na...

Posted by timebusker on 2018-06-14

Linux（CentOS）让进程在后台可靠运行的几种方法

Linux（CentOS）让进程在后台可靠运行的几种方法 blog Linux 技巧：让进程在后台可靠运行的几种方法常用命令组合 # 标准输出到文件myout.file，并把标准错误输出重定向到标准输出中，写入文件 nohup command > myout.file 2&...

Posted by timebusker on 2018-06-06