timebusker的博客

[置顶] 交易的道与术（一）

业绩拐点：合同负债（签了了合同没拿到钱）大增，现金流也保持的比较设立交易系统的基础要盈利，前提先要学会少亏除非是穿越或者神，否则无人可以推翻这句话:“市场是不可能被持续准确预判”。许多投资者，比如那些经常询问是否现在是牛市、是否可以买入、买入后应持有多久的人，他们的潜意识里只...

Posted by timebusker on 2025-02-19

[置顶] 经典美句收录集合

更新1015 寒窑赋吕蒙正是北宋初年宰相，出身贫寒，曾一度落魄到寄居寒窑、以乞讨为生的地步，后发奋读书，官至极品。相传此文是他为劝诫当时年少气盛的太子（即后来的宋真宗）而作，太子阅后深受触动，一改傲慢态度。 (宋）吕蒙正天有不测风云，人有旦夕祸福。蜈蚣百足，行不及蛇；雄鸡...

Posted by timebusker on 2021-07-19

Hadoop集群-YARN资源配置

继上篇《Hadoop集群-HA-服务搭建》文章，我们实现了HDFS、ResourceManager的高可用，本章继HA之后，实现YARN计算资源的调度隔离。 YARN资源调度在Yarn中，负责给应用分配资源的就是Scheduler。这是一个可插装的调度器，它的用途就是对多用户实现...

Posted by timebusker on 2018-12-15

SQL-On-Hadoop与三类执行引擎整合

Hive存储支持：textfile、orcfile、rcfile、parquet、sequencefile 在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。主流开源SQL on Hadoop Apache Hive Apa...

Posted by timebusker on 2018-12-15

Shell-服务器一键初始化常用配置信息

Shell-服务器一键初始化常用配置信息 SSH服务设置、集群免密登录设置、网络IP配置、主机名配置….. 服务器一键初始化常用配置信息 #!/bin/bash -d # 启用调试模式#!/bin/bash -d # 读取脚本配置信息 # Shell编码使用UTF-8，避免乱码 s...

Posted by timebusker on 2018-09-29

Linux（CentOS）新增服务器常规操作

Linux（CentOS）新增服务器常规操作设置Linux启动模式 # 7种启动模式 # vim /etc/inittab 0:关机 1:单用户 2:多用户状态没有网络服务 3:多用户状态有网络服务 4:系统未使用保留给用户 5:图形界面 6:系统重启 id:5:initdefa...

Posted by timebusker on 2018-09-23

PostgreSQL数据—备份还原

https://blog.51cto.com/liyuanjie/category6.html Postgresql的三种备份方式文件系统级别的冷备份这种备份方式需要关闭数据库，然后拷贝数据文件的完整目录。恢复数据库时，只需将数据目录复制到原来的位置。该方式实际工...

Posted by timebusker on 2018-09-13

Nginx开启服务器文件目录访问

nginx.conf user root; worker_processes 4; error_log /var/log/nginx/error.log warn; pid /var/run/nginx.pid; events { worker_con...

Posted by timebusker on 2018-08-26

Spring相关常用注解使用说明

Servlet常用注解 @PreDestroy与@PostConstruct SpringBean的初始化流程 start: 开始 Spring容器加载调用构造函数 @PostConstruct方法调用 init...

Posted by timebusker on 2018-08-21

IDEA-Spring-Boot热部署

开启IDEA的自动编译（静态）打开顶部工具栏 File -> Settings -> Default Settings -> Build -> Compiler 然后勾选 Build project automatically. 开启IDEA的自动编译（动态）...

Posted by timebusker on 2018-08-13

Mongodb学习笔记（一）—Mongodb安装

Mongodb学习笔记（一）—Mongodb安装下载社区版本 (下载链接https://www.mongodb.com/download-center?jmp=nav#community)[https://www.mongodb.com/download-center?jmp=na...

Posted by timebusker on 2018-08-04

Linux（CentOS）Nginx教程

从一份配置清单详解 Nginx 服务器配置 Nginx 是一款面向性能设计的 HTTP 服务器，能反向代理 HTTP，HTTPS 和邮件相关(SMTP，POP3，IMAP)的协议链接。并且提供了负载均衡以及 HTTP 缓存。它的设计充分使用异步事件模型，削减上下文...

Posted by timebusker on 2018-07-28

Linux（CentOS）服务开机启动

Linux（CentOS）服务开机启动 chkconfig 配置开机启动在/etc/init.d创建执行服务的可执行脚本，赋予脚本可执行权限。如果是通过yum或者rpm安装的，并且已经在该目录下存在对应的启动脚本，就不用自己创建了。需要开机通过chkconfig设置开机启动的...

Posted by timebusker on 2018-07-23

SparkThriftServer的高可用-HA实现与配置

SparkSQL常用内置配置项 HiveThriftServer2是Spark基于HiveServer2实现的多Session管理的Thrift服务，提供对Hive的集中式管理服务。 HiveThriftServer2作为Yarn上的Application，目前只支持yarn-cli...

Posted by timebusker on 2018-07-19

Spark动态资源分配-Dynamic Resource Allocation

SparkSQL常用内置配置项 Spark中，所谓资源单位一般指的是executors，和Yarn中的Containers一样，在Spark On Yarn模式下，通常使用–num-executors来指定Application使用的executors数量，而–executor-m...

Posted by timebusker on 2018-07-19

Spark On Yarn：提交Spark应用程序到Yarn

SparkSQL常用内置配置项 Spark On Yarn模式配置非常简单，只需要下载编译好的Spark安装包，在一台带有Hadoop Yarn客户端的机器上解压，简单配置之后即可使用。要把Spark应用程序提交到Yarn运行，首先需要配置HADOOP_CONF_DIR或者YAR...

Posted by timebusker on 2018-07-19

SparkSQL整合Hive并支持窗口分析函数

SparkSQL常用内置配置项关于SparkSQL的元数据 SparkSQL 的元数据的状态有两种： in_memory(存放在内存中)，用完了元数据也就丢了，此类主要针对接口编程，保存结果信息时没有保存元数据信息。借助hive存储元数据，也就...

Posted by timebusker on 2018-07-18