思维要走到多数人的前面，甚至是对立面

[置顶] 经典古诗词

更新1015 赞美美句 我想不出任何你需要改变的地方，我爱你的全部。 普天之下唯一能够影响他人的方式，就是找出他们想要什么，并且教给他们如何获得。 如果成功有诀窍的话，那就是我们能洞悉他人的立场，同时还能兼顾自己和他人的立场...

Posted by timebusker on 2021-07-19

IDEA-Spring-Boot热部署

开启IDEA的自动编译（静态） 打开顶部工具栏 File -> Settings -> Default Settings -> Build -> Compiler 然后勾选 Build project automatically. 开启IDEA的自动编译（动态）...

Posted by timebusker on 2018-08-13

Mongodb学习笔记（一）—Mongodb安装

Mongodb学习笔记（一）—Mongodb安装 下载社区版本 (下载链接https://www.mongodb.com/download-center?jmp=nav#community)[https://www.mongodb.com/download-center?jmp=na...

Posted by timebusker on 2018-08-04

Linux（CentOS）Nginx教程

从一份配置清单详解 Nginx 服务器配置 Nginx 是一款面向性能设计的 HTTP 服务器，能反向代理 HTTP，HTTPS 和邮件相关(SMTP，POP3，IMAP)的协议链接。并且提供了负载均衡以及 HTTP 缓存。它的设计充分使用异步事件模型，削减上下文...

Posted by timebusker on 2018-07-28

Linux（CentOS）服务开机启动

Linux（CentOS）服务开机启动 chkconfig 配置开机启动 在/etc/init.d创建执行服务的可执行脚本，赋予脚本可执行权限。如果是通过yum或者rpm安装的，并且已经在该目录下存在对应的启动脚本，就不用自己创建了。 需要开机通过chkconfig设置开机启动的...

Posted by timebusker on 2018-07-23

SparkThriftServer的高可用-HA实现与配置

SparkSQL常用内置配置项 HiveThriftServer2是Spark基于HiveServer2实现的多Session管理的Thrift服务，提供对Hive的集中式管理服务。 HiveThriftServer2作为Yarn上的Application，目前只支持yarn-cli...

Posted by timebusker on 2018-07-19

Spark动态资源分配-Dynamic Resource Allocation

SparkSQL常用内置配置项 Spark中，所谓资源单位一般指的是executors，和Yarn中的Containers一样，在Spark On Yarn模式下，通常使用–num-executors来指定Application使用的executors数量， 而–executor-m...

Posted by timebusker on 2018-07-19

Spark On Yarn：提交Spark应用程序到Yarn

SparkSQL常用内置配置项 Spark On Yarn模式配置非常简单，只需要下载编译好的Spark安装包，在一台带有Hadoop Yarn客户端的机器上解压，简单配置之后即可使用。 要把Spark应用程序提交到Yarn运行，首先需要配置HADOOP_CONF_DIR或者YAR...

Posted by timebusker on 2018-07-19

SparkSQL整合Hive并支持窗口分析函数

SparkSQL常用内置配置项 关于SparkSQL的元数据 SparkSQL 的元数据的状态有两种： in_memory(存放在内存中)，用完了元数据也就丢了，此类主要针对接口编程，保存结果信息时没有保存元数据信息。 借助hive存储元数据，也就...

Posted by timebusker on 2018-07-18

SparkSQL快速使用

SparkSQL常用内置配置项 SparkSQL Spark SQL是Spark的一个模块，主要用于进行结构化数据的处理。它提供的最核心的编程抽象就是DataFrame。 作用:提供一个编程抽象（DataFrame） 并且作为分布式 SQL 查询引擎 DataFrame：...

Posted by timebusker on 2018-07-15

SparkSQL快速入门

SparkSQL常用内置配置项 SparkSQL的由来 Spark为结构化数据处理引入了一个称为Spark SQL的编程模块。它提供了一个称为DataFrame（数据框）的编程抽象， DF的底层仍然是RDD，并且可以充当分布式SQL查询引擎。 SparkSQL的前身是Shark。在...

Posted by timebusker on 2018-07-14