思维要走到多数人的前面，甚至是对立面

[置顶] 经典古诗词

更新1015 赞美美句 我想不出任何你需要改变的地方，我爱你的全部。 普天之下唯一能够影响他人的方式，就是找出他们想要什么，并且教给他们如何获得。 如果成功有诀窍的话，那就是我们能洞悉他人的立场，同时还能兼顾自己和他人的立场...

Posted by timebusker on 2021-07-19

Spark笔记(三)-Spark之RDD

RDD的概述 RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。 RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。...

Posted by timebusker on 2018-06-25

Spark笔记(二)-Spark安装使用

安装基础 JDK安装成功(必须，Spark使用scala语言编写，运行在JVM上) zookeeper安装成功（非必须，基于ZK配置Spark高可用） hadoop2.7.5 HA安装成功（非必须，启动spark服务，sc变量可直接读取...

Posted by timebusker on 2018-06-25

Spark笔记(一)-初识Spark

Spark介绍 Apache Spark™是用于大规模数据处理的统一分析引擎。 spark是一个实现快速通用的集群计算平台。它是由加州大学伯克利分校AMP实验室 开发的通用内存并行计算框架，用来构建大型的、低延迟的数据分析应用程序。它扩展了广泛使用的Map...

Posted by timebusker on 2018-06-25

MySQL学习笔记（三）— MySQL异常解决办法

MySQL常用配置

MySQL学习笔记（二）—MySQL常用配置 (内存信息超过限制额)Container is running beyond memory limits # 异常信息： Application application_1545595549057_0003 failed 2 times...

Posted by timebusker on 2018-06-25

MySQL学习笔记（二）—MySQL常用配置

MySQL常用配置

MySQL学习笔记（二）—MySQL常用配置 MySQL本机免密登陆 注：密码配置到文件以后是有安全隐患的，请根据自己的实际需求来配置。 # 编辑配置文件后保存即可实现 # vim /root/.my.cnf [client] host=localhost user=root pas...

Posted by timebusker on 2018-06-24

大数据学习姿势

大数据学习姿势：循序渐进…. 前言 三个发展方向 平台搭建、优化、运维、监控 大数据开发、设计、架构 数据分析、挖掘 大数据的4大特征 数据量大：TB->PB 数据类型繁多：结构化、非结构化文本、日志、视频、图片、地理位置等 商业价值高：但是这种...

Posted by timebusker on 2018-06-15

Hadoop学习笔记 — Hadoop2.0架构新特性

Hadoop2.0新特性 NameNode HA NameNode Federation HDFS快照 HDFS缓存 HDFS ACL NameNode HA 背景 Hadoop 1.0中NameNode在整个HDFS中只有一个，存在单点故障风险,一旦Na...

Posted by timebusker on 2018-06-14

Linux（CentOS）让进程在后台可靠运行的几种方法

Linux（CentOS）让进程在后台可靠运行的几种方法 blog Linux 技巧：让进程在后台可靠运行的几种方法 常用命令组合 # 标准输出到文件myout.file，并把标准错误输出重定向到标准输出中，写入文件 nohup command > myout.file 2&...

Posted by timebusker on 2018-06-06

IDEA打包JAR的多种方式

IDEA打包JAR的多种方式 用IDEA自带的打包形式 用maven-shade-plugin打包 <plugin> <groupId>org.apache.maven.plugins</groupId> <artifac...

Posted by timebusker on 2018-06-06

Hadoop学习笔记 — Yarn公平调度器Fair Scheduler根据用户组分配资源池

在一个公司内部的Hadoop Yarn集群，肯定会被多个业务、多个用户同时使用，共享Yarn的资源，如果不做资源的管理与规划，那么整个Yarn的资源很容易被某一个用户提交的Application占满， 其它任务只能等待，这种当然很不合理，我们希望每个业务都有属于自己的特定资源来运行MapRed...

Posted by timebusker on 2018-06-05