思维要走到多数人的前面，甚至是对立面

[置顶] 经典古诗词

更新1015 赞美美句 我想不出任何你需要改变的地方，我爱你的全部。 普天之下唯一能够影响他人的方式，就是找出他们想要什么，并且教给他们如何获得。 如果成功有诀窍的话，那就是我们能洞悉他人的立场，同时还能兼顾自己和他人的立场...

Posted by timebusker on 2021-07-19

Hadoop学习笔记 — Hadoop完全分布式搭建

Hadoop学习笔记 — Hadoop完全分布式快速搭建 虚拟机初始化常规配置（防火墙….） 安装JDK,并配置环境变量 配置主机名及IP地址映射 配置ssh，集群间免密登录 Hadoop安装配置 解压hadoop-2.8.1.tar.gz压缩包，后开始如下配置: 环境变量配...

Posted by timebusker on 2018-03-15

Hadoop学习笔记 — Hadoop伪分布式快速搭建

Hadoop学习笔记 — Hadoop伪分布式快速搭建 hadoop fs -put 1902.gz hdfs://timebusker:9000/ Hadoop伪分布式模式——Pseudo-Distributed 配置免密登录 Linux下生成密钥 通...

Posted by timebusker on 2018-03-15

数据采集（flume）-Flume高可用、监控及自定义拦截器

官网文档地址 Flume HDFS Sink常用配置深度解读 Flume高可用 在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示： 主要能实现高可用部分是:Flume聚合各个agent采集的数据，统一写入到HDFS/Ka...

Posted by timebusker on 2018-03-07

数据采集（flume）-Flume频繁产生小文件原因分析及解决办法

官网文档地址 Flume HDFS Sink常用配置深度解读 flume滚动配置为何不起作用？ 在测试hdfs的sink，发现sink端的文件滚动配置项起不到任何作用，配置如下： # 核心配置 agentSpool.sinks.slinkSpool.hdfs.rollSi...

Posted by timebusker on 2018-03-01

数据采集（flume）-Flume安装使用

官网文档地址 flume安装 Flume官网下载软件，解压关注bin和conf两个目录。 配置环境变量FLUME_HOME 修改配置文件： 重命名flume-env.ps1.template为flume-env.ps1 重命名fl...

Posted by timebusker on 2018-03-01

数据采集（flume）-Flume简介

概述 Apache Flume 是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集、聚合和移动大量日志数据到一个集中式的数据存储区。 Flume 的使用不只限于日志数据。因为数据源可以定制，flume 可以被用来传输大量事件数据，这些数据不仅仅包括网络通讯数据、社交媒体产生的数据、...

Posted by timebusker on 2018-03-01

Hadoop学习笔记 — Hadoop的三种运行模式

Hadoop学习笔记（一）—Hadoop的三种运行模式 Hadoop的三种运行模式 单机模式——独立模式（本地模式）Stand-Alone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。 在这种默认模...

Posted by timebusker on 2018-02-28

Hive 数据抽样的几种方法

块抽样（Block Sampling） 分桶表抽样 （Smapling Bucketized Table） 随机抽样 随机结果里面添加分区 https://www.iteblog.com/archives/1996.html

Posted by timebusker on 2018-02-23

Hive实战—影评案例

数据准备 原始数据是以::进行切分的，所以需要使用能解析多字节分隔符的Serde即可，使用RegexSerde需要两个参数： `input.regex = "(.*)::(.*)::(.*)"` `output.format.string = "%1$s %2$s %3$s"` ...

Posted by timebusker on 2018-02-23

Hive实战—五个面试题

网站访问统计分析 # 用户名，月份，访问次数，url A,2015-01,5,url2 A,2015-01,15,url123 B,2015-01,5,url13 A,2015-01,8,url22 B,2015-01,25,url23 A,2015-01,5,url11 A,2015-02...

Posted by timebusker on 2018-02-22