timebusker的博客

[置顶] 交易的道与术（一）

业绩拐点：合同负债（签了了合同没拿到钱）大增，现金流也保持的比较设立交易系统的基础要盈利，前提先要学会少亏除非是穿越或者神，否则无人可以推翻这句话:“市场是不可能被持续准确预判”。许多投资者，比如那些经常询问是否现在是牛市、是否可以买入、买入后应持有多久的人，他们的潜意识里只...

Posted by timebusker on 2025-02-19

[置顶] 经典美句收录集合

更新1015 寒窑赋吕蒙正是北宋初年宰相，出身贫寒，曾一度落魄到寄居寒窑、以乞讨为生的地步，后发奋读书，官至极品。相传此文是他为劝诫当时年少气盛的太子（即后来的宋真宗）而作，太子阅后深受触动，一改傲慢态度。 (宋）吕蒙正天有不测风云，人有旦夕祸福。蜈蚣百足，行不及蛇；雄鸡...

Posted by timebusker on 2021-07-19

数据采集（flume）-Flume常见问题

能够很灵活的通过配置实现不同数据存储系统之间的数据交换官网文档地址 Flume HDFS Sink常用配置深度解读问题一 Caused by: org.apache.flume.ChannelException: Put queue for Memor...

Posted by timebusker on 2018-04-02

数据采集（flume）-Flume采集Oracle数据到HDFS、Hive、HBase、Kafka

本部分内容网上博客说法不一，实际操作多关注源码官网文档地址 Flume HDFS Sink常用配置深度解读 Flume读取Oracle数据使用Flume不适用Sqoop的主要原因是，Flume可以统一增量读取数据后写入Kafka，分发到各数据平台。借助...

Posted by timebusker on 2018-04-02

KVM-VMware网络配置

Linux安装Nginx服务配置 VMware端口转发配置 vim /etc/vmware/vmnet8（对应网卡）/nat/nat.conf vim /etc/vmware/vmnet0/nat/nat.conf 在[incomingtcp]模块下配置端口映射...

Posted by timebusker on 2018-03-21

PostgreSQL安装-服务-配置

安装以及服务配置

PostgreSQL安装-服务-配置 PostgreSQL安装-服务-配置官网地址 # Linux-软件包管理-rpm命令管理-查询 rpm -qa | grep postgres 检查PostgreSQL 是否已经安装 rpm -qal | grep postgres ...

Posted by timebusker on 2018-03-20

KVM-笔记一

Linux安装Nginx服务配置虚拟化批量管理

Posted by timebusker on 2018-03-20

Linux利用IOS镜像文件搭建本地yum源服务器

Linux利用IOS镜像文件搭建本地yum源服务器切记：Linux文件不能拷贝到Windows系统上，否则导致文件后缀名缺失问题来源随着内网Linux服务器越来越多，在每台服务器上安装软件，都要先把安装盘上传上去，在配置本地yum服务，即麻烦又费时。可以在内网的...

Posted by timebusker on 2018-03-17

Linux（CentOS）集群之间实现免密登录

Linux（CentOS）集群之间实现免密登录配置SSH 修改集群中每一台机器的sshd_config配置文件修改指令：sudo vim /etc/ssh/sshd_config 修改内容如下： RSAAuthentication yes PubkeyAuthent...

Posted by timebusker on 2018-03-15

Hadoop学习笔记 — Hadoop完全分布式搭建

Hadoop学习笔记 — Hadoop完全分布式快速搭建虚拟机初始化常规配置（防火墙….）安装JDK,并配置环境变量配置主机名及IP地址映射配置ssh，集群间免密登录 Hadoop安装配置解压hadoop-2.8.1.tar.gz压缩包，后开始如下配置: 环境变量配...

Posted by timebusker on 2018-03-15

Hadoop学习笔记 — Hadoop伪分布式快速搭建

Hadoop学习笔记 — Hadoop伪分布式快速搭建 hadoop fs -put 1902.gz hdfs://timebusker:9000/ Hadoop伪分布式模式——Pseudo-Distributed 配置免密登录 Linux下生成密钥通...

Posted by timebusker on 2018-03-15

数据采集（flume）-Flume高可用、监控及自定义拦截器

官网文档地址 Flume HDFS Sink常用配置深度解读 Flume高可用在完成单点的Flume NG搭建后，下面我们搭建一个高可用的Flume NG集群，架构图如下所示：主要能实现高可用部分是:Flume聚合各个agent采集的数据，统一写入到HDFS/Ka...

Posted by timebusker on 2018-03-07

数据采集（flume）-Flume频繁产生小文件原因分析及解决办法

官网文档地址 Flume HDFS Sink常用配置深度解读 flume滚动配置为何不起作用？在测试hdfs的sink，发现sink端的文件滚动配置项起不到任何作用，配置如下： # 核心配置 agentSpool.sinks.slinkSpool.hdfs.rollSi...

Posted by timebusker on 2018-03-01

数据采集（flume）-Flume安装使用

官网文档地址 flume安装 Flume官网下载软件，解压关注bin和conf两个目录。配置环境变量FLUME_HOME 修改配置文件：重命名flume-env.ps1.template为flume-env.ps1 重命名fl...

Posted by timebusker on 2018-03-01

数据采集（flume）-Flume简介

概述 Apache Flume 是一个分布式，可靠且可用的系统，用于有效地从许多不同的源收集、聚合和移动大量日志数据到一个集中式的数据存储区。 Flume 的使用不只限于日志数据。因为数据源可以定制，flume 可以被用来传输大量事件数据，这些数据不仅仅包括网络通讯数据、社交媒体产生的数据、...

Posted by timebusker on 2018-03-01

Hadoop学习笔记 — Hadoop的三种运行模式

Hadoop学习笔记（一）—Hadoop的三种运行模式 Hadoop的三种运行模式单机模式——独立模式（本地模式）Stand-Alone 单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模...

Posted by timebusker on 2018-02-28

Hive 数据抽样的几种方法

块抽样（Block Sampling）分桶表抽样（Smapling Bucketized Table）随机抽样随机结果里面添加分区 https://www.iteblog.com/archives/1996.html

Posted by timebusker on 2018-02-23