timebusker的博客

[置顶] 交易的道与术（一）

业绩拐点：合同负债（签了了合同没拿到钱）大增，现金流也保持的比较设立交易系统的基础要盈利，前提先要学会少亏除非是穿越或者神，否则无人可以推翻这句话:“市场是不可能被持续准确预判”。许多投资者，比如那些经常询问是否现在是牛市、是否可以买入、买入后应持有多久的人，他们的潜意识里只...

Posted by timebusker on 2025-02-19

[置顶] 经典美句收录集合

更新1015 寒窑赋吕蒙正是北宋初年宰相，出身贫寒，曾一度落魄到寄居寒窑、以乞讨为生的地步，后发奋读书，官至极品。相传此文是他为劝诫当时年少气盛的太子（即后来的宋真宗）而作，太子阅后深受触动，一改傲慢态度。 (宋）吕蒙正天有不测风云，人有旦夕祸福。蜈蚣百足，行不及蛇；雄鸡...

Posted by timebusker on 2021-07-19

Hive实战—影评案例

数据准备原始数据是以::进行切分的，所以需要使用能解析多字节分隔符的Serde即可，使用RegexSerde需要两个参数： `input.regex = "(.*)::(.*)::(.*)"` `output.format.string = "%1$s %2$s %3$s"` ...

Posted by timebusker on 2018-02-23

Hive实战—五个面试题

网站访问统计分析 # 用户名，月份，访问次数，url A,2015-01,5,url2 A,2015-01,15,url123 B,2015-01,5,url13 A,2015-01,8,url22 B,2015-01,25,url23 A,2015-01,5,url11 A,2015-02...

Posted by timebusker on 2018-02-22

Hive—高级操作

数据类型 array # 测试数据 1 huangbo guangzhou,xianggang,shenzhen a1:30,a2:20,a3:100 beijing,112233,13522334455,500 2 xuzheng xianggang b2:50,b3:40 tia...

Posted by timebusker on 2018-02-21

Hive之列转行,行转列

数据准备 104399 1715131 104399 2105395 104399 1758844 104399 981085 104399 2444143 104399 1458638 104399 968412 104400 1609001...

Posted by timebusker on 2018-02-20

Hive分析窗口函数—grouping sets,grouping_id,cube,rollup

数据准备 2015-03,2015-03-10,cookie1 2015-03,2015-03-10,cookie5 2015-03,2015-03-12,cookie7 2015-04,2015-04-12,cookie3 2015-04,2015-04-13,cookie2 2015-0...

Posted by timebusker on 2018-02-16

Hive分析窗口函数—lag,lead,irst_value,last_value

数据准备 cookie1,2015-04-10 10:00:02,url2 cookie1,2015-04-10 10:00:00,url1 cookie1,2015-04-10 10:03:04,1url3 cookie1,2015-04-10 10:50:05,url6 cookie1,...

Posted by timebusker on 2018-02-15

Hive分析窗口函数—cume_dist,percent_rank

测试数据 cookie1,2015-04-10,1 cookie1,2015-04-11,5 cookie1,2015-04-12,7 cookie1,2015-04-13,3 cookie1,2015-04-14,2 cookie1,2015-04-15,4 cookie1,2015-04...

Posted by timebusker on 2018-02-14

Hive分析窗口函数—ntile,row_number,rank,dense_rank

测试数据 cookie1,2015-04-10,1 cookie1,2015-04-11,5 cookie1,2015-04-12,7 cookie1,2015-04-13,3 cookie1,2015-04-14,2 cookie1,2015-04-15,4 cookie1,2015-04...

Posted by timebusker on 2018-02-13

Hive分析窗口函数—sum,avg,min,max

测试数据 cookie1,2015-04-10,1 cookie1,2015-04-11,5 cookie1,2015-04-12,7 cookie1,2015-04-13,3 cookie1,2015-04-14,2 cookie1,2015-04-15,4 cookie1,2015-04...

Posted by timebusker on 2018-02-12

Hive分析窗口函数—窗口和over()开窗函数

窗口就是分析函数分析时要处理的数据范围，就拿sum来说,它是sum窗口中的记录而不是整个分组中的记录，因此我们在想得到某个栏位的累计值时，我们需要把窗口指定到该分组中的第一行数据到当前行, 如果你指定该窗口从该分组中的第一行到最后一行,那么该组中的每一个sum值都会一样，即整个组的总和。 ...

Posted by timebusker on 2018-02-11

Kafka_安装使用

Single Node-Single Broker 单机环境部署——在一台主机上安装kafka集群： # 安装目录 cd /root/kafka_2.11-2.0.0 # 启动kafka自带的zookeeper服务器 bin/zookeeper-server-start.sh conf...

Posted by timebusker on 2018-01-31

关于Spring Boot微服务加载JAR内静态资源文件

关于Spring Boot 微服务加载JAR内静态资源文件。问题来源在开发微服务单个模块过程中，模块通过JAR应用部署，其间可能会出现我们希望在应用运行中读取需要某个包内文件进行处理。而根据 classpath:conf/core-site.xml 这种方式获取资源文件，但是...

Posted by timebusker on 2018-01-24

Kafka_基础知识

Apache Kafka 概述 Kafka 是一个高吞吐量、分布式的发布—订阅消息系统。据 Kafka 官方网站介绍，当前的 Kafka 已经定位为一个分布式流式处理平台（a distributed streaming platform），它最初由 LinkedIn 公司开发，后来成为...

Posted by timebusker on 2018-01-17

消息中间件概述

概述中间件非底层操作系统软件，非业务应用软件，不是直接给最终用户使用的，不能直接给客户带来价值的软件统称为中间件。消息中间件管制关注于数据的发送和接收，利用高效可靠的异步消息传递机制集成分布式系统，其优点： ① 解耦 ② 异步（...

Posted by timebusker on 2018-01-17

Scala快速入门-常用集合操作

知识点所有的集合都扩展自Iterable特质集合有三大类，分别为序列、集和映射几乎所有集合类，Scala都同时提供了可变和不可变的版本 Scala列表要么是空的，要么拥有一头一尾，其中尾部本身又是一个表列集是无先后次序的集合用LinkedHashSet来保...

Posted by timebusker on 2018-01-10