思维要走到多数人的前面，甚至是对立面

[置顶] 经典古诗词

更新1015 赞美美句 我想不出任何你需要改变的地方，我爱你的全部。 普天之下唯一能够影响他人的方式，就是找出他们想要什么，并且教给他们如何获得。 如果成功有诀窍的话，那就是我们能洞悉他人的立场，同时还能兼顾自己和他人的立场...

Posted by timebusker on 2021-07-19

MyBatis系统总结—MyBatis映射器配置细则

前面两篇博客多次提到Mapper映射器，也做了一些简单讲解，实际中，映射器的元素还是非常多， 有select、insert、update、delete、parameterMap、sql、resultMap、cache、cache-ref等。 select select元素用来执行一条查询语句...

Posted by timebusker on 2017-12-22

MyBatis系统总结—MyBatis常用配置

Properties配置 在上文中，对于数据库的信息我们将之保存在一个db.properties文件中，然后在mybatis-conf.xml文件中通过properties节点将之引入。 实际上，mybatis给我们提供的properties的配置方式不止这一种，我们也可以在propertie...

Posted by timebusker on 2017-12-21

Hive-压缩数据存储格式

Avro Files、ORC、RCFile、Parquet、SequenceFile等属于文件储存的一种格式，其已经默认包含了文件压缩算法，如LZO、Gzip等。 在某些情况下，将压缩的数据保存在Hive表中比未压缩存储的性能更好;无论是在磁盘使用方面还是在查询性能方面。 可以将压...

Posted by timebusker on 2017-12-20

MyBatis系统总结—初识MyBatis

说道JavaWeb，很多人都知道SSH，这里的H代表了hibernate，这是一个数据库访问框架，hibernate在Java开发中的地位也是相当高， 众所周知的JPA标准就是由hibernate主导完成的。然而，数据库访问框架除了hibernate之外，还有另外一个大名鼎鼎的数据库框架，那就...

Posted by timebusker on 2017-12-20

Hive-性能优化

Fetch抓取 Fetch抓取是指，Hive中对某些情况的查询可以不必使用MapReduce计算。 例如：SELECT * FROM employees;在这种情况下，Hive可以简单地读取employee对应的存储目录下的文件，然后输出查询结果到控制台。 hive.fetc...

Posted by timebusker on 2017-12-19

Hive-Hive使用Spark on Yarn作为执行引擎

Hive从1.1之后，支持使用Spark作为执行引擎，配置使用Spark On Yarn作为Hive的执行引擎，首先需要注意以下两个问题： Hive的版本和Spark的版本要匹配 具体来说，你使用的Hive版本编译时候用的哪个版本的Spark，那么就需要使用相同版本的Spar...

Posted by timebusker on 2017-12-17

Hive-HiveServer服务高可用

在生产环境中使用Hive，强烈建议使用HiveServer2来提供服务，好处很多： 在应用端不用部署Hadoop和Hive客户端； 相比hive-cli方式，HiveServer2不用直接将HDFS和Metastore暴漏给用户； 有安全认证机制，并且支持自定义权限校验； 有...

Posted by timebusker on 2017-12-15

Hive-ETL开发样例

编写HSQL脚本 -- 经纬度信息; drop table if exists tb_test_kk_tmp; create table tb_test_kk_tmp as select kkbh,jd,wd from tb_test where udf_is_null(kkbh)=1 a...

Posted by timebusker on 2017-12-15

Hive-程序开发（UDF/UDAF/UDTF/JDBC）

UDF函数开发 Maven依赖 <dependency> <groupId>org.apache.hive</groupId> <artifactId>hive-exec</artifactId> ...

Posted by timebusker on 2017-12-14

Hive-常用的函数及函数定义

常用函数 常用函数太多，不举例介绍，有详细文档 UDF UDF —— User Definition Function 用户定义函数 一路输入，一路输出 sin(30°)=1/2 # 开发案例 UDAF UDAF —— User Definition Aggre...

Posted by timebusker on 2017-12-13