大佬教程收集整理的这篇文章主要介绍了hive学习笔记之五:分桶,大佬教程大佬觉得挺不错的,现在分享给大家,也给大家做个参考。
https://github.com/zq2599/blog_demos
内容:所有原创文章分类汇总及配套源码,涉及Java、Docker、Kubernetes、DevOPS等;
本文是《hive学习笔记》的第五篇,前文学习了分区表,很容易发现分区表的问题:
set hive.enforce.buckeTing = true;
接下来先准备外部表t13,往里面添加一些数据,将t13作为后面分桶表的数据源:
create external table t13 (name String, agE int, province String, city String)
row format delimited
fields terminated by ','
LOCATIOn '/data/external_t13';
tom,11,guangdong,guangzhou
jerry,12,guangdong,shenzhen
tony,13,shanxi,xian
john,14,shanxi,hanzhong
load data
local inpath '/home/hadoop/temp/202010/25/013.txt'
into table t13;
create table t14 (name String, agE int, province String, city String)
clustered by (province, city) into 16 buckets
row format delimited
fields terminated by ',';
from t13
insert overwrite table t14
SELEct name, age, province, city;
执行以下语句,取样查看t14的数据:
hive> SELEct @R_874_4777@14 tablesample(bucket 1 out of 2 on province, city);
OK
tom 11 guangdong guangzhou
john 14 shanxi hanzhong
Time taken: 0.114 seconds, Fetched: 2 row(s)
微信搜索「程序员欣宸」,我是欣宸,期待与您一同畅游Java世界... https://github.com/zq2599/blog_demos
以上是大佬教程为你收集整理的hive学习笔记之五:分桶全部内容,希望文章能够帮你解决hive学习笔记之五:分桶所遇到的程序开发问题。
如果觉得大佬教程网站内容还不错,欢迎将大佬教程推荐给程序员好友。
本图文内容来源于网友网络收集整理提供,作为学习参考使用,版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ:384754419,请注明来意。