记录下官方文档上讲的比较少,觉得有用的hive相关知识,绝对干货。
命令:
表明tb1
describe extended tb1;返回表tb1字段,存储格式类型,位置,修改时间等等关于表的详细信息
show functions;显示可以用的函数列表,包括可用的udf函数。
describe function length; 返回length函数的说明,执行输出length(str) - Returns the length of str
set hive.enforce.bucketing;执行显示某个属性的只,这里显示是否确保表中使用桶hive.enforce.bucketing=false,可以通过set hive.enforce.bucketing=true来修改为true;
hive --hiveconf hive.root.logger=DEBUG,console 设置进入本次session中的参数值,这里设置调试信息发送到控制台
set hive.groupby.skewindata=true 在执行某条可能会出现数据倾斜的HQL前设置,会分两个阶段来执行HQL解决数据倾斜。
explainHQL可以查看HQL的查询计划
SHOW PARTITIONS page_view;
SHOW TABLES 'page.*';
DESCRIBE EXTENDED page_view PARTITION (ds='2008-08-08');
ALTER TABLE tab1 ADD COLUMNS (c1 INT COMMENT 'a new int column', c2 STRING DEFAULT 'def val');
对于数据量比较大的排重select count(sid) from tb1 group by sid;会比select count(distinct sid) from tb1更有效。
hive0.6.0以后支持create datebase dbname,use dbname,drop database dbname来进行分库操作
hive 表分为托管表和外部表
托管表drop表时元数据和数据会被一起删除。
外部表由自己来控制数据的创建和删除,drop表不会删除数据,外部表的位置需要在建表的时候指明。建表create external table tb1....
load数据是一个移动操作,加上local关键字,hive会把本地文件系统的数据复制到hive仓库目录,在同一个文件系统中就会变成复制
查看rcfile格式存储的文件内容
hive -rcfilecat /user/hive/warehouse/tb1/dt=20120325/hour=15/000000_0
顺便说下hadoop查看顺序文件内容,可以使压缩文件,例如
hadoop fs -text /user/hive/warehouse/tb1/dt=20120317/20120317.lzo
分享到:
相关推荐
Hive原理/Hive SQL/Hive 函数/数据仓库分层和建模/Hive sql优化/数据倾斜
Hive学习总结及应用.pdf
由于 Hive 采用了类似SQL 的查询语言 HQL(Hive Query Language),因此很容易将 Hive ...数据库可以用在 Online 的应用中,但是Hive 是为数据仓库而设计的,清楚这一点,有助于从应用角度理解 Hive 的特性。
hadoop-hive的hql知识点详细总结,纯干货,建表,分区,分桶,hive的dml语句,hive的函数,hive的序列化与反序列化
个人在学习和测试hive过程中总结的几点调优新的!
hive安装,部署,简单测试helloworld
hive、hadoop安装详细过程;适用于初学者。
本文档为总结的hive基础知识,包括hive服务、变量和属性、日志、表操作……等基础知识。
0.1. Hive入门 0.2. 安装与部署 0.3. 基本语法 0.4. 读模式与写模式 0.5. 日志调试 0.6. Hive体系结构 0.7. metastore ........ 0.11. 数据的管理 0.12. 数据的查询 0.13. 表连接 ........ 0.18. Hive的文件格式 ...
本文档主要总结了hive的参数优化,对hive的理解具有一定的作用
hive面试题 总结汇总
hive数仓、hive SQL 、 hive自定义函数 、hive参数深入浅出
hive ,优化总结,本文涉及HIVE的参数设置,H—SQL关系的写法中需要注意的地方。
大数据技术基础实验报告-Hive安装配置与应用
02hive学习总结及应用.pdf
02 Hive学习总结及应用.pdf
hive调优总结,网络上分享的hive常见优化细节,join、shuffle优化等等。很不错
查找性能低下的原因;分析性能低下的根源;从配置及程序角度进行优化。