数据仓库(十一)---hive使用小技巧积累(持续更新)

我们在本章节会持续更新关于hive使用过程中的一些实用的小技巧

HIVE 查询显示列名 及 行转列显示

hive shell;
set hive.cli.print.header=true; // 打印列名 
set hive.cli.print.row.to.vertical=true; // 开启行转列功能, 前提必须开启打印列名功能 
set hive.cli.print.row.to.vertical.num=1; // 设置每行显示的列数

Hive查看数据表信息的方法

方法1:查看表的字段信息

desc table_name;

方法2:查看表的字段信息及元数据存储路径

desc extended table_name;

方法3:查看表的字段信息及元数据存储路径

desc formatted table_name;

备注:查看表元数据存储路径时,推荐方法3,信息比较清晰。

Hive查看表容量大小

方法1-ls

查看普通表的容量
查看一个hive表文件总大小时(单位为Byte),我们可以通过一行脚本快速实现,其命令如下:

$ hadoop fs -ls  /user/hive/warehouse/table_name|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a}'

列出该表的详细文件

$ hadoop fs -ls  /user/hive/warehouse/table_name

查看分区表的容量

$ hadoop fs -ls  /user/hive/warehouse/table_name/yyyymm=201802|awk -F ' ' '{print $5}'|awk '{a+=$1}END
{print a/(1024*1024*1024)}'

列出该表的详细文件列表

$ hadoop fs -ls  /user/hive/warehouse/table_name/yyyymm=201802

方法2-du

查看该表总容量大小,单位为G

$ hadoop fs -du /user/hive/warehouse/table_name|awk '{ SUM += $1 } END { print a/(1024*1024*1024)}'
已标记关键词 清除标记
相关推荐
©️2020 CSDN 皮肤主题: Age of Ai 设计师:meimeiellie 返回首页
实付 59.90元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值