浏览: 3474
2018年01月17日
两个表m,n之间按照on条件连接,m中的一条记录和n中的一条记录组成一条新记录。join等值连接(内连接),只有某个值在m和n中同时存在时。left outer join 左外连接,左边表中的值无论是否在b中存在时,都输出;右边表中的值,只有在左边表中存在时才输出。right outer joi...
浏览: 3293
2018年01月17日
group by按照某些字段的值进行分组,有相同值放到一起。样例select col1 [,col2] ,count(1),sel_expr(聚合操作)from tablewhere condition -->Map端执行group by col1 [,col2] -->Re...
浏览: 2971
2018年01月17日
一:order byorder by会对输入做全局排序,因此只有一个Reducer(多个Reducer无法保证全局有序),然而只有一个Reducer,会导致当输入规模较大时,消耗较长的计算时间。关于order by的详细介绍请参考这篇文章:Hive Order by操作。二:sort bysor...
浏览: 3259
2018年01月16日
Hive查询语言(HiveQL)是一种查询语言,Hive处理在Metastore分析结构化数据。本章介绍了如何使用SELECT语句的WHERE子句。SELECT语句用来从表中检索的数据。 WHERE子句中的工作原理类似于一个条件。它使用这个条件过滤数据,并返回给出一个有限的结果。内置运算符和函数...
浏览: 3748
2018年01月13日
视图在Hive的用法和SQL视图用法相同。它是一个标准的RDBMS概念。我们可以在视图上执行所有DML操作。创建视图 视图是纯逻辑对象并不关联任何存储,下面的语句使用给定view_name名称创建视图,若view_name与现存的表或者视图重名,则出错。CREATE VIEW [IF ...
浏览: 2854
2018年01月12日
内置函数Hive支持以下内置函数:返回类型签名描述BIGINTround(double a)返回BIGINT最近的double值BIGINTfloor(double a)返回最大BIGINT值等于或小于double。BIGINTceil(double a)它返回最小BIGINT值等于或大于dou...
浏览: 2960
2018年01月12日
本章介绍Hive的内置运算符。在Hive有四种类型的运算符:关系运算符算术运算符逻辑运算符复杂运算符关系运算符这些操作符被用来比较两个操作数。下表描述了在Hive中可用的关系运算符:运算符操作描述A = B所有基本类型如果表达A等于表达B,结果TRUE ,否则FALSE。A != B所有基本类型...
浏览: 3312
2018年01月06日
1、在Hive Select查询中一般会扫描整个表内容,会消耗很多时间做没必要的工作。有时候只需要扫描表中关心的一部分数据,因此建表时引入了partition概念。2、分区表指的是在创建表时指定的partition的分区空间。3、如果需要创建有分区的表,需要在create表的时候调用可选参数pa...
浏览: 3333
2017年12月28日
内部表和外部表Hive中的表分为内部表(MANAGED_TABLE)和外部表(EXTERNAL_TABLE)。内部表和外部表最大的区别内部表DROP时候 会删除 HDFS上的数据;外部表DROP时候 不会删除 HDFS上的数据;内部表适用场景:Hive中间表、结果表、一般不需要从外部(如本地文件...
浏览: 3547
2017年12月27日
删除表会移除表的元数据和数据,而HDFS上的数据,如果配置了Trash,会移到.Trash/Current目录下。删除外部表时,表中的数据不会被删除。当从Hive Metastore删除表,它删除了表/列的数据及其元数据。它可以是一个正常的表(存储在Metastore)或外部表(存储在本地文件系...
浏览: 3182
2017年12月23日
我们在上一章节介绍了hive如何创建表,本章节主要介绍查询表和修改表的语法。查看所有的表进入Hive-Cli,使用use databasename;切换到数据库之后,执行show tables; 即可查看该数据库下所有的表:hive> show tables;OKlxw1lxw1234table...
浏览: 2975
2017年12月19日
hive创建表的语法格式和咱们所熟知的sql非常类似,如下:CREATE TABLE语句Create Table是用于在Hive中创建表的语句。语法和示例如下:CREATE [TEMPORARY] [EXTERNAL] TABLE [IF NOT EXISTS] [db_name.] table...
浏览: 4935
2017年12月15日
-修改数据库语法修改数据库属性:ALTER (DATABASE|SCHEMA) database_nameSET DBPROPERTIES (property_name=property_value, …);实例--只能修改数据库的键值对属性值。数据库名和数据库所在的目录位置不能修改alter ...
浏览: 3223
2017年12月14日
以下操作在hdpsrc3 节点上操作一,下载安装包1,下载hive http://mirrors.hust.edu.cn/apache/ 得到apache-hive-1.1.0.tar.gz ,放到该目录下 /homepsrc/ 2,下载mysql http://dev.mysql.c...
浏览: 5105
2017年12月12日
在创建书库之前,我们首先看看hive数据库和表的结构图,这样子初学者更能简单易懂。一、Hive的数据库和表从图上可以看出,Hive作为一个“数据库”,在结构上积极向传统数据库看齐,也分数据库(Schema),每个数据库下面有各自的表组成。1. Hive在HDFS上的默认存储路径Hive的数据都...
浏览: 4622
2017年12月03日
2.1 createtable 2.1.1 总述 l CREATETABLE 创建一个指定名字的表。如果相同名字的表已经存在,则抛出异常;用户可以用 IF NOT EXIST 选项来忽略这个异常。 l EXTERNAL关键字可以让用户创建一个外部表,在建表的同时指定一个指向实际数据的路径...
浏览: 3632
2017年11月20日
摘要: Hive 是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言,称为 QL,它允许熟悉 SQL 的用户查询数据。同时...