`
yinhudongtian
  • 浏览: 11635 次
  • 性别: Icon_minigender_1
  • 来自: 北京
社区版块
存档分类
最新评论

Impala整合HBase

阅读更多
   将HBase配置文件hbase-site.xml拷贝到$IMPALA_HOME/conf目录下,或者手工创建一个hbase-site.xml文件,只需添加hbase.zookeeper.quorum属性值即可。

    在HBase中创建与Hive关联的表,可以通过HBase Shell或者程序创建,此文通过shell创建,命令如下:
>create ‘table_name’,’d’

     在Hive中创建与HBase中表相关联的外部表,命令如下:
CREATE TABLE hbase_ table_name (key type, col1 type,col2 type)  
STORED BY
'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
WITH SERDEPROPERTIES ( 
"hbase.columns.mapping" = ":key,d: col1,d: col2"  )
TBLPROPERTIES("hbase.table.name" = " table_name "); 

注意:
1.因为在Hive创建的外部表需要在Impala中使用,因此只能定义为boolean, tinyint, smallint, int, bigint, float, double, timestamp, string;
2.如果数据是从HBase中插入的,key的定义类型只能为string,否则该字段会为空;如果数据是从Hive中Load导入的,key的定义类型只要与Hive导入文件的该字段定义一致即可,但建议定义为string。

   从Impala-Shell查看Impala与HBase整合结果,记得查询之前先要刷新元数据。

分享到:
评论

相关推荐

    简单之美 Impala与HBase整合实践

    对于复杂的查询统计类需求,如果直接基于HBase API来实现,性能非常差,或者,可以通过实现MapReduce程序来进行查询分析,这也继承了MapReduce所具备的延迟性。

    Impala-Kudu-HBase-Spark安装文档

    Impala-Kudu-HBase-Spark安装文档

    springboot+mybatis+impala/mysql整合Demo

    springboot+mybatis+impala/mysql整合Demo , 内嵌PageHelper插件已整合,需要根据pom.xml中的备注操作即可使用mysql和PageHelper, impala 不支持PageHelper插件

    impala-3.3.pdf

    Impala provides fast, interactive SQL queries directly on your Apache Hadoop data stored in HDFS, HBase, or theAmazon Simple Storage Service (S3). In addition to using the same unified storage ...

    impala依赖cdh版本的hadoop-hbase-hive相关jar包.zip

    ambari集成impala-3.0.0依赖cdh版本的hadoop-hbase-hive相关jar包,查hive外部表(基于hbase)

    apache atlas 2.3 hook 包

    包括hive,hbase,impala,hbase,sqoop 等

    springboot集成impala(包含yml、impala配置类、pom.xml、impala jar)

    springboot集成impala,包含yml文件、impala配置Bean、ImpalaJDBC41-2.6.4.1005.jar和impala在pom.xml中的配置,有问题留言

    大数据平台CDH和Impala的使用

    Cloudera版本(Cloudera’sDistributionIncludingApacheHadoop,简称CDH),基于Web的用户界面,支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop,简化了大数据平台的安装、使用难度...

    Impala大数据分析引擎课程

    简言之impala作为大数据实时查询分析工具,具有查询速度快,灵活性高,易整合,可伸缩性强等特点。 但是在一些实时性要求很高的场景中,一方面满足实时性要求,一方面提升用户体验。Impala因其快速的响应能力...

    Impala-cdh集群安装部署

    由于Impala的版本是CDH的,所以安装Impala的涉及到的Hive、Hadoop、Spark、Hbase等环境也要统一使用CDH版本。 本文档部署impala时所用到的Hive、Hadoop等环境的安装方式是使用tar包方式安装的(cdh版本的tar包安装...

    impala-2.8

    Impala provides fast, interactive SQL queries directly on your Apache Hadoop data stored in HDFS, HBase, or the Amazon Simple Storage Service (S3). In addition to using the same unified storage ...

    Impala_index(资源整合)

    项目迭代中用Impala逐步替换原有的Hive作为查询组件,速度有了脱胎换骨的飞跃。但在把原先按列存储的表转换成两个按行存储的表之后,联表查询的表现不那么给力了(原先对Hive的十倍速度优势变成了两倍)。

    Apache Impala Guide impala-3.3.pdf

    Apache Impala Guide impala-3.3

    BIEE配置ODBC连接impala

    BIEE配置ODBC连接impala BIEE配置ODBC连接impala BIEE配置ODBC连接impala

    Impala大数据分析快速入门视频教程

    从零开始讲解大数据分布式计算的发展及Impala的应用场景,对比Hive、MapReduce、Spark等类似框架讲解内存式计算原理,基于Impala构建高性能交互式SQL分析平台 课程亮点 1,知识体系完备,从小白到大神各阶段读者均...

    dbeaver impala jdbc连接包

    dbeaver中连接impala所需jdbc包,适用于CDH5.16.2,impala2.12

    impala的使用教程

    impala的使用教程impala的使用教程impala的使用教程impala的使用教程impala的使用教程

    Impala的JDBC编程驱动

    impala的驱动下载,com.cloudera.impala.jdbc41.Driver

    大数据Impala架包

    用于JDBC连接Impala的工具包

Global site tag (gtag.js) - Google Analytics