-
基于Hadoop数据仓库Hive1.2部署及使用荐
以下基于上篇Hadoop2.6集群部署：http://www.ib911.com/801/7876557/1661354接下来安装Hadoop数据仓库Hive，上节了解HBase简单使用，听起来HBase与Hive有些类似，概念也有点模糊，那我们先了解下他们之间有什么区别： HBase是一种分布式、面向列的NoSQL数据库，基于HDFS存储，以表的形式存储数据，表由行
-
菜菜光
发布于：2015-02-07 11:36:46
1
hive2solr问题小结荐
搞了一段时间，hive2solr的job终于可以稳定的跑了，实现使用hive向solr插数据，主要是实现RecordWriter接口，重写write方法和close方法。下面对遇到的问题一一列出：1.数据覆盖问题，使用原子更新参考：http://www.w47.cao660.com/1652935/15991372.重复构建solrserver和solrtable
-
菜菜光
发布于：2015-01-14 22:43:38
0
hive on tez踩坑记2-hive0.14 on tez荐
在测试hive0.14.0 on tez时遇到的问题比较多：1.在使用cdh5.2.0+hive0.14.0+tez-0.5.0测试时，首先遇到下面的问题java.lang.NoSuchMethodError: org.apache.tez.dag.api.client.Progress.getFailedTaskAttemptCount()I
&nb
-
hsbxxl
发布于：2014-12-19 12:36:50
2
RAC Archive log写入错误的节点荐
由于多个客户几次问到，RAC环境中，node2的归档日志，写入到node1的archive路径中。
这个问题导致一些客户在使用OGG的情况下，有时无法正确读取日志的问题。
那是什么原因导致的这个问题呢？
-
菜菜光
发布于：2014-12-18 23:07:45
0
实现hive proxy5-数据目录权限问题解决荐
hive创建目录时相关的几个hdfs中的类:org.apache.hadoop.hdfs.DistributedFileSystem，FileSystem 的具体实现类
org.apache.hadoop.hdfs.DFSClient，client操作hdfs文件系统的类
org.apache.hadoop.fs.permission.FsPermission 文件权限相关类，
-
菜菜光
发布于：2014-12-14 21:42:23
0
实现hive proxy2-hive操作hadoop时使用用户的地方荐
hive权限有两层，hive本身的验证和hadoop的验证。自定义hive的proxy功能时，hive层面的相关验证更改在http://www.p93.ib578.com/1652935/1587251 中已经提过，这里说下hive和hadoop以及本地文件系统相关的几个出现用户的地方：1.job的log文件session初始化时会初始化日志文件，主要在Sess
-
菜菜光
发布于：2014-11-04 23:59:35
0
hive执行流程(3)-Driver类分析1Driver类整体流程荐
Driver类是对org.apache.hadoop.hive.ql.processors.CommandProcessor.java接口的实现，重写了run方法，定义了常见sql的执行方式.public class Driver implements CommandProcessor具体的方法调用顺序：run--->runInterna
-
KVM镜像管理利器-guestfish使用详解荐
虚拟化,KVM,guestfish
-
菜菜光
发布于：2014-10-15 23:45:35
0
hive的shims相关类分析荐
在hive的源码中经常可以看到shims相关的类，shims相关类是用来兼容不同的hadoop和hive版本的，以HadoopShims为例org.apache.hadoop.hive.shims.HadoopShims是一个接口，具体的实现类为org.apache.hadoop.hive.shims.Hadoop20Shims
org.apache.hadoop.hive.shim
-
菜菜光
发布于：2014-10-15 00:04:36
0
hive启动debug问题荐
最近在debug hive的一个bug,之前都是使用打印日志来跟踪源码，这种方式效率比较低（每次更改了源码都要重新编译并替换线上的jar包）,java的应用可以支持remote debug的，hive也不例外，主要是通过hive --debug来实现.在运行hive --debug时遇到如下问题：ERROR: Cannot load this
