you啃up
- 浏览: 5469 次
- 性别:
-
最新评论
文章列表
spark学习，官网阅读完之后，练习官方给出的例子之后，就是阅读源码了，
学习spark，了解spark应用后，就是阅读源码了，阅读源码并不难，编译器打开就能知道，而要知道源码设计思路，为什么这么设计，就是一个比较困难的地方了
阅读spark源码，其核心要素就是围绕着RDD进行深入探究和spark的作业调度的生命周期。
1.理解RDD，需要把握RDD的两个核心操作，transformation 和 action
2.理解RDD的jobschedule，一个job又分为多个stage，每个阶段都包含多个RDD，其关系根据生成DAGSchedule进行调度，DAGSch ...
tableExistsException异常：造成hbase下不存在那张表，却也建不了那张表，也不能访问那张表
产生原因：当更换hbase服务器的时候，系统的hbase.rootdir与客户端的hbase.rootdir配置不一样，导致zookeeper建表时做了记录，却导致hmaster建表失败，即使修改了了配置也没法解决
排除方法：1，换个表名（不推荐）
2，如果是hbase托管的zookeeper，执行 hbase zkcli命令，然后再执行 rmr /hbase
3，若果zookeeper独自 ...
ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对，下面我以linux 11.5为例。用户名hadoop
1.生成公钥/私钥对。
登陆用户在命令行输入 ssh-keygen -t rsa,在、home/{username}/.ssh下生产id_rsa和id_rsa.pub
其中id_rsa.pub为公钥
2.免密码登陆其他机子
将id_rsa.pub复制到你想要登陆的机子的~/.ssh目录下，然后在机子上运行以下命令
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ，其作用 ...
gora实时化可参考官网提供的相关文档
http://gora.apache.org/current/tutorial.html#defining-data-beans
详细介绍了了初始化一个gora与hbase的相关配置
另外gora和hbase版本有严格的限制，大家选择时，可查找hbase对应的gora版本，另外gora在maven项目下的配置可查看杨尚川博客
http://yangshangchuan.iteye.com/blog/1953733
命令：disable 'tableName' --disable表。注：修改表结构时，必须要先disable表。命令：enable 'tableName' --使表可用命令：drop 'tableName' --删除表HBase基本命令下面我们再看看看HBase的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表 create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录 get '表名称', '行名称'查看表中的记录总数 count '表名称'删除记录 ...