you啃up的博客
you啃up · 共 5 篇文章
spark学习心得
spark学习,官网阅读完之后,练习官方给出的例子之后,就是阅读源码了, 学习spark,了解spark应用后,就是阅读源码了,阅读源码并不难,编译器打开就能知道,而要知道源码设计思路,为什么这么设计,就是一个比较困难的地方了 阅读spark源码,其核心要素就是围绕着RDD进行深入探究和spark的作业调度的生命周期。 1.理解RDD,需要把握RDD的两个核心操作,transformation 和 action 2.理解RDD的jobschedule,一个job又分为多个stage,每个阶段都包含多个RDD,其关系根据生成DAGSchedule进行调度,DAGSchedule包含多个RDD的…
2016-02-15 10:38 · spark · 评论(0)
hbase tableexistsexception问题
tableExistsException异常:造成hbase下不存在那张表,却也建不了那张表,也不能访问那张表 产生原因:当更换hbase服务器的时候,系统的hbase.rootdir与客户端的hbase.rootdir配置不一样,导致zookeeper建表时做了记录,却导致hmaster建表失败,即使修改了了配置也没法解决 排除方法:1,换个表名(不推荐) 2,如果是hbase托管的zookeeper,执行 hbase zkcli命令,然后再执行 rmr /hbase 3,若果zookeeper独自管理的,进入zookeeper目录,执行 bin/zkCli.sh ; rmr /hbase…
2016-01-07 11:42 · hbase基础 · 评论(0)
ssh免密码登陆和可能遇到的问题
ssh 无密码登录要使用公钥与私钥。linux下可以用用ssh-keygen生成公钥/私钥对,下面我以linux 11.5为例。用户名hadoop 1.生成公钥/私钥对。 登陆用户在命令行输入 ssh-keygen -t rsa ,在、 home/{username}/.ssh 下生产 id_rsa 和 id_rsa.pub 其中id_rsa.pub为公钥 2.免密码登陆其他机子 将 id_rsa.pub 复制到你想要登陆的机子的~/.ssh目录下,然后在机子上运行以下命令 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys ,其作用是 将公钥添加…
2015-12-28 15:34 · ssh免密码 · 评论(0)
大数据下gora-hbase
gora实时化可参考官网提供的相关文档 http://gora.apache.org/current/tutorial.html#defining-data-beans 详细介绍了了初始化一个gora与hbase的相关配置 另外gora和hbase版本有严格的限制,大家选择时,可查找hbase对应的gora版本,另外gora在maven项目下的配置可查看杨尚川博客 http://yangshangchuan.iteye.com/blog/1953733
2015-06-12 17:01 · gora hbase · 评论(0)
hbse在shell下的基本命令
命令:disable 'tableName' --disable表。注:修改表结构时,必须要先disable表。 命令:enable 'tableName' --使表可用 命令:drop 'tableName' --删除表 HBase基本命令 下面我们再看看看HBase的一些基本操作命令,我列出了几个常用的HBase Shell命令,如下: 名称 命令表达式 创建表 create '表名称', '列名称1','列名称2','列名称N' 添加记录 put '表名称', '行名称', '列名称:', '值' 查看记录 get '表名称', '行名称' 查看表中的记录总数 count '表名称' …
2015-03-26 11:24 · hbase基础 · 评论(0)