显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

魂醉的一亩二分地

人在江湖漂,哪能不挨刀

 
 
 
 
 
 

Greenplum segment down实例解析

2017-6-29 15:29:25 阅读0 评论0 292017/06 June29

由于数据分析师语句问题,导致segment好几个节点down
那么需要恢复segment
gpstop -r -M fast
此处省略一万字
20170629:14:38:30:041991 gpstop:192-168-102-67:gpadmin-[INFO]:-Stopping master standby host 192.168.102.68 mode=fast
20170629:14:38:32:041991 gpstop:192-168-102-67:gpadmin-[INFO]:-Successfully shutdown standby process on 192.168.102.68
20170629:14:38:33:041991 gps

作者  | 2017-6-29 15:29:25 | 阅读(0) |评论(0) | 阅读全文>>

CDH HDFS failover 配置

2017-5-25 16:33:19 阅读8 评论0 252017/05 May25

CDH默认的有一个(NN)namenode,一个(SNN)secondary namenode,但是这里要注意的是,SNN并不提供failover的能力
也就是说NN挂了,SNN是不会接管服务的,只能从SNN恢复NN,然后启动NN。

CDH也提供了,HDFS failover的能力,但是要依靠zookeeper服务。

配置failover需要具备以下几点要求:
1.namenode和standby namenode在硬件上面最好一致,这样failover后才不会出现性能瓶颈
2.JournalNode部署,最好部署NN,或者SNN上面,磁盘用本地磁盘,不要用SAN,NAS存储。

作者  | 2017-5-25 16:33:19 | 阅读(8) |评论(0) | 阅读全文>>

CDH (cloudeta's distribution for hadoop) 添加节点

2017-5-24 16:00:14 阅读9 评论0 242017/05 May24

CDH (cloudera's distribution for hadoop)是cloudera公司发布的的hadoop,是基于apache hadoop版本研发的,优点是部署方便,管理方便,也是最流行的发行版本,拥有最多的部署案例,今天我们就介绍一下安装使用。


上一篇文章介绍了CM得安装,安装好CM后,那么我们就可以安装CDH了,我这里以新增节点的方式介绍一下
新增主机信息:
192.168.100.34

作者  | 2017-5-24 16:00:14 | 阅读(9) |评论(0) | 阅读全文>>

Cloudera manager install

2017-5-23 16:05:05 阅读39 评论0 232017/05 May23

cloudera manager 是CDH(cloudera's distribution for hadoop)的管理软件,所以在安装CDH之前,我们必须先安装cloudera manager

有三种安装方式:
a.自动在线安装,服务器需要访问外网,下载资源,优点是简单
b.手动安装包安装,比如rpm,yum等等
c.手动tarballs安装,和apache安装差不多
见官网:https://www.cloudera.com/documentation/enterprise/latest/topics/installation.html,有三种不同方式的安装步骤

作者  | 2017-5-23 16:05:05 | 阅读(39) |评论(0) | 阅读全文>>

linux 大硬盘格式化挂载使用

2017-5-16 12:39:37 阅读6 评论0 162017/05 May16

这里将不适用fdisk,应为fdisk最大分区是2T,使用parted进行分区,格式为gpt
parted /dev/sdd    
GNU Parted 2.1
Using /dev/sdd
Welcome to GNU Parted! Type 'help' to view a list of commands.
(parted) mklabel gpt                                                      #分区表格式为gpt
Warning: The existing disk label on /dev/sdd will be destroyed and all data on this disk will be

作者  | 2017-5-16 12:39:37 | 阅读(6) |评论(0) | 阅读全文>>

Postgresql 归档失败

2017-5-15 14:47:43 阅读37 评论0 152017/05 May15

9.2.9版本的postgresql报以下错误

2017-05-12 16:15:03.944 CST,,,6641,,58802902.19f1,4789,,2017-01-19 10:48:34 CST,,0,LOG,00000,"archive command failed with exit code 1","The failed archive command was: DIR=/pgarch/arch/`date +%F`; sudo test ! -d $DIR && sudo mkdir $DIR; sudo test ! -f $DIR/0000000600006B9B000000E5

作者  | 2017-5-15 14:47:43 | 阅读(37) |评论(0) | 阅读全文>>

Postgresql GROUPING SETS、CUBE和ROLLUP

2017-5-10 17:24:11 阅读6 评论0 102017/05 May10

 group sets
 select * from test;
 id  |  name   
-----+---------
   1 | apple
   2 | apple
   3 | banana
   4 | orange
   5 | pumpkin
   2 | apple
   2 | apple
   5 | orange
   3 | apple

作者  | 2017-5-10 17:24:11 | 阅读(6) |评论(0) | 阅读全文>>

Postgresql窗口函数

2017-5-9 15:31:31 阅读5 评论0 92017/05 May9

row_number()
rank()
dense_rank()
percent_rank()
cume_dist()
ntile()
lag()
lead()
first_value()
last_value()
nth_value()


举例:
select * from test order by name;
 id  |  name   
-----+---------

作者  | 2017-5-9 15:31:31 | 阅读(5) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 我要留言
 
 
 
留言列表加载中...
 
 
 
 
 
 
 
列表加载中...
 
 
 
 
 
 
 
博友列表加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 

浙江 杭州 白羊座

 发消息  写留言

 
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017

注册 登录  
 加关注