显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

魂醉的一亩二分地

人在江湖漂,哪能不挨刀

 
 
 
 
 
 

Greenplum分区表

2017-10-16 15:01:18 阅读0 评论0 162017/10 Oct16

Greenplum 分区表
Greenplum分区表的原理和postgresql的原理相同,都是把一张大表进行按照适合的维度进行分割,通过表的继承,规则,约束实现的。
在Greenplum中,一个表是否分区表保存在pg_partition中.

GP在建表的时候会有一个DISTRIBUTED BY选项,这个是表进行物理拆分,理解一下分区和分布:
1.分区,按照字段逻辑进行逻辑划分的区域,比如,时间按天,按月等等
2.分布,按照字段进行物理分区,会分散到每个segment
分布式为了并行查询效率,充分利用每个segment节点的资源,分区是为了减少查询时的数据扫描,对大表维护更加方便。

作者  | 2017-10-16 15:01:18 | 阅读(0) |评论(0) | 阅读全文>>

Greenplum 5.0.0 release

2017-9-14 11:31:28 阅读4 评论0 142017/09 Sept14

http://gpdb.docs.pivotal.io/500/relnotes/GPDB_500_README.html

作者  | 2017-9-14 11:31:28 | 阅读(4) |评论(0) | 阅读全文>>

Greenplum segment 锁处理

2017-9-7 10:46:34 阅读7 评论0 72017/09 Sept7

最近遇到truncate表,无法清理的情况,在master节点查看加锁情况,并未加锁
这种情况极有可能是segment节点相关表加了锁,所以遇到这种情况除了排查master节点的锁,所有的segment也要查看锁的持有情况,然后根据情况,进行处理。



master节点:
查看segment锁情况
select gp_execution_dbid(), pid, relation::regclass, locktype, mode, granted  
from gp_dist_random('pg_locks');

查看具体什么语句持有的锁

作者  | 2017-9-7 10:46:34 | 阅读(7) |评论(0) | 阅读全文>>

Greenplum template0 年龄冻结

2017-9-1 11:14:16 阅读15 评论0 12017/09 Sept1

template0数据库默认是不允许连接的,可以查看pg_database看对应字段,如下:
datallowconn字段为f,不允许连接
gpadmin=# select * from pg_database where datname='template0';
-[ RECORD 1 ]-+---------------------------------
datname       | template0
datdba        | 10
encoding      | 6
datistemplate | t
datallowconn

作者  | 2017-9-1 11:14:16 | 阅读(15) |评论(0) | 阅读全文>>

Postgresql vacuum freeze相关参数

2017-8-14 10:42:19 阅读13 评论0 142017/08 Aug14

先看3个参数:
autovacuum_freeze_max_age           | 500000
vacuum_freeze_min_age               | 10
vacuum_freeze_table_age             | 100000

首先如果pg_class表age(relfrozenxid)大于autovacuum_freeze_max_age,那么数据库系统会自动做vacuum,回收年龄

没有达到500000之前,不做vacuum

作者  | 2017-8-14 10:42:19 | 阅读(13) |评论(0) | 阅读全文>>


Greenplum告警错误

检查master数据库年龄

gpadmin=# SELECT datname, datfrozenxid ,age(datfrozenxid) FROM pg_database ORDER BY 1 DESC ;

检查segment数据库年龄

gpadmin=# SELECT gp_segment_id,datname, age(datfrozenxid) FROM gp_dist_random('pg_database') ORDER BY 3 DESC;

作者  | 2017-7-31 17:45:24 | 阅读(31) |评论(0) | 阅读全文>>

Greenplum segment down实例解析

2017-6-29 15:29:25 阅读50 评论0 292017/06 June29

由于数据分析师语句问题,导致segment好几个节点down
那么需要恢复segment
gpstop -r -M fast
此处省略一万字
20170629:14:38:30:041991 gpstop:192-168-102-67:gpadmin-[INFO]:-Stopping master standby host 192.168.102.68 mode=fast
20170629:14:38:32:041991 gpstop:192-168-102-67:gpadmin-[INFO]:-Successfully shutdown standby process on 192.168.102.68
20170629:14:38:33:041991 gps

作者  | 2017-6-29 15:29:25 | 阅读(50) |评论(0) | 阅读全文>>

CDH HDFS failover 配置

2017-5-25 16:33:19 阅读18 评论0 252017/05 May25

CDH默认的有一个(NN)namenode,一个(SNN)secondary namenode,但是这里要注意的是,SNN并不提供failover的能力
也就是说NN挂了,SNN是不会接管服务的,只能从SNN恢复NN,然后启动NN。

CDH也提供了,HDFS failover的能力,但是要依靠zookeeper服务。

配置failover需要具备以下几点要求:
1.namenode和standby namenode在硬件上面最好一致,这样failover后才不会出现性能瓶颈
2.JournalNode部署,最好部署NN,或者SNN上面,磁盘用本地磁盘,不要用SAN,NAS存储。

作者  | 2017-5-25 16:33:19 | 阅读(18) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 我要留言
 
 
 
留言列表加载中...
 
 
 
 
 
 
 
列表加载中...
 
 
 
 
 
 
 
博友列表加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 

浙江 杭州 白羊座

 发消息  写留言

 
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017

注册 登录  
 加关注