显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

PostgreSQL research

公益是一辈子的事, I'm 德哥@Digoal, Just Do it!

 
 
 
 
 
 
为了让跟多的朋友了解PostgreSQL, 我将这些年对PG的使用和研究做成了一些体系的培训视频和一些专题视频.(免费观看和下载)

希望通过这些视频帮到一些朋友, 同时对视频中的错误点烦请读者指出以更正, 谢谢.

目前在更新的视频是<PostgreSQL 数据库管理 5天>和<PostgreSQL 性能优化 3天>.

在线观看地址 :

http://www.tudou.com/home/digoal/

培训视频源文件以及文档下载地址 : 

http://pan.baidu.com/share/home?uk=1982970774#category/type=0

转载请注明出处.

针对一些网友的反馈, 重新设计的培训内容如下, 由浅入深, 适合不同的人群. 包含

<PostgreSQL发展历程,社区介绍,资源介绍 2小时>

<PostgreSQL SQL基础 2天>

<PostgreSQL 数据库管理 3天>

<PostgreSQL 数据库备份与恢复, 数据复制, 负载均衡与高可用 3天>

作者  | 2014-2-22 10:19:30 | 阅读(3619) |评论(24) | 阅读全文>>

[置顶] 给PostgreSQL爱好者的参考资料

2011-8-21 8:32:39 阅读48692 评论16 212011/08 Aug21

推荐书籍:

概念书籍:

《PostgreSQL Introduction and Concepts》

开发书籍:

《PostgreSQL开发必备参考手册》

管理类书籍:

《PostgreSQL 9 Administration Cookbook》

《PostgreSQL 9.0 High Performance》

《PostgreSQL Server Programming》

《How PostgreSQL Processes a Query》

了解内核 :

http://www.postgresql.org/developer/backend/

http://wiki.postgresql.org/wiki/Backend_flowchart

《数据库查询优化器的艺术:原理解析与SQL性能优化》 - 海翔老师

《 PostgreSQL 内核分析》 - 彭老师

官方手册:

作者  | 2011-8-21 8:32:39 | 阅读(48692) |评论(16) | 阅读全文>>

[置顶] 佛说摩诃般若波罗蜜多心经

2013-7-26 18:04:09 阅读3008 评论2 262013/07 July26

转载自<菩提树下>

http://www.djier.com

般若波罗蜜多心经

观自在菩萨,行深般若波罗蜜多时,照见五蕴皆空,度一切苦厄。

舍利子,色不异空,空不异色,色即是空,空即是色,受想行识,亦复如是。

舍利子,是诸法空相,不生不灭,不垢不净,不增不减。

是故空中无色,无受想行识,无眼耳鼻舌身意,无色声香味触法,无眼界,乃至无意识界。

无无明,亦无无明尽,乃至无老死,亦无老死尽。

无苦集灭道,无智亦无得。

以无所得故,菩提萨埵,依般若波罗蜜多故,心无挂碍,无挂碍故,无有恐怖,远离颠倒梦想,究竟涅磐。

三世诸佛,依般若波罗蜜多故,得阿耨多罗三藐三菩提。

故知般若波罗蜜多,是大神咒,是大明咒,是无上咒,是无等等咒,能除一切苦,真实不虚。

故说般若波罗蜜多咒,即说咒曰:

揭谛揭谛 波罗揭谛 波罗僧揭谛 菩提萨婆诃。

作者  | 2013-7-26 18:04:09 | 阅读(3008) |评论(2) | 阅读全文>>

ganglia gmond common deployment issues

2014-9-23 9:26:43 阅读9 评论0 232014/09 Sept23

在部署gmond时, 有几个需要注意的地方.

1. 反向hostname解析

因为gmond 在收到来自其他gmond的包时, 需要将源地址解析成主机名, 如果突发的量比较大, 或者DNS服务器比较慢的话, 可能导致gmond处理变慢. (If the lookups must

be handled by DNS, this can slow down the process. As it is a single-threaded design,

this scenario can have undesirable consequences.)

所以作为mute角色的gmond, 最好配置/etc/hosts, 保存网络中所有其他gmond的IP和主机名. 省去从dns解析源IP的麻烦.

例如 :

# vi /etc/hosts

172.16.3.221 db-172-16-3-221.sky-mobi.com

172.16.3.150 db-150.sky-mobi.com

172.16.3.151 db-151.sky-mobi.com

172.16.3.152 db-152.sky-mobi.com

172.16.3.153 db-153.sky-mobi.com

172.16.3.154 db-154.sky-mobi.com

......

2. 时钟同步

作者  | 2014-9-23 9:26:43 | 阅读(9) |评论(0) | 阅读全文>>

ganglia XDR(eXternal Data Representation) protocol

2014-9-22 17:27:29 阅读17 评论0 222014/09 Sept22

XDR is a binary protocol that is used by not only gmetric but also gmond itself to pass

metric packets from one instance to another. The XDR protocol can also be used to

insert metric packets into the metric stream by a third-party utility. In fact, gmetric is

a good example of how the XDR protocol can be used in this manner. gmetric, being

an external utility, uses the XDR protocol to submit metrics directly to a gmond instance

in the form of a binary packet. The metric information is submitted as a series of two

UDP packets: one containing metadata regarding the metric in question, and a second

packet containing the metric value. Table 5-3explains the lower-level format of XDR

作者  | 2014-9-22 17:27:29 | 阅读(17) |评论(0) | 阅读全文>>

zabbix template customize

2014-9-22 15:53:06 阅读18 评论0 222014/09 Sept22

截取自

https://raw.githubusercontent.com/pg-monz/pg_monz/master/pg_monz/pg_monz_template.xml

<item>

<name>Buffers_alloc</name>

<type>0</type>

<snmp_community/>

<multiplier>0</multiplier>

<snmp_oid/>

<key>psql.buffers_alloc[{$PGHOST},{$PGPORT},{$PGROLE},{$PGDATABASE}]</key>

<delay>300</delay>

<history>90</history>

<trends>365</trends>

<status>0</status>

<value_type>3</value_type>

<allowed_hosts/>

<units>buffers/s</units>

<delta>1</delta>

<snmpv3_securityname/>

<snmpv3_securitylevel>0</snmpv3_securitylevel>

<snmpv3_authpassphrase/>

<snmpv3_privpassphrase/>

<formula>1</formula>

作者  | 2014-9-22 15:53:06 | 阅读(18) |评论(0) | 阅读全文>>

zabbix template pg_monz for PostgreSQL

2014-9-22 15:12:18 阅读16 评论0 222014/09 Sept22

之前写过一些关于zabbix监控和ganglia监控的相关文章, 有兴趣的朋友可以参考

http://blog.163.com/digoal@126/blog/#m=0&t=1&c=fks_084075080085088066084084082095085080082075083081086071084

ganglia的应用场景有限, 强项是画图, 众多监控目标的实时收集采集等, 利用rrdtool特性可以在图形上做一些文章, 例如添加event区域, 图形属性聚合, compare等.

但是ganglia欠缺设置阈值告警的功能, 这类功能可以用如zabbix, nagios这样的监控软件来实现.

PostgreSQL要监控哪些东西, 可以参考 :

http://blog.163.com/digoal@126/blog/static/1638770402014252816497/

作者  | 2014-9-22 15:12:18 | 阅读(16) |评论(0) | 阅读全文>>

昨天和一位朋友聊天, 得知他们想在PostgreSQL 中加入类似Oracle RAC的功能,

这个功能的好处之一: 当一台主机DOWN掉后, 可以平滑的切到另一台主机, 不需要中断会话, 中断未提交的事务等.

当然, 不中断事务的话, 可能对性能影响较大, 因为事务信息必须在多个主机间同步.

不中断会话对性能的影响没有那么大, 除非是短连接的业务.

其他的功能也可以建立在此基础之上, 例如数据库负载均衡, 利用主机的计算能力并行处理等. (当然也需要考虑类似Oracle rac的gc buffer带来的影响问题, 如果使用infiniband这样的设备可能可以减轻交互带来的影响)

如果能实现的话, 对于分布式数据库系统也是非常有帮助的, 因为分布式数据库的HA比较麻烦, 例如PG-XC, 当一个数据节点挂掉之后, 实际上会对整个分布式数据库带来影响, 一般可以通过流复制, shared disk HA等方法来提高datanode的可用性, 但是不管使用流复制HA还是shared disk HA, 都有一个问题: 已经建立的会话肯定是要重新建立的, 正在运行的事务肯定是会失败的.

如果PostgreSQL有类似Oracle RAC的特性, 那么就可以将基于PostgreSQL的分布式数据库如PG-XC的可用性提高一个层次.

以前有一个项目叫PGCluster-II, 和Oracle RAC的思路非常相似, 但是这个项目现在好像没有踪迹了.

有兴趣的朋友可以阅读一下以下paper.

作者  | 2014-9-19 11:31:12 | 阅读(34) |评论(0) | 阅读全文>>

ganglia Spoof with Modules or gmetric

2014-9-19 10:41:16 阅读31 评论0 192014/09 Sept19

spoof的作用是篡改metric包里主机IP, 主机名, metric名的信息.

例如我们要在A主机监控其他主机或应用, 同时通过A主机发送到网络上的metric接收者, 正常情况下, metric发出去会携带A主机的IP, 主机名. 那么就导致接收方会按照IP将信息写入A主机对应的RRD文件, 在gweb上显示时, 也会显示在A主机的监控项里面.

但实际上我们希望它写入其他主机对应的rrd文件.

如图1, 在不使用spoof时, 如果从a主机将b,c,d的监控数据发出去, 会写入a主机IP对应的rrd file.

当使用spoof后, 我们可以纂改metric携带的IP, hostname, metric name.

因此可以从a主机发出, 并写入对应的rrd file. 如下图 :

在模块中使用变量SPOOF_HOST and  SPOOF_NAME后, gmond会将这个数据包按照spoof来处理.

Spoofing with Modules

Spoofing is a concept that allows an instance of gmond running on one host to report

the metrics that it gathers as if they were coming from an instance of gmond running

on another host. In other

作者  | 2014-9-19 10:41:16 | 阅读(31) |评论(0) | 阅读全文>>

ganglia metric extended by gmetric command line tool

2014-9-18 17:47:51 阅读21 评论0 182014/09 Sept18

上一篇文章简单的介绍了一下metric的相关知识 :

http://blog.163.com/digoal@126/blog/static/163877040201481835916946/

ganglia gmond实际上是将metric collection模块化来处理的, 包括自带的metric, 也是模块化来加载的, 所以非常适合扩展.

例如 :

[root@db-172-16-3-221 cpu]# cd /opt/ganglia-core-3.6.0/

[root@db-172-16-3-221 ganglia-core-3.6.0]# ll

total 24

drwxr-xr-x 2 root root 4096 Sep  9 11:03 bin

drwxr-xr-x 3 root root 4096 Sep 15 09:31 etc

drwxr-xr-x 2 root root 4096 Sep  9 11:03 include

drwxr-xr-x 3 root root 4096 Sep  9 11:03 lib64

drwxr-xr-x 2 root root 4096 Sep  9 11:03 sbin

作者  | 2014-9-18 17:47:51 | 阅读(21) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

浙江省 杭州市 狮子座

 发消息  写留言

 
Free PostgreSQL Support.
 
QQ276732431
E-Mail digoal@126.com
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 

日志分类

 
 
日志分类列表加载中...
 
 
 
 
 

FlagCounter

 
 
模块内容加载中...
 
 
 
 
 

新浪微博

 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2014

创建博客 登录  
 加关注