显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

PostgreSQL research

公益是一辈子的事, I'm 德哥@Digoal, Just Do it!

 
 
 
 
 
 
为了让跟多的朋友了解PostgreSQL, 我将这些年对PG的使用和研究做成了一些体系的培训视频和一些专题视频.(免费观看和下载)

希望通过这些视频帮到一些朋友, 同时对视频中的错误点烦请读者指出以更正, 谢谢.

目前在更新的视频是<PostgreSQL 数据库管理 5天>和<PostgreSQL 性能优化 3天>.

在线观看地址 :

http://www.tudou.com/home/digoal/

培训视频源文件以及文档下载地址 : 

http://pan.baidu.com/share/home?uk=1982970774#category/type=0

转载请注明出处.

针对一些网友的反馈, 重新设计的培训内容如下, 由浅入深, 适合不同的人群. 包含

<PostgreSQL发展历程,社区介绍,资源介绍 2小时>

<PostgreSQL SQL基础 2天>

<PostgreSQL 数据库管理 3天>

<PostgreSQL 数据库备份与恢复, 数据复制, 负载均衡与高可用 3天>

作者  | 2014-2-22 10:19:30 | 阅读(3395) |评论(23) | 阅读全文>>

[置顶] 给PostgreSQL爱好者的参考资料

2011-8-21 8:32:39 阅读48443 评论16 212011/08 Aug21

推荐书籍:

概念书籍:

《PostgreSQL Introduction and Concepts》

开发书籍:

《PostgreSQL开发必备参考手册》

管理类书籍:

《PostgreSQL 9 Administration Cookbook》

《PostgreSQL 9.0 High Performance》

《PostgreSQL Server Programming》

《How PostgreSQL Processes a Query》

了解内核 :

http://www.postgresql.org/developer/backend/

http://wiki.postgresql.org/wiki/Backend_flowchart

《数据库查询优化器的艺术:原理解析与SQL性能优化》 - 海翔老师

《 PostgreSQL 内核分析》 - 彭老师

官方手册:

作者  | 2011-8-21 8:32:39 | 阅读(48443) |评论(16) | 阅读全文>>

[置顶] 佛说摩诃般若波罗蜜多心经

2013-7-26 18:04:09 阅读2970 评论2 262013/07 July26

转载自<菩提树下>

http://www.djier.com

般若波罗蜜多心经

观自在菩萨,行深般若波罗蜜多时,照见五蕴皆空,度一切苦厄。

舍利子,色不异空,空不异色,色即是空,空即是色,受想行识,亦复如是。

舍利子,是诸法空相,不生不灭,不垢不净,不增不减。

是故空中无色,无受想行识,无眼耳鼻舌身意,无色声香味触法,无眼界,乃至无意识界。

无无明,亦无无明尽,乃至无老死,亦无老死尽。

无苦集灭道,无智亦无得。

以无所得故,菩提萨埵,依般若波罗蜜多故,心无挂碍,无挂碍故,无有恐怖,远离颠倒梦想,究竟涅磐。

三世诸佛,依般若波罗蜜多故,得阿耨多罗三藐三菩提。

故知般若波罗蜜多,是大神咒,是大明咒,是无上咒,是无等等咒,能除一切苦,真实不虚。

故说般若波罗蜜多咒,即说咒曰:

揭谛揭谛 波罗揭谛 波罗僧揭谛 菩提萨婆诃。

作者  | 2013-7-26 18:04:09 | 阅读(2970) |评论(2) | 阅读全文>>

quick maintenance postgresql data use cursor

2014-9-2 15:27:12 阅读25 评论0 22014/09 Sept2

有时候可能会需要快速对表的某些数据进行维护, 例如删除一个大表的某些记录,

一般的方法是通过条件来定位需要操作的数据记录, 其实还可以有其他方法, 例如数据访问方法, 这种方法比较巧妙.

举个例子 :

我们可以利用访问方法来删除特定的记录, 例如全表扫描, 根据数据块顺序扫描, 所以删除前面的记录很方便.

索引扫描, 则根据索引顺序或倒序, 或范围来扫描, 那么可以方便的根据索引的顺序来删除所需要删除的数据.

bitmap index scan则是根据索引扫描出数据后, 再根据CTID物理排序, 从物理排序这个方向来删除所需要删除的数据.

本例可以看到利用全表扫描来删除前面的数据.

例如打开一个游标, 这个游标使用全表扫描, 要删除5条记录的话, 一个FOR循环就搞定了.

效率非常之高, 不管你的表有多大.

postgres=#  \dt+ t16

List of relations

Schema | Name | Type  |  Owner   | Size  | Description

--------+------+-------+----------+-------+-------------

public | t16  | table | postgres | 13 GB |

(1 row)

postgres=# select c1 from t16 limit 10;

作者  | 2014-9-2 15:27:12 | 阅读(25) |评论(0) | 阅读全文>>

zabbix agentd configure

2014-9-1 15:25:42 阅读29 评论0 12014/09 Sept1

在被监控的主机, 需要有一个zabbix的agent来负责将监控数据发送给proxy或直接发送给server.

同时agentd也支持监听, proxy和server可以主动要求agent调用监控命令. 但是在安全性要求较高的环境, 一般不开启agent的被动模式, 只使用主动模式, 即agent主动往外发监控数据, 但是不接受任何远程调用.

两种模式的运行机制 :

In a passive check the agent responds to a data request. Zabbix server (or proxy) asks for data, for example, CPU load, and Zabbix agent sends back the result.

Active checks require more complex processing. The agent must first retrieve a list of items from Zabbix server for independent processing. Then it will periodically send new values to the server.

详见

https://ww

作者  | 2014-9-1 15:25:42 | 阅读(29) |评论(0) | 阅读全文>>

zabbix proxy configure (optional)

2014-9-1 10:28:39 阅读41 评论0 12014/09 Sept1

zabbix proxy的部署分3个部分.

1. 安装proxy

2. 配置proxy配置文件, 启动proxy

3. 在zabbix WEB接口中添加proxy.

1. zabbix的安装, web接口的配置以及zabbix server 的配置请参考 : 

http://blog.163.com/digoal@126/blog/static/1638770402014731111811804/

http://blog.163.com/digoal@126/blog/static/1638770402014811040957/

在zabbix web配置好后, 我们配置并启动了server.

本文要讲一下proxy的配置, 如果你的环境比较大的话, 为了降低server的访问压力, 可以配置一些proxy.

或者被监控的agent无法直接和server建立连接, 我们可以在网络边界放一台proxy, 来实现分布式监控.

proxy 负责sender从agent receive的请求到server.

作者  | 2014-9-1 10:28:39 | 阅读(41) |评论(0) | 阅读全文>>

zabbix server configure

2014-9-1 10:12:41 阅读28 评论0 12014/09 Sept1

安装参考 http://blog.163.com/digoal@126/blog/static/1638770402014731111811804/

修改zabbix server的配置文件 :

[root@150 etc]# pwd

/opt/zabbix/etc

[root@150 etc]# vi zabbix_server.conf

ListenPort=10051

LogFile=/tmp/zabbix_server.log

LogFileSize=10

PidFile=/tmp/zabbix_server.pid

DBHost=127.0.0.1

DBName=zabbix

DBUser=zabbix

DBPassword=digoal

DBPort=5432

ListenIP=0.0.0.0

这里不涉及配置文件的优化, 优化后面再说.

启动zabbix server, 将以zabbix用户运行.

[root@150 etc]# zabbix_server -c /opt/zabbix/etc/zabbix_server.conf

作者  | 2014-9-1 10:12:41 | 阅读(28) |评论(0) | 阅读全文>>

Install zabbix 2.2 + PostgreSQL + nginx + php on CentOS 6.x x64

2014-8-31 17:25:31 阅读48 评论0 312014/08 Aug31

首先要阅读requirement, 结合你的环境, 满足日后的使用, 需要合理的选择硬件, 以及需要的依赖组件或库.

https://www.zabbix.com/documentation/2.2/manual/installation/requirements

需要注意一下数据库大小的估算.

数据库里存放的数据包括, 配置信息, 历史数据, 报告数据(趋势数据), 事件数据.

这些数据量的评估, 首先和每秒server接收到的数据量有关, 例如我们配置了3000个监控条目, 每60秒监控一次, 那么每秒将受到3000/60=50条监控数据,

监控数据和监控配置有关, 可能存储的是数字, 或者字符串, 或者其他的值, 假设平均50个字节一条.

那么存放1年的历史数据需要50*24*60*60*365*50 bytes=73GB.

统计数据是指统计每小时的最大, 最小, 平均, COUNT值. 假设一个条目每小时需要128字节来存储统计信息.

同样假设有3000个监控条目, 那么存储1年的统计数据需要3000*24*365*128=16.8GB

最后是事件的存储, 事件指触发的事件, 这个比较难估算, 最坏来算每秒产生1个事件, 一个事件存储消耗130个字节, 那么保存3年的事件需要空间3*24*60*60*365*130=12.3GB

作者  | 2014-8-31 17:25:31 | 阅读(48) |评论(0) | 阅读全文>>

PostgreSQL xlog flush & O_DIRECT flag

2014-8-31 14:11:44 阅读24 评论0 312014/08 Aug31

PostgreSQL支持几种xlog的flush到磁盘的方法.

如配置文件 :

#wal_sync_method = fsync                # the default is the first option

#   supported by the operating system:

#   open_datasync

#   fdatasync (default on Linux)

#   fsync

#   fsync_writethrough

#   open_sync

其中open_sync和open_datasync是使用O_DIRECT flag的, 会绕过系统缓存, 直接写到块设备(但是不能绕过块设备本身的缓存或RAID卡的缓存, 这里需要注意).

参数配置对应的fsync方法如下 :

/*

* GUC support

*/

const struct config_enum_entry sync_method_options[] = {

{"fsync", SYNC_METHOD_FSYNC, false},

#ifdef HAVE_FSYNC_WRITETHROUGH

{

作者  | 2014-8-31 14:11:44 | 阅读(24) |评论(0) | 阅读全文>>

2014 VLDB conference at Zhejiang Hangzhou

2014-8-31 9:47:09 阅读35 评论0 312014/08 Aug31

论文下载 :

http://www.vldb.org/2014/accepted_papers.html

Overview

VLDB is a premier annual international forum for data management and database researchers, vendors, practitioners, application developers, and users. The conference will feature research talks, tutorials, demonstrations, and workshops. It will cover current issues in data management, database and information systems research. Data management and databases remain among the main technological cornerstones of emerging applications of the twenty-first century.

VLDB2014 will take place at

作者  | 2014-8-31 9:47:09 | 阅读(35) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

浙江省 杭州市 狮子座

 发消息  写留言

 
Free PostgreSQL Support.
 
QQ276732431
E-Mail digoal@126.com
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 

日志分类

 
 
日志分类列表加载中...
 
 
 
 
 

FlagCounter

 
 
模块内容加载中...
 
 
 
 
 

新浪微博

 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2014

创建博客 登录  
 加关注