显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

PostgreSQL

公益是一辈子的事, I'm 德哥@Digoal, Just Do it!

 
 
 
 
 
 

[置顶] PostgreSQL 培训视频&文档汇总(持续更新)

2014-2-22 10:19:30 阅读647 评论18 222014/02 Feb22

为了让跟多的朋友了解PostgreSQL, 我将这些年对PG的使用和研究做成了一些体系的培训视频和一些专题视频.

有兴趣的朋友可以下载培训文档了解一下具体的内容, 挑选合适的观看.

如果要对PG有一个体系的认识, 建议看完管理类的培训内容:

http://www.tudou.com/plcover/QHOjn39ooAI/. (有些图像压缩太严重, 建议到百度云盘下载源文件)

技术在不断的发展, 要走好技术这条路, 坚持不懈的学习很重要.

希望这些视频可以帮到一些朋友.

目前将培训内容分四大类(管理, 开发, 内核, 专题), 每个分类下面有详细的介绍.

一. 管理类

SQL使用基础, MVCC, 日常维护和监控, 优化, 建模, 备份和恢复, 容灾, HA, 大数据等.

二. 开发类

重点讲数据类型, SQL语法和优化, 索引, 函数用法和优化, 丰富的插件, 结合数据库特性和应用场景的讲解等.

三. 内核类

重点讲解内核相关的一些东西, 如跟踪, 插件开发, 各模块的运行机制等.

四. 专题类, 或者叫short chat.

这部分内容大多来自我写过的BLOG, 针对以前写过的一些和PG相关的专题文章细化再以视频的形式演示和讲解方便读者理解, 适合PostgreSQL有足够了解的朋友.

作者  | 2014-2-22 10:19:30 | 阅读(647) |评论(18) | 阅读全文>>

[置顶] 给PostgreSQL爱好者的参考资料

2011-8-21 8:32:39 阅读46586 评论15 212011/08 Aug21

推荐书籍:

概念书籍:

《PostgreSQL Introduction and Concepts》

开发书籍:

《PostgreSQL开发必备参考手册》

管理类书籍:

《PostgreSQL 9 Administration Cookbook》

《PostgreSQL 9.0 High Performance》

《PostgreSQL Server Programming》

《How PostgreSQL Processes a Query》

了解内核 :

http://www.postgresql.org/developer/backend/

http://wiki.postgresql.org/wiki/Backend_flowchart

《数据库查询优化器的艺术:原理解析与SQL性能优化》 - 海翔老师

《 PostgreSQL 内核分析》 - 彭老师

官方手册:

作者  | 2011-8-21 8:32:39 | 阅读(46586) |评论(15) | 阅读全文>>

[置顶] 佛说摩诃般若波罗蜜多心经

2013-7-26 18:04:09 阅读2629 评论2 262013/07 July26

转载自<菩提树下>

http://www.djier.com

般若波罗蜜多心经

观自在菩萨,行深般若波罗蜜多时,照见五蕴皆空,度一切苦厄。

舍利子,色不异空,空不异色,色即是空,空即是色,受想行识,亦复如是。

舍利子,是诸法空相,不生不灭,不垢不净,不增不减。

是故空中无色,无受想行识,无眼耳鼻舌身意,无色声香味触法,无眼界,乃至无意识界。

无无明,亦无无明尽,乃至无老死,亦无老死尽。

无苦集灭道,无智亦无得。

以无所得故,菩提萨埵,依般若波罗蜜多故,心无挂碍,无挂碍故,无有恐怖,远离颠倒梦想,究竟涅磐。

三世诸佛,依般若波罗蜜多故,得阿耨多罗三藐三菩提。

故知般若波罗蜜多,是大神咒,是大明咒,是无上咒,是无等等咒,能除一切苦,真实不虚。

故说般若波罗蜜多咒,即说咒曰:

揭谛揭谛 波罗揭谛 波罗僧揭谛 菩提萨婆诃。

作者  | 2013-7-26 18:04:09 | 阅读(2629) |评论(2) | 阅读全文>>

Securecrt crack in linux & mac (tested in ubuntu 14.04 success)

2014-4-23 15:45:29 阅读23 评论0 232014/04 Apr23

仅供测试, 勿用作商业用途.

首先要到vandyke网站下载一个securecrt, 需要注册。

http://www.vandyke.com/download/securecrt/download.html

我这里下载的是ubuntu 13.x x64版本.

下载好后, 直接安装.

$ sudo dpkg -i scrt-7.2.3-500.ubuntu13-64.x86_64.deb

digoal@digoal-Dell-System-Vostro-3450:~$ which SecureCRT

/usr/bin/SecureCRT

破解的话, 需要下载 http://www.boll.me/archives/680 提供的一个perl脚本。

wget http://download.boll.me/securecrt_linux_crack.pl

执行这个脚本可能需要依赖一些包。

sudo apt-get install ia32-libs ia32-libs-gtk linux32 lib32asound2

作者  | 2014-4-23 15:45:29 | 阅读(23) |评论(0) | 阅读全文>>

Overview

Bingo is a RDBMS data cartridge that provides the industry’s next-generation, fast, scalable, and efficient storage and searching solution for chemical information.

Bingo seamlessly integrates the chemistry into Oracle, Microsoft SQL Server and PostgreSQL databases. Its extensible indexing is designed to enable scientists to store, index, and search chemical moieties alongside numbers and text within one underlying relational database server.

Bingo sets the industry standard in structure and reaction registration and retrieval. You can register entities reliably with the confidence that you can retrieve them rapidly.

Because Bingo implements state-of-the-art

作者  | 2014-4-23 13:42:05 | 阅读(21) |评论(0) | 阅读全文>>

PostgreSQL real seq_page_cost & random_page_cost in disks,ssd,memory

2014-4-23 9:59:43 阅读42 评论0 232014/04 Apr23

在PostgreSQL中全表扫描时, 计算page扫描的成本因子为seq_page_cost, 例如扫描100个数据块, 那么扫描这些数据块的成本就是seq_page_cost*100;

如果使用的是索引扫描(如index scan, index only scan, bitmap index scan, bitmap heap scan)这些都是随机页面扫描, 在计算成本时使用random_page_cost成本因子, 例如使用这些扫描方法扫描了100个数据块, 则扫描这些数据块的成本就是random_page_cost*100;

我早些时间写了一篇BLOG专门介绍成本因子的校准的方法, 包括CPU的成本因子和PAGE SCAN的成本因子.

有兴趣的朋友可参考 :

http://blog.163.com/digoal@126/blog/static/163877040201310255717379

本文将对比几种硬件的连续扫描和离散扫描的实际时间. 用的方法和上面这篇BLOG一致, 都是使用systemtap来跟踪数据块读取的实际时间.

测试结果如下  :

机械硬盘连续块扫描的平均时间197881纳秒(0.197881毫秒)

机械硬盘离散块扫描的平均时间4957678纳秒(4.957678毫秒)

作者  | 2014-4-23 9:59:43 | 阅读(42) |评论(0) | 阅读全文>>

一般在我们使用的存储硬件环境中包含多个层面的缓存.

数据库缓存, 操作系统缓存, RAID卡缓存, 磁盘缓存. 数据库为了提供持久化的能力, 同时提供较高的性能, 引入了重做日志的概念, 也就是说在完成一笔交易之前, 必须确保重做日志已经写入到持久化的存储当中才可以, 这样即使异常DOWN机, 也能从重做日志中恢复数据到DOWN机前的状态, 不会造成数据丢失.

在PostgreSQL中这个功能交给wal日志来完成.

所以wal日志的写操作必须是到达持久化设备的, PostgreSQL支持多种fsync方法(只要操作系统支持).   例如 :

#wal_sync_method = fsync                # the default is the first option

# supported by the operating system:

#   open_datasync

#   fdatasync (default on Linux)

#   fsync

#   fsync_writethrough

#   open_sync

但是这些接口是不是真正可靠, 还和你使用的环境有关, 例如在硬盘层面, 如果开启了硬盘的cache, 但是没有硬盘的电源保护的话, 断电后, 硬盘层面的CACHE就会丢失.

作者  | 2014-4-21 10:41:13 | 阅读(15) |评论(0) | 阅读全文>>

CitusDB 3.0 release

2014-4-17 14:54:50 阅读42 评论0 172014/04 Apr17

CitusDB发布了3.0的版本, 有一些功能上的更新, 例如大表的JOIN, 不在受到个数和大小的限制.

另外整合了9.3.2的一些特性. 如可写外部表.

有兴趣的朋友可以测试一下.

我以前测试过, 主要的缺陷还是在大表的关联上, 不知道改进多少了.

http://blog.163.com/digoal@126/blog/#m=0&t=1&c=fks_084069085087089068081083086095085080082075083081086071084

http://www.citusdata.com/blog/73-citusdb3-0-release-notes

Created on February 25, 2014Written by Sumedh Pathak

We are excited to announce the general availability of CitusDB

作者  | 2014-4-17 14:54:50 | 阅读(42) |评论(0) | 阅读全文>>

pgpool-II performance lossy

2014-4-16 17:06:47 阅读69 评论0 162014/04 Apr16

经常有人问我pgpool-II做连接池合不合适. 这个要结合业务需求来看, 除了PGPOOL-II本身的性能损失, 它的功能还是很强大的.

因为我以前在某项目上用过这个产品, 对性能有一定的损耗, 不知道现在的版本怎么样了?

所以接下来测试一下最新的pgpool-II3.3.3的性能. 对比不使用连接池的性能.

测试方法很简单, 连接到数据库, 执行 select 1;

测试环境 :

pgpool, pgbench所在服务器硬件, 志强8核1.6G.

postgresql 9.3.3所在服务器硬件, 志强8核2.0G.

vi ~/.pgpass

127.0.0.1:9999:digoal:postgres:postgres

172.16.3.39:1999:digoal:postgres:postgres

测试结果如下 :

测试连接数 使用pgpool-II(tps) 直连数据库(tps) 性能损失(%) 8 8850 44526 80% 16 16896 98001 82.7% 32 26780 139980 80.9% 64 28151 138575 79.7%说明pgpool-II本身处理SQL的TPS极限大概在2.8万左右(CPU耗尽).

作者  | 2014-4-16 17:06:47 | 阅读(69) |评论(0) | 阅读全文>>

bizgres project checkout from pgfoundry, you can used research greenplum

2014-4-16 8:33:32 阅读36 评论0 162014/04 Apr16

自打greenplum被EMC收购以后, 版本管理和附加插件是比以前更好了. emc命名为pivotal, gp作为其中的一个组件. pivotal还包含其他的大数据相关组件如HD, CF, SQL Fire, RabbitMQ等.

问题是, gp是闭源的软件, 所以遇到问题要找根源还比较麻烦, 还好在greenplum闭源之前是开源的.

bizgres就是greenplum的开源版本, 但是2006年以后就闭源了, 后面做了哪些改变只有gp自己知道了.

不过有总比没有好, 大家可以去pgfoundry checkout出来. 以后遇到问题的话可以对照bizgres的代码排错.

为了获得更多的错误信息, 可以开启log_error_verbosity=verbose, 如果是在psql端排错的话, 建议打开\set VERBOSITY verbose.

这样能够看到出错的代码位置, 然后对照bizgres进行排错.

checkout bizgres

Anonymous CVS Access

This project's CVS repository can be checked out through anonymous (pserver) CVS with the following instruction set. The module you wish to check out must be specified as the modulename. When prompted

作者  | 2014-4-16 8:33:32 | 阅读(36) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

浙江省 杭州市 狮子座

 发消息  写留言

 
Offer free support for PostgreSQL. 帮助更多人了解PostgreSQL.
 
QQ276732431
E-Mail digoal@126.com
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 

日志分类

 
 
日志分类列表加载中...
 
 
 
 
 

FlagCounter

 
 
模块内容加载中...
 
 
 
 
 

新浪微博

 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2014

创建博客 登录  
 加关注