显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

PostgreSQL research

公益是一辈子的事, I'm 德哥@Digoal, Just Do it!

 
 
 
 
 
 
阿里云事业群 RDS部门 数据库内核组呼唤PostgreSQL研发或DBA方向的小伙伴加入。

在阿里巴巴的招聘网站注册您的简历即可。

https://job.alibaba.com/zhaopin/index.htm

如果您要咨询招聘方面的事宜,可以直接发邮件给我:digoal@126.com

欢迎大家踊跃参与。

大家一起来把PostgreSQL这个最高级的开源数据库传播出去吧。

作者  | 2015-7-31 22:53:41 | 阅读(274) |评论(0) | 阅读全文>>

[置顶] PostgreSQL 9.5 新特性汇总

2015-4-19 4:16:12 阅读1089 评论7 192015/04 Apr19

PostgreSQL 9.5还未发布,以下是已经commit的特性,也就是说PostgreSQL 9.5 release时肯定会包含的特性。

如需了解最新信息,请参考:

https://commitfest.postgresql.org/

http://git.postgresql.org/gitweb/?p=postgresql.git;a=summary

http://www.postgresql.org/docs/devel/static/release-9-5.html

下面是一些 9.5 的新特性讲解和测试:

PostgreSQL 9.5 new feature - Speed up CRC calculation using slicing-by-8 algorithm

http://blog.163.com/digoal@126/blog/static/16387704020156101020613/

PostgreSQL 9.5 new feature - Allow pushdown of WHERE quals into subqueries with window functions

http://blog.163.com/digoal@126/blog/static/163877040201561095327964/

作者  | 2015-4-19 4:16:12 | 阅读(1089) |评论(7) | 阅读全文>>

为了让跟多的朋友了解PostgreSQL, 我将这些年对PG的使用和研究做成了一些体系的培训视频和一些专题视频.(免费观看和下载)

希望通过这些视频帮到一些朋友, 同时对视频中的错误点烦请读者指出以更正, 谢谢.

目前在更新的视频是<PostgreSQL 数据库管理 5天>和<PostgreSQL 性能优化 3天>.

在线观看地址 :

http://www.tudou.com/home/digoal/

培训视频源文件以及文档下载地址 : 

http://pan.baidu.com/share/home?uk=1982970774#category/type=0

转载请注明出处.

针对一些网友的反馈, 重新设计的培训内容如下, 由浅入深, 适合不同的人群. 包含

<PostgreSQL发展历程,社区介绍,资源介绍 2小时>

<PostgreSQL SQL基础 2天>

<PostgreSQL 数据库管理 3天>

<PostgreSQL 数据库备份与恢复, 数据复制, 负载均衡与高可用 3天>

作者  | 2014-2-22 10:19:30 | 阅读(9478) |评论(52) | 阅读全文>>

[置顶] 给PostgreSQL爱好者的参考资料

2011-8-21 8:32:39 阅读53538 评论32 212011/08 Aug21

推荐书籍:

概念书籍:

《PostgreSQL Introduction and Concepts》

开发书籍:

《PostgreSQL开发必备参考手册》

管理类书籍:

《PostgreSQL 9 Administration Cookbook》

《PostgreSQL 9.0 High Performance》

《PostgreSQL Server Programming》

《How PostgreSQL Processes a Query》

了解内核 :

http://www.postgresql.org/developer/backend/

http://wiki.postgresql.org/wiki/Backend_flowchart

《数据库查询优化器的艺术:原理解析与SQL性能优化》 - 海翔老师

《 PostgreSQL 内核分析》 - 彭老师

官方手册:

作者  | 2011-8-21 8:32:39 | 阅读(53538) |评论(32) | 阅读全文>>

[置顶] 佛说摩诃般若波罗蜜多心经

2013-7-26 18:04:09 阅读3577 评论4 262013/07 July26

转载自<菩提树下>

http://www.djier.com

般若波罗蜜多心经

观自在菩萨,行深般若波罗蜜多时,照见五蕴皆空,度一切苦厄。

舍利子,色不异空,空不异色,色即是空,空即是色,受想行识,亦复如是。

舍利子,是诸法空相,不生不灭,不垢不净,不增不减。

是故空中无色,无受想行识,无眼耳鼻舌身意,无色声香味触法,无眼界,乃至无意识界。

无无明,亦无无明尽,乃至无老死,亦无老死尽。

无苦集灭道,无智亦无得。

以无所得故,菩提萨埵,依般若波罗蜜多故,心无挂碍,无挂碍故,无有恐怖,远离颠倒梦想,究竟涅磐。

三世诸佛,依般若波罗蜜多故,得阿耨多罗三藐三菩提。

故知般若波罗蜜多,是大神咒,是大明咒,是无上咒,是无等等咒,能除一切苦,真实不虚。

故说般若波罗蜜多咒,即说咒曰:

揭谛揭谛 波罗揭谛 波罗僧揭谛 菩提萨婆诃。

作者  | 2013-7-26 18:04:09 | 阅读(3577) |评论(4) | 阅读全文>>

PostgreSQL 查询是可能产生XLOG的,这需要从PostgreSQL tuple上的hint bits说起。

什么是hint bits?你可以参考这个页面:

https://wiki.postgresql.org/wiki/Hint_Bits

hint bits是tuple头部的infomask里的2个BIT。用来表示该tuple的事务状态。

src/include/access/htup_details.h

#define HEAP_XMIN_COMMITTED             0x0100  /* t_xmin committed 256 */

#define HEAP_XMIN_INVALID               0x0200  /* t_xmin invalid/aborted 512  */

#define HEAP_XMAX_COMMITTED             0x0400  /* t_xmax committed 1024  */

#define

作者  | 2015-9-5 21:09:40 | 阅读(6) |评论(0) | 阅读全文>>

除了xlog,哪些操作可能还需要fsync ?

2015-9-4 13:49:10 阅读15 评论0 42015/09 Sept4

我们知道xlog的一个重要责任是用来保护用户提交的事务在数据库的持久化特性的。

那么就涉及到用户提交事务后,必须先等待这笔事务对应的XLOG fsync完成。所以xlog会涉及不断的fsync(由wal writter间歇性发起,用户进程仅仅在申请不到XLOG BUFFER时会调用fsync)  (http://blog.163.com/digoal@126/blog/static/163877040201573564223/)。

另一方面,XLOG还有一个设计初衷,就是将离散的IO归为连续的IO,因为XLOG文件是预分配的,连续写入的。

如果没有XLOG,用户事务提交时,必须对操作对象fsync,可能涉及大量的离散IO,也不利于操作系统合并IO。

那么问题来了,除了xlog需要fsync,还有没有其他操作需要fsync呢?

答案是必须有的,只是这种fsync会越来越少,至少在对操作响应要求高的场景会尽力避免非XLOG的fsync需求。

所以在一些对响应要求不是那么高的操作中还是有非xlog的fsync需求的。

例如

1. initdb

src/bin/initdb/initdb.c

/*

* Issue fsync recursively on PGDATA and all its contents.

作者  | 2015-9-4 13:49:10 | 阅读(15) |评论(0) | 阅读全文>>

PostgreSQL & LLVM & Vitesse DB

2015-8-31 19:29:20 阅读48 评论0 312015/08 Aug31

llvm动态编译,快了不是一点点。IO不再是瓶颈,下一个瓶颈CPU。

http://vitessedata.com/vitesse-x

提供插件形式的测试,闭源。

PostgreSQL performance with gcc, clang and icc

http://blog.pgaddict.com/posts/postgresql-performance-with-gcc-clang-and-icc

Clang build of PostgreSQL

http://lists.cs.uiuc.edu/pipermail/cfe-dev/2011-June/015793.html

Go Faster With Native Compilation

http://www.pgcon.org/2015/schedule/attachments/344_go_faster_with_native_compilation_v3.pdf

http://www.pgcon.org/2015/schedule/track/Performance/776.en.html

The LLVM Compiler Infrastructure

作者  | 2015-8-31 19:29:20 | 阅读(48) |评论(0) | 阅读全文>>

NFS over RDMA

2015-8-31 17:37:07 阅读22 评论0 312015/08 Aug31

http://www.chawenti.com/articles/1912.html

http://www.cs.unh.edu/~rdr/rdr-hpcc12.pdf

filesystems/nfs/nfs-rdma.txt

################################################################################

#                                                                              #

#                               NFS/RDMA README                                #

#                                                                              #

################################################################################

作者  | 2015-8-31 17:37:07 | 阅读(22) |评论(0) | 阅读全文>>

使用 PGStrom 2 (GPU JOIN, BulkScan, GpuPreAgg, ...)

2015-8-31 14:27:44 阅读37 评论0 312015/08 Aug31

BUG fixed, 测试了一下。

JOIN性能确实好很多,主要体现在。

1. BuldkScan

300毫秒左右,而seqscan需要1500毫秒。

2. GpuJoin

约4.5秒。而hash join约8秒。

postgres=# explain (analyze,verbose,costs,buffers,timing) select count(*) from t1 natural join t2 natural join t3;

QUERY PLAN

---------------------------------------------------------------------------------------------------------------------------------------------------------------

Aggregate  (cost=592268.52..592268.53 rows=1 width=0) (actual time=12571.551..12571.551 rows=1 loops=1)

Output: pgstrom.count((pgstrom.nrows()))

Buffers: shared hit=132771

->  Custom Scan (GpuPreAgg)

作者  | 2015-8-31 14:27:44 | 阅读(37) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

浙江省 杭州市 狮子座

 发消息  写留言

 
Free PostgreSQL Support.
 
QQ276732431
E-Mail digoal@126.com
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 

日志分类

 
 
日志分类列表加载中...
 
 
 
 
 

FlagCounter

 
 
模块内容加载中...
 
 
 
 
 

新浪微博

 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2015

LOFTER-最美图片社交APP

汇聚2000万达人的兴趣社区
下载即送20张免费照片冲印

注册 登录  
 加关注