显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

PostgreSQL research

公益是一辈子的事, I'm 德哥@Digoal, Just Do it!

 
 
 
 
 
 

[置顶] PostgreSQL 9.5 新特性汇总

2015-4-19 4:16:12 阅读427 评论0 192015/04 Apr19

PostgreSQL 9.5还未发布,以下是已经commit的特性,也就是说PostgreSQL 9.5 release时肯定会包含的特性。

如需了解最新信息,请参考:

https://commitfest.postgresql.org/

http://git.postgresql.org/gitweb/?p=postgresql.git;a=summary

下面是一些 9.5 的新特性讲解和测试:

PostgreSQL 9.5 new feature - At promotion, archive last segment from old timeline with .partial suffix.

http://blog.163.com/digoal@126/blog/static/1638770402015428112955340/

PostgreSQL 9.5 new feature

作者  | 2015-4-19 4:16:12 | 阅读(427) |评论(0) | 阅读全文>>

为了让跟多的朋友了解PostgreSQL, 我将这些年对PG的使用和研究做成了一些体系的培训视频和一些专题视频.(免费观看和下载)

希望通过这些视频帮到一些朋友, 同时对视频中的错误点烦请读者指出以更正, 谢谢.

目前在更新的视频是<PostgreSQL 数据库管理 5天>和<PostgreSQL 性能优化 3天>.

在线观看地址 :

http://www.tudou.com/home/digoal/

培训视频源文件以及文档下载地址 : 

http://pan.baidu.com/share/home?uk=1982970774#category/type=0

转载请注明出处.

针对一些网友的反馈, 重新设计的培训内容如下, 由浅入深, 适合不同的人群. 包含

<PostgreSQL发展历程,社区介绍,资源介绍 2小时>

<PostgreSQL SQL基础 2天>

<PostgreSQL 数据库管理 3天>

<PostgreSQL 数据库备份与恢复, 数据复制, 负载均衡与高可用 3天>

作者  | 2014-2-22 10:19:30 | 阅读(7650) |评论(47) | 阅读全文>>

[置顶] 给PostgreSQL爱好者的参考资料

2011-8-21 8:32:39 阅读52118 评论30 212011/08 Aug21

推荐书籍:

概念书籍:

《PostgreSQL Introduction and Concepts》

开发书籍:

《PostgreSQL开发必备参考手册》

管理类书籍:

《PostgreSQL 9 Administration Cookbook》

《PostgreSQL 9.0 High Performance》

《PostgreSQL Server Programming》

《How PostgreSQL Processes a Query》

了解内核 :

http://www.postgresql.org/developer/backend/

http://wiki.postgresql.org/wiki/Backend_flowchart

《数据库查询优化器的艺术:原理解析与SQL性能优化》 - 海翔老师

《 PostgreSQL 内核分析》 - 彭老师

官方手册:

作者  | 2011-8-21 8:32:39 | 阅读(52118) |评论(30) | 阅读全文>>

[置顶] 佛说摩诃般若波罗蜜多心经

2013-7-26 18:04:09 阅读3468 评论4 262013/07 July26

转载自<菩提树下>

http://www.djier.com

般若波罗蜜多心经

观自在菩萨,行深般若波罗蜜多时,照见五蕴皆空,度一切苦厄。

舍利子,色不异空,空不异色,色即是空,空即是色,受想行识,亦复如是。

舍利子,是诸法空相,不生不灭,不垢不净,不增不减。

是故空中无色,无受想行识,无眼耳鼻舌身意,无色声香味触法,无眼界,乃至无意识界。

无无明,亦无无明尽,乃至无老死,亦无老死尽。

无苦集灭道,无智亦无得。

以无所得故,菩提萨埵,依般若波罗蜜多故,心无挂碍,无挂碍故,无有恐怖,远离颠倒梦想,究竟涅磐。

三世诸佛,依般若波罗蜜多故,得阿耨多罗三藐三菩提。

故知般若波罗蜜多,是大神咒,是大明咒,是无上咒,是无等等咒,能除一切苦,真实不虚。

故说般若波罗蜜多咒,即说咒曰:

揭谛揭谛 波罗揭谛 波罗僧揭谛 菩提萨婆诃。

作者  | 2013-7-26 18:04:09 | 阅读(3468) |评论(4) | 阅读全文>>

PostgreSQL 9.5的一个小改进,standby在promote时,会将当前的xlog文件归档,归档文件名加.partial后缀,例如:

当前时间线是3,promote后时间线变为4.

$ cat 00000004.history

1       1/8B935658      no recovery target specified

2       1/8B9357D8      no recovery target specified

3       1/8F000098      no recovery target specified

从这个history文件分析,首先要将老的时间线下面的00000003000000010000008F XLOG文件中截至1/8F000098位置的数据内容拷贝到新时间线的XLOG文件00000004000000010000008F中。(所以新的时间线文件包含了老的时间线文件中promote时的内容)

接下来需要将00000003000000010000008F这个文件重命名为00000003000000010000008F.partial

-rw------- 1 pg95 pg95  16M May 28 16:05 00000003000000010000008F.partial

作者  | 2015-5-28 16:34:41 | 阅读(17) |评论(0) | 阅读全文>>

【转载】Python机器学习库

2015-5-28 10:37:05 阅读22 评论0 282015/05 May28

Python在科学计算领域,有两个重要的扩展模块:Numpy和Scipy。其中Numpy是一个用python实现的科学计算包。包括:

一个强大的N维数组对象Array;比较成熟的(广播)函数库;用于整合C/C++和Fortran代码的工具包;实用的线性代数、傅里叶变换和随机数生成函数。

     SciPy是一个开源的Python算法库和数学工具包,SciPy包含的模块有最优化、线性代数、积分、插值、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算。其功能与软件MATLAB、Scilab和GNU Octave类似。

Numpy和Scipy常常结合着使用,Python大多数机器学习库都依赖于这两个模块,绘图和可视化依赖于matplotlib模块,matplotlib的风格与matlab类似。Python机器学习库非常多,而且大多数开源,主要有:

1.       scikit-learn

scikit-learn 是一个基于SciPy和Numpy的开源机器学习模块,包括分类、回归、聚类系列算法,主要算法有SVM、逻辑回归、朴素贝叶斯、Kmeans、DBSCAN等,目前由INRI 资助,偶尔Google也资助一点。

项目主页:

作者  | 2015-5-28 10:37:05 | 阅读(22) |评论(0) | 阅读全文>>

PostgreSQL 9.5 离并行又更近一步了,此前已经提供了并行必须的动态fork work process, 动态创建共享内存段。

现在又增加了一些方便用户自定义并行操作的接口函数,PostgreSQL的做法是一个比较开放的做法,提供必要的API,让用户自己玩去,前期可以减轻PG社区开发压力,同时又能够调动社会力量一起来填充PG的并行库,从PG的发展历史来看,很多功能也是社会贡献的,然后合并到社区版本中。

9.5开放的自定义访问路径,自定义采样方法等动作,也是这样的路数。

首先创建一个共享内存段,包含内容:用于接收并行工作进程日志的消息队列,同步初始进程状态,其他共享上下文数据。

一个简单的demo如下,开始并行操作前首先要调用EnterParallelMode(),所有并行操作结束后调用ExitParallelMode()。

EnterParallelMode();            /* prohibit unsafe state changes */

pcxt = CreateParallelContext(entrypoint, nworkers);

/* Allow space for application-specific data here. */

shm_toc_estimate_chunk(&pcxt->estimator, size);

shm_toc_estimate_keys(&pcxt->estimator, keys);

作者  | 2015-5-28 10:17:48 | 阅读(27) |评论(0) | 阅读全文>>

PostgreSQL How to parser user input to internal type - for exp. tinterval

2015-5-27 14:06:05 阅读22 评论0 272015/05 May27

PostgreSQL支持的类型众多,对于常用的类型例如字符串,数字。我们在输入值时很好解决,但是当数据类型比较复杂时,应该如何书写,数据库才能正常的接收用户的输入呢?

比如我们可能会遇到输入语法错误的报错,使用\set VERBOSITY verbose可以显示报错代码,根据代码去找问题。

例如:

postgres=# \set VERBOSITY verbose

postgres=# select interval '1 a';

ERROR:  22007: invalid input syntax for type interval: "1 a"

LINE 1: select interval '1 a';

^

LOCATION:  DateTimeParseError, datetime.c:3794

这个报错来自datetime.c, 解析用户输入时语法不合规。

其实PostgreSQL大多数的类型都带了in和out函数,分别表示用户输入转换为内部类型,内部类型转换为用户看到的表述。

例如:

pg_catalog | interval_out            | cstring                     | interval

作者  | 2015-5-27 14:06:05 | 阅读(22) |评论(0) | 阅读全文>>

PostgreSQL 9.5 新增reindex的重建索引进度输出功能,注意这里指的进度粒度是索引,例如对整个SCHEMA重建索引,会输出每个索引的重建进度,而不是单个索引的进度。

例如:

postgres=# reindex (verbose) schema public;

INFO:  index "idx_test" was reindexed

DETAIL:  CPU 0.00s/0.00u sec elapsed 0.00 sec.

INFO:  table "public.test" was reindexed

INFO:  index "idx_tbl" was reindexed

DETAIL:  CPU 0.00s/0.00u sec elapsed 0.00 sec.

INFO:  index "idx_tbl1" was reindexed

DETAIL:  CPU 0.00s/0.00u sec elapsed 0.00 sec.

INFO:  table "public.tbl" was reindexed

REINDEX

顺便讲一下reindex和drop index;create index ...;的区别:

1. REINDEX 时,对正在reindex的索引加排他锁,同时会堵塞对表的写操

作者  | 2015-5-26 12:50:36 | 阅读(48) |评论(0) | 阅读全文>>

PostgreSQL 9.5 new feature - Support GROUPING SETS, CUBE and ROLLUP.

2015-5-26 11:01:03 阅读50 评论2 262015/05 May26

PostgreSQL 9.5 已实现分组集合特性

+T431   Extended grouping capabilities          YES

+T432   Nested and concatenated GROUPING SETS           YES

+T433   Multiargument GROUPING function         YES

用法参考

1. http://www.postgresql.org/docs/devel/static/queries-table-expressions.html#QUERIES-GROUPING-SETS

2. http://www.postgresql.org/docs/devel/static/functions-aggregate.html

回归测试输出

src/test/regress/expected/groupingsets.out

分组集合实现的是将多个分组查询的结果union all的效果。

例如:

=> SELECT * FROM items_sold;

brand | size | sales

-------+------+-------

Foo   | L    |  10

Foo   | M    |  20

Bar   | M    |  15

作者  | 2015-5-26 11:01:03 | 阅读(50) |评论(2) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

浙江省 杭州市 狮子座

 发消息  写留言

 
Free PostgreSQL Support.
 
QQ276732431
E-Mail digoal@126.com
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 

日志分类

 
 
日志分类列表加载中...
 
 
 
 
 

FlagCounter

 
 
模块内容加载中...
 
 
 
 
 

新浪微博

 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2015

下载LOFTER客户端

汇聚2000万达人的兴趣社区
下载即送20张免费照片冲印

注册 登录  
 加关注