显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

PostgreSQL research

公益是一辈子的事, I'm 德哥@Digoal, Just Do it!

 
 
 
 
 
 
为了让跟多的朋友了解PostgreSQL, 我将这些年对PG的使用和研究做成了一些体系的培训视频和一些专题视频.(免费观看和下载)

希望通过这些视频帮到一些朋友, 同时对视频中的错误点烦请读者指出以更正, 谢谢.

目前在更新的视频是<PostgreSQL 数据库管理 5天>和<PostgreSQL 性能优化 3天>.

在线观看地址 :

http://www.tudou.com/home/digoal/

培训视频源文件以及文档下载地址 : 

http://pan.baidu.com/share/home?uk=1982970774#category/type=0

转载请注明出处.

针对一些网友的反馈, 重新设计的培训内容如下, 由浅入深, 适合不同的人群. 包含

<PostgreSQL发展历程,社区介绍,资源介绍 2小时>

<PostgreSQL SQL基础 2天>

<PostgreSQL 数据库管理 3天>

<PostgreSQL 数据库备份与恢复, 数据复制, 负载均衡与高可用 3天>

作者  | 2014-2-22 10:19:30 | 阅读(6239) |评论(37) | 阅读全文>>

[置顶] 给PostgreSQL爱好者的参考资料

2011-8-21 8:32:39 阅读50651 评论18 212011/08 Aug21

推荐书籍:

概念书籍:

《PostgreSQL Introduction and Concepts》

开发书籍:

《PostgreSQL开发必备参考手册》

管理类书籍:

《PostgreSQL 9 Administration Cookbook》

《PostgreSQL 9.0 High Performance》

《PostgreSQL Server Programming》

《How PostgreSQL Processes a Query》

了解内核 :

http://www.postgresql.org/developer/backend/

http://wiki.postgresql.org/wiki/Backend_flowchart

《数据库查询优化器的艺术:原理解析与SQL性能优化》 - 海翔老师

《 PostgreSQL 内核分析》 - 彭老师

官方手册:

作者  | 2011-8-21 8:32:39 | 阅读(50651) |评论(18) | 阅读全文>>

[置顶] 佛说摩诃般若波罗蜜多心经

2013-7-26 18:04:09 阅读3308 评论4 262013/07 July26

转载自<菩提树下>

http://www.djier.com

般若波罗蜜多心经

观自在菩萨,行深般若波罗蜜多时,照见五蕴皆空,度一切苦厄。

舍利子,色不异空,空不异色,色即是空,空即是色,受想行识,亦复如是。

舍利子,是诸法空相,不生不灭,不垢不净,不增不减。

是故空中无色,无受想行识,无眼耳鼻舌身意,无色声香味触法,无眼界,乃至无意识界。

无无明,亦无无明尽,乃至无老死,亦无老死尽。

无苦集灭道,无智亦无得。

以无所得故,菩提萨埵,依般若波罗蜜多故,心无挂碍,无挂碍故,无有恐怖,远离颠倒梦想,究竟涅磐。

三世诸佛,依般若波罗蜜多故,得阿耨多罗三藐三菩提。

故知般若波罗蜜多,是大神咒,是大明咒,是无上咒,是无等等咒,能除一切苦,真实不虚。

故说般若波罗蜜多咒,即说咒曰:

揭谛揭谛 波罗揭谛 波罗僧揭谛 菩提萨婆诃。

作者  | 2013-7-26 18:04:09 | 阅读(3308) |评论(4) | 阅读全文>>

请先参考 : 

http://blog.163.com/digoal@126/blog/static/1638770402015224124337/

http://blog.163.com/digoal@126/blog/static/16387704020152245224236/

http://blog.163.com/digoal@126/blog/static/163877040201523112651593/

http://blog.163.com/digoal@126/blog/static/16387704020152452827897/

以贵州茅台的历史数据为例, 校验预测误差如下 :

未来1天的最准

未来第二天的预测开始误差开始放大, 但是放大还不明显..

未来第三天,第四天的就有比较大的误差率.

将数据导入源表

--  插入顺序从旧到新排列. 不要搞反了, 例如

06/02/2010 13.49 13.49 12.52 13.03 38670320 1571709568.000

06/03/2010 13.09 13.26 12.69 12.75 27873689 1135419264.000

06/04/2010 12.63 12.99 12.56 12.77 19305447 775373248.000

作者  | 2015-3-5 13:37:27 | 阅读(55) |评论(0) | 阅读全文>>

本文是一个简单的一元线性回归的例子, 需要了解相关理论知识可参考 :

http://blog.163.com/digoal@126/blog/static/163877040201523112651593/

数据来自股票的收盘价.

如果要做多元分析, 请自行增加维度(例如大盘指数,成交量,最低,最高价,价格区间等等都可以那里做回归计算), 计算期望值.

例子如下 :

按实际顺序录入test, 如时间从小到大, ID从小到大, 最终目标是用前一个值预测下一个值

第一条记录是最老的值, 最后一条记录是最新的值, 不要搞反了.

create table test(id int, cnt numeric);

-- 以下是网友提供的阿里巴巴的收盘价数据

-- 格式 date,close,volume,open,high,low

vi ali.txt

2015/3/3,81.58,39173430,82.95,83.25,80.03

2015/3/2,84,11175870,85,85.02,83.75

2015/2/27,85.12,8362081,85.95,86.56,85

2015/2/26,85.37,8758019,86.92,87.16,85.2

作者  | 2015-3-4 17:37:07 | 阅读(54) |评论(0) | 阅读全文>>

PostgreSQL aggregate function 2 : Aggregate Functions for Statistics

2015-3-3 16:06:08 阅读22 评论0 32015/03 Mar3

前面一篇对PostgreSQL支持的一般聚合函数做了一些实例讲解,

http://blog.163.com/digoal@126/blog/static/16387704020152223539859/

本文将讲解一下统计类的聚合函数.

在此前我分别以相关性函数corr和计算总体/样本 方差, 标准方差的函数variance, var_pop, var_samp, stddev, stddev_pop, stddev_samp做过比较详细的讲解.

例如corr在数据库的物理存储顺序以及逻辑顺序的统计信息中就有应用. 请参考 :

http://blog.163.com/digoal@126/blog/static/163877040201512835135264/

http://blog.163.com/digoal@126/blog/static/163877040201512810112541/

作者  | 2015-3-3 16:06:08 | 阅读(22) |评论(0) | 阅读全文>>

在PostgreSQL中用线性回归分析linear regression做预测

2015-3-3 15:14:06 阅读135 评论0 32015/03 Mar3

首选来个线性回归分析linear regression, 最小二乘法least-squares-fit的小故事(取自百度) :

1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中。

法国科学家勒让德于1806年独立发现“最小二乘法”,但因不为世人所知而默默无闻。

勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

1829年,高斯提供了最小二乘法的优化效果强于其他方法的证明,因此被称为高斯-马尔可夫定理.

上面的故事说明通过已有数据可以对未来的数据进行预测. 但是预测结果是否准确有不确定因素, 所以需要不断的调整和校验.

如何做回归分析呢? (取自百度)

研究一个或多个随机变量Y1 ,Y2 ,…,Yi与另一些变量X1、X2,…,Xk之间的关系的统计方法,又称多重回归分析。通常称Y1,Y2,…,Yi为因变量,X1、X2,…,Xk为自变量。回归分析是一类数学模型,特别当因变量和自变量为线性关系时,它是一种特殊的线性模型。最简单的情形是一个自变量和一个因变量,且它们大体上有线性关系,这叫一元线性回归,即

作者  | 2015-3-3 15:14:06 | 阅读(135) |评论(0) | 阅读全文>>

1. 数学期望值, 平均值, mean

http://zh.wikipedia.org/wiki/%E6%9C%9F%E6%9C%9B%E5%80%BC

表示: E[X], 即X变量的平均值.

也用miu表示 : μ=E[X]

PostgreSQL中举例 :

postgres=# select avg(c1) from (values(null),(1),(2)) as t(c1);

avg

--------------------

1.5000000000000000

(1 row)

以上为离散概率, 数学期望就是每个值乘以它的概率除以值的个数.

如果是连续概率的话, 要统计一个取值范围的区间概率, 统计一个区间的面积.

2. 众数, mode

http://zh.wikipedia.org/wiki/%E4%BC%97%E6%95%B0_(%E6%95%B0%E5%AD%A6)

出现频率最高的值.

作者  | 2015-3-3 8:09:32 | 阅读(130) |评论(0) | 阅读全文>>

PostgreSQL aggregate function 1 : General-Purpose Aggregate Functions

2015-3-2 16:03:52 阅读36 评论0 22015/03 Mar2

PostgreSQL支持较多的聚合函数, 以PostgreSQL 9.4为例, 支持例如一般性的聚合, 统计学科的聚合, 排序集聚合, 假象集聚合等.

本文将对一般性聚合函数举例说明其功能和用法.

以下图表参考 :

http://www.postgresql.org/docs/9.4/static/functions-aggregate.html

FunctionArgument Type(s)Return TypeDescriptionarray_agg(expression)anyarray of the argument typeinput values, including nulls, concatenated into an arrayavg(expression)smallint, int, bigint, real, double precision, numeric, or intervalnumeric for any integer-type argument, double precision for a floating-point argument, otherwise the same as the argument

作者  | 2015-3-2 16:03:52 | 阅读(36) |评论(0) | 阅读全文>>

PostgreSQL seq's lastval

2015-3-2 12:14:17 阅读57 评论0 22015/03 Mar2

序列在PostgreSQL中可以通过像查询表一样来查询, 但是却和表不一样, 为什么呢?

如果是表的话, 变更的数据是否可见, 和事务隔离级别有关, 但是SEQUENCE不是这样的, 查询seq时和事务隔离级别无关.

因为序列状态和会话有关, 每个会话会存储用到的序列, 结构如下

/*

* We store a SeqTable item for every sequence we have touched in the current

* session.  This is needed to hold onto nextval/currval state.  (We can't

* rely on the relcache, since it's only, well, a cache, and may decide to

* discard entries.)

*/

typedef struct SeqTableData

{

Oid                     relid;                  /* pg_class OID of this sequence (hash key) */

作者  | 2015-3-2 12:14:17 | 阅读(57) |评论(0) | 阅读全文>>

查看所有日志>>

 
 
 
 
 
 
 
 

浙江省 杭州市 狮子座

 发消息  写留言

 
Free PostgreSQL Support.
 
QQ276732431
E-Mail digoal@126.com
博客等级加载中...
今日访问加载中...
总访问量加载中...
最后登录加载中...
 
 
 
 
 

日志分类

 
 
日志分类列表加载中...
 
 
 
 
 

FlagCounter

 
 
模块内容加载中...
 
 
 
 
 

新浪微博

 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
模块内容加载中...
 
 
 
 
 
 
 
心情随笔列表加载中...
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2015

创建博客 登录  
 加关注