2009年12月8日 星期二

Npgsql

如果你常常在微軟的世界裏寫程式,你一定知道什麼是 .Net Data Provider,它就是 .NET 資料庫程式設計用的資料庫驅動程式,而 PostgreSQL 專屬的官方 .Net Data Provider 就是 Npgsql。Npgsql 目前是 PostgreSQL 的應用程式界面中,維護的速度前三名的;另兩個是 ODBC driver 和 JDBC driver。半個月前 Npgsql 釋出 2.0.7 版。這只是 2.0 版的第七個安全性更新。已經釋出一年的 2.0.x 版,實作了給 .Net 2.0 和 3.5 甚至 3.5sp1 的 .Net Data Provider 絕大部份的功能。也就是說,如果你是在用微軟的 Visual Studio 2008 寫程式,不管你是用 C#、VB 還是 C++,就是用這個 Data Provider 就對了,就算你用的是不用錢的 Visual Studio Express 也能。很可惜的是,Npgsql 的文件實在太稀有了,只有一篇整理得不太好,而且也有不少錯誤的 User's Manual。這裏我用三個小程式來展示如何使用 C# 來開發 Windows 上的應用程式。這三個程式,你可以把它們當成我在測試這個 provider 是不是實作了社群所宣稱的功能。
要開始前,請先到 Npgsql 官方網站下載最新版本的 Npgsql,目前(2009/12/2)最新的版本,如上述的,是 2.0.7 版。但是你會發現下載網頁中,光是 Npgsql2.0.7 就有好幾個檔案可以下載:
我來介紹一下,那兩個 apidocs 就是 API 的 HELP 檔,有兩種格式,一種是 Windows 專屬的 CHM 檔,另一個是 HTML 格式。接著四個 bin 就是 provider,mono2 的兩個,是給 mono 用的,mono 是 Novell/SuSE 支持的一個計劃,也就是把 .NET port 到其它系統的計劃,一般在 Linux 上都很容易可以找到 mono。過一陣子我再來介紹它,現在先知道有這回事就好。接下來的兩個檔就很重要,ms 就是給 .NET 2.0 用的,ms.net3.5sp1 則是給 .NET 3.5 SP1 用的。如果你還在用 .NET 1.1,那抱歉,請你下載 1.0.1 版,而這個版本似乎沒人在維護了。不過,我目前所認識的開發者,不是已經追到 VS 2008,保守一點的至少也在用 VS 2005 了。當然也有骨灰級的還在 VB6 下撐著,這就不在本文的服務範圍內了。所以就看你用的是哪套 VS,下載你需要的版本。最後那兩個是原始碼,用 C# 寫的。所以有志幫忙維護的(或是你不小心發現一個 bug,又沒時間等人家官方的維護版本出來),或是好奇人家怎麼寫出 .NET data provider 的可以下載原始碼下來參考。這就是 open source 的好處。
下載下來解開後,放到任何你想放的位置。當然你也可以到到系統的 GAC 中,但是我覺得沒必要,只需要開發時多做一個動作就行了,不然每次有新的維護版本出來時,要把舊版的移除還要動一堆手腳,實在太累。我的建議是建立一個新的目錄專門放 Npgsql,而且越明顯的位置越好。除非你中了木馬,否則放到明顯的地方,當你把舊版更新成新版時,會輕鬆不少。先來看看解開的情形:
有兩個目錄,一個是 bin,一個是 docs。docs 裏放的就是 HTML 版本的 API DOCs。我們要的 provider 放在 bin 這個目錄中:
注意看上圖,先不用管上面那堆放 L10N resource 檔的目錄,因為裏面沒有我們家的 zh-TW。這裏有三個 DLL,理論上我們開發桯式只需要用到 Npgsql.dll;至少我等一下要展示的三個測試程式只需用到它。記得它的位置,因為等一下我們要用到它。
我的測試環境是 Windiws 7 RC,Visual C# 2008 Express (就是 Visual Studio Express 的 C# 部份),全部是免費的。沒錯,用免費的開發工具就很好用了,我一直認為,除非你不想用 NUnit,否則用這個免錢的開發工具已經夠用了,連簡單的「重構」功能都有了,欠缺的只有可以直接用 UML 的 class diagram 來設計程式這個功能要用標準版以上才有。但是如果你不習慣用這種工具來幫你把早期架構組合起來,那麼錢乾脆省下來比較實在。
第一個程式,測試連結
第一個程式,先來一個極簡單的程式,來測測資料庫連結,因為資料庫連結是一切資料庫應用的基礎,如果連結沒辦法建立,什麼事都不用做了。所以我們就來寫一個什麼事都沒做,只拿來測試連結可不可以建立的程式。
Visual Studio Express 其實一點都不陽春,它已經可以幫你建立相當 fancy 的 GUI 骨架,你只需把骨架上加上該有的程式碼就夠了,和早期的 VB 沒什麼兩樣。它和我年輕的時候的 Delphi 一樣,當你在設計使用者界面時,IDE 其實在後面一直辛苦的幫你建立一些骨架程式,讓你省下一堆要在紙上畫圖、想像的時間。
所以我們就先在「設計工具檢視」上,拉出一個 form,然後在 Form 上擺一個 button,然後在這兩個 control 上打幾個字(不一定要和我一樣打這幾個字),就像下圖一樣:
接著第二步,把剛才下載的 Npgsql 加到參考中。方法如下,請打開「 專案(P)」/「加入參考(R)...」選單。
這時候會打開「加入參考」對話方塊,先切到「瀏覽」頁籤,然後把 Npgsql.dll 加入。
按下確定後,看看右邊的「方案總管」中的「參考」節點中是不是出現了 Npgsql?
有的話,恭喜你,可以進入第三步,打入以下的簡單程式。注意,部份的程式碼 Visual C# Express 已經幫你打好了,所以其實你需要輸入的字實在不多。
這裏有一行要改一下,就是連線字串那行。你的連線字串不可能和我的完全一樣,所以請改一下。

這四個參數我在這裏請明一下。Server 是伺服器的位址,你可以使用 IP 或 Domain Name,至於 GNC 我不確定可不可以,理論上是不行。本機你可以用 localhost 或 127.0.0.1 都可以。我是用 Virtual Machine,所以用 IP 比較簡單。你可以會問,用 Virtual Machine 不是每次重開 IP 都會改嗎?我至少知道 VMware 不會,每次你的 VM 都會用同一個虛擬 IP,所以可以把它寫死也無所謂。User ID 是你的 PostgreSQL 登入帳號,建議不要用 postgres 帳號,太危險了,請另外建立一個權限小一點的帳號,專門給應用使用。Password 是密碼,如果你是用 trust 連線方式,那這個可以略過,不過我建議你還是用 MD5 比較安全。Database 是連線資料庫,一樣,建議你另建一個給應用程式使用的資料庫,然後給予連線用帳號合適的權限即可。
如果你有用 SSL 替你的連線加密,那麼,還有兩個參數你必須加入,一個是 SSL,一個是 Sslmode。SSL 預設值是 False,你必須先把它指定成 True。Sslmode 有四種,就是你用 PgAdmin III 遠端連線時的那四種模式:需要、偏好、允許、停用。在這裏,它們分別是竐定成:Require、Prefer、Allow、Disable,預設值是 Disable。
好了,接著請在應該加入程式碼的地方加入程式碼。千萬不要忘了前面的 using Npgsql; ;還有,請注意大小寫。包括這行,應該有六行要加入。定義連接字串那行後面的註解就不用跟著打了。
打好後,請按下 F5 或上方工具列上的「開始偵錯」的那個綠色三角形,執行程式。
好,如果你確定伺服器已經執行,而且防火牆有打開 5432 這個 port,就按下那個 button,也就是我的程式 UI 的「開始測試」按紐。如果沒有意外的話,下面的訊息方塊這時應該會如預期的出現:
真是很簡單,而且沒用的程式。這個程式是一切 Npgsql 的程式的基礎,一定要是 Assembly 參考建立正確,然後資料庫的遠端連線設定完全正確,也就是允許你這個 VM 所在的網段可以連上伺服器,才能出現這個訊息方塊。
如果沒出現,那麼我建議你先檢查資料庫的設定是否正確。你可以先用 pgAdim III 連線看看,如果連 pgAdmin III 都連不上,那麼肯定伺服器端一定有哪裏設定錯誤。如果沒問題,那再來檢查哪裏出錯。當然要先確定你程式沒打錯。
這個無聊的測試程式如果沒問題,那麼接著我們該來試著寫個比較有用點的程式,先寫個從伺服器擷取一些資料的程式吧。
第二個程式,接收資料
第二個程式要寫之前,請先到我之前所寫的文章「利用網路上的範例資料庫來做 SQL 練習」最後面,下載 tbl_pgsql.sql 和 pg_sample.sql 這兩個資料庫範例。這兩個範例好像在 psql 執行時會有一點問題,應該是一個 psql 的 bug,但是你若用 pgAdmin III 的「查詢工具」;也就是工具列上有一張紙上面有一隻筆跟一個 SQL 字樣的那個圖示;用它執行我確定沒問題。這個範例很極端,因為我用了中文來當資料表格名稱,也有中文來建立表格的欄位。因為 BIG5 在 PostgreSQL 的支援仍然有問題,所以這裏要建立時,請確定你目前給程式連線使用的資料庫使用的編碼是 UNICODE。在 UNICODE 下,中文是完全支援的,即使你的 Windows 的系統編碼是 MS950 連線一樣不會有任何問題。
把範例資料匯入資料庫後,接著建立一個新的專案。首先,記得如上面那個例子一樣,把 pgsql.dll 加到參考裏。其次,如下圖一樣,建立一個上面有一個 dataGridView 和一個 button 的 form。要注意 dataGridView 不要拉得太小,拉大一點。
最後在那個 button 上 double-click,打開程式碼模式,加入如下圖的程式碼。一樣別忘了 using Npgsql; 這一行,還有把連線字串改一改,改成自己的。
dataGridView1 就是我們拉的那個 dataGridView 的 name,變數名稱。就算加上那四個大括弧,也只有新增 12 行文字,如果不算那四個大括孤,則只需八行!打完後,按下 F5 或是工具列上的「開始偵錯」的那個綠色三角形,執行程式。
接著用滑鼠按下右邊那個 button,我的 button 上的文字是「載入資料」,你可以用不一樣的文字(text)。
哈!帥吧,即使內碼是 Unicode,所有中文字呈現一點問題也沒有。注意,連爛位名稱都是中文的。再注意一下這行程式碼:
         using (NpgsqlDataAdapter da = new NpgsqlDataAdapter("select * from 商品清單;", conn))
連資料表名稱都可以完全用中文的,而且和 Unicode 完全相容。
這個程式終於勉強可以算是一個「資料庫應用」了,但是仍然太陽春了,所以我們再來展示更加強大的資料庫應用,讓我們下一個程式可以新增、修改、刪除資料,而且在送往資料庫前,你還可以取消。
第三個程式,更新資料
和前兩個程式相比,接下來的這個程式長了一些,不過和真正線上使用的程式相比,依舊算是相當短的程式。
這次我們用一個隨時可以丟掉的資料表格來測試;我們姑且叫它 t3 好了。這個 t3 有兩個欄位,分別是 col1 和 col2。col1 的資料型態是 serial,也就是可以遞增的整數;col2 的資料型態是長度 5 的 varchar 或是更正式的 character varying;然後建立一個 Primary key,擁有 col1 這個欄位。
CREATE TABLE t3
(
  col1 serial NOT NULL,
  col2 character varying(5),
  CONSTRAINT t3_pkey PRIMARY KEY (col1)
);
接著可以用 pgAdmin III,輸入七個字串,分別是:一一一一一、二二二二二、三三三三三、四四四四四、五五五五五、六六六六六以及七七七七七。很無聊的資料吧?但是鑑別力超高的!XD 好,就利用這個測試資料表格和這七個很無聊的資料,我們來進行第三個測試程式。
首先,我們一樣建立一個新專案,在專案中設計一個表單,在表單中放上三個 button 和一個 dataGridView。這次這三個 button 各有用處,所以我們分在它們的 text property 中輸入「載入資料」、「取消變更」和「儲存資料」。大致上這個 form 的 control 擺放的 layout 如下圖。
這個程式比較複雜,所以一些共用的性質,比如連接字串,我們可以儘量擺在 form 一開始的程式碼中,就像下圖。除了要記得程式碼一開始要記得把 using Npgsql; 加上以外,在 Form1 的一開始,可以先把連接字串定義好。同時把共用的三個 ADO.NET 的物件先定義好。我們會用到一個 DataTable,就叫它 dt 好了;會用到一個 DataAdapter,在 Npgsql,DataAdapter 叫做 NpgsqlDataAdapter,我們給我們的 NpgsqlDataAdapter 取名為 da;還需要一個 Connection 物件,Npgsql 的 Connection 物件叫做 NpgsqlConnection,我們的 NpgsqlConnection 就取名為 conn。
這樣還不夠,我們要替我們的 ADO.NET 在 Form load 進來的時候就設定好。所以我們在我們的 form,Form1 初始化時(建構子中),把 dt、da 以及 conn 設定好,等待程式啟動時呼叫 Form1_Load 時可以馬上使用。
除此之外,在這裏,我們先建立一個 private 方法 LoadData(),這個方法的目的是把資料表格 t3 的資料載入,和剛才第二個程式的主要功用是完全一樣。不包括那兩個大括孤的四行程式碼很簡單,就是建立一個本地的 Command 物件,把它指定給 DataAdapter 的 SelectCommand,接著把 DataTable 填滿,最後把這個 DataTable 指派為我們那個 dataGridView 的 DataSource。這樣資料就會自動填入 DataGridView 中。
把這部份功能特別「取出來」,是因為程式中有兩個地方要用到,所做的重構(Extract method),再往下看就可以看到呼叫它的場合。
接著要進入主題中的重點了。程式用到四個 event,分別是 Form1 的載入 event:Form1_Load,以及三個 button 的 Click event。先注意到 Form1_Load。Form1_Load 很簡單,只呼叫 LoadData(),把 t3 資料表格載入。這樣才不會在把資料庫入前,你就按下「儲存資料」,而發生程式例外。
再來第一個,也就是「載入資料」的那個 button 的程式碼。這個部份只比 Form1_Load 多了一行,就是 dt.Clear();,它的用意就是先把 DataTable 清乾淨,不然你一直連續按這個 button,DataGridView 裏重複的資料會一直複加上去,如果發生這種狀況,接著當你結束編輯資料,按下「儲存資料」,而就在資料回存時一定會造成錯誤。因為我們的 t3 有一個 Primary Key,重複的 col1 值會發生錯誤。
第二個 button 就是「取消變更」,只要你還沒按下「儲存資料」,你按下這個 button 所有的更新都會回復。這部份的程式碼非常短,只有一行:dt.RejectChanges();,這一行會把你在 DataGridView(其實是後面的 DataTable) 上所做的變更全部放棄,恢復原來未更動前的資料。
第三個 button 是最重要的「儲存資料」,這一段程式是本程式的重點,主要的程式包含在一個 try...catch 區塊中。重點在於我用了 DataAdapter 的附屬物件 CommandBuilder。CommandBuilder 可以在你回存資料前,先把你這一次期程所編輯、更改、刪除的所有動作,建立成你的資料庫所能了解的 SQL 指令。而建立完成後,你只需把產生出來的 Command 指派給相關的 Command 物件就可以了。指派好了以後,呼叫 update 就會更新資料庫的資料。最後再呼叫 AcceptChanges,完成此次的修改。其實這一段可以再把「載入資料」button 的那兩行程式加入,會讓程式更合理;只是這個程式只是測試,不用把程式重構到如此完美。
接著按下 F5 來執行看看。程式一執行,資料馬上就被載入了。
我們先試試第二個 button,「取消變更」的功能。要試就多試一點,我們來改兩筆資料看看。我們把第三筆的資料從「三三三三三」改成「三三三三八」,同時也把第五筆「五五五五五」改成「五五五五九」。
接著按下「取消變更」,你所改的所有資料都會恢復。只要你還沒按下「儲存資料」之前,所有變更都會恢復。
再來試試「儲存資料」。這次我們修改第四筆資料,把它從「四四四四四」改成「四四四四九」;接著新增一筆「八八八八八」的資料。
按下「儲存資料」,畫面會有點亂,再按下「載入資料」,諾,資料更新了。而且顯示的順序是更新的順序。這是因為 PostgreSQL 的 MVCC,顯示的是儲存的資料的版本順序。
你可以不相信,那麼我們叫出 pgAdmin III 出來。在左邊找出 t3,按下滑鼠右鍵,找出「檢視資料」/「檢視所有資料」。
對吧,資料更新了。
好像還沒試刪除資料的功能,接著把剛才新增的第八筆資料刪除,按下「儲存資料」看看。
不相信刪掉了?沒關係,叫 pgAdmin III 出來做證。看吧!第八筆砍掉了。
看吧,連 CommandBuilder 的功能都完備了,不想繼續被微軟綁死的朋友們,要不要來試試 PostgreSQL 和 Npgsql 呀?
繼續往前走
Npgsql 被微軟的信徒抱怨最多的大概是它沒有提供一堆給 Visual Studio 用的 Data Control,所以他們認為開發速度會減慢。但是,我的看法不是這樣的。其實在 Visual Studio 2005 之後,很多控制項都有 DataSource 這項 property。所以你還是可以很快速,很方便的利用這個性質,和你的 DataTable、DataSet、DataAdapter...... 綁在一起,開發的效率不會降低。
另一個微軟的使用者比較擔心的是,一般他們設計採用的是 MS SQL Server,所以所有物件清單很容易在 MSDN 中,甚至在坊間的 ADO.NET 的書籍中查得到。但是 Npgsql 的相關物件的清單,卻不知道要如何對照?這個問題的答案更簡單。記得本文一開始,在下載那部份,在下載的檔案清單中,是不是有兩個 apidocs 的 ZIP 檔?這就是清單。你只需把這裏的東西,和 MSDN 中 Sql...... 開頭的做對照(Npgsql......),就可以完全轉換過來。換句話說,幾乎只要出現 Sql 的地方,全改成 Npgsql 就可以了。
最後要參考的是一個重要而且很多人關心的網頁。Npgsql 有哪些東西還沒做到(而不是哪些功能完成)?有清單嗎?有,這個負面表列在這裏可以找到:http://npgsql.projects.postgresql.org/roadmap.html
看到我測試的這三個程式,我相信你應該躍躍欲試了,那就開始動手吧。把越來越貴的 MS SQL Server 丟到垃圾桶,換成 PostgreSQL,把週週為了更新,都要停機一段時間的 Windows Server 換成 FreeBSD 或 Linux 吧(連 Solaris 也行喔,改天我來教教大家如何安裝)。




2008年12月18日 星期四

實作建立新的 Tablespace

上個星期發表的 PostgreSQL 的 Tablespace 只有文字說明。事實上,我曾想用圖來解說 Oracle 的 tablespace 的架構,順便也畫一張 PostgreSQL 的架構圖,但是人懶沒畫Tongue out;不是啦,其實是我不太會用繪圖軟體,等我有空再慢慢把圖補起來。但是,如果實作一下在 PostgreSQL 建立一個新的 tablespace,然後 demo 一下是做得到的。所以我就在這幾天大致上把 64 bits 版本的 PC-BSD 7.0.2 的 VM 裝好後,試著模擬新增一顆硬碟,然後在新的硬碟裏建立一個 tablespace,讓大家參考一下,順便感覺一下在 PostgreSQL 下的 tablespace 是長得什麼樣子,以便將來考量以 tablespace 來提昇效能的參考。至於 PostgreSQL 的那兩個 default tablespace,到底被系統放在什麼地方? 過幾天我再另文介紹,今天先饒了我,打字和抓圖打得好累! X(
這篇文章採用的例子是使用 PC-BSD,也就是 FreeBSD 7.0。為了不讓主題 focus 在 FreeBSD 系統面上,所以我儘量跳過 FreeBSD 新增硬碟的步驟。有興趣的朋友可以參考 FreeBSD 手冊,或是王俊斌先生所著「FreeBSD 6 架設管理與應用」。
在文章開始前,我必須先列出要建立 tablespace 的六個要件:
  1. 你必須是資料庫的 superuser。一般來說,PostgreSQL 的資料庫內第一個帳號,也就是 postgres 就是 superuser,你也可以建立一個新的,擁有 superuser 權限的帳號。
  2. PostgreSQL 必須執行在支援 symbolic links 的作業系統。這也就是之前我說 Windows 版本的 PostgreSQL 恐怕不能使用 tablespace 的原因;但是由於有一個東西叫 Cygwin,所以這一條我還得找時間在 Windows 上試一下。
  3. 要建立 tablespace 的目錄必須先存在,也就是說,PostgreSQL 本身不會幫你建立這個目錄,你必須在建立 tablespace 之前先把這個目錄建好。
  4. 上述這個目錄必須是空的。這也就是我等一下不直接用 mount 點建立,而另外再建立一個子目錄的原因;因為在掛載點,作業系統常常會多擺一兩個小東西,我可不敢隨便砍它們,免得系統出現出乎我預料外的慘事。
  5. 這個目錄的名稱長度必須小於 991 個字元。
  6. 這個目錄的擁有者,要是執行 postmaster 或 pg_ctl 程序的那個系統帳號。比如,在 FreeBSD 就是 pgsql,而 Ubuntu/RHEL/Windows 就是 postgres。這一點很容易忘掉,等一下我會特別展示,一旦忘掉,系統會怎麼回應你的。
在開始前,我打算先加上一顆硬碟,讓模擬更真實。由於我是用 VMWare 測試,所以可以很輕鬆的新增一顆「假的」硬碟。事實上真實的系統上要新增硬碟也很簡單,只需要 $$ 多一點就夠了!Tongue out 在 VMWare 上新增硬碟,必須用到 Workstation 版本,方法如下:請到 VM 選單,找到最下面一項「Settings...」按下去,這時會出現一個「Virtual Machine Settings」對話方塊,如下圖。我這張圖是已經建立好一顆 2GB 的 SCSI 虛擬硬碟的狀況。
圖一

要新增硬碟,請先按下左半邊下方的「Add...」按鍵,這時候會出現如下圖一樣的「Add Hardware Wizard」,選 Hard Disk,按 Next>。
圖一之二

這時就請遵照 Wizard 指示,一步一步做,就可以很輕鬆的新增一個「SCSI 虛擬硬碟」。在這裏我就不多做說明了。
圖一之三

加好了以後,再來就是使用 FreeBSD 的工具程式把這顆「新硬碟」Fdisk、Label,也就是建立 partition。能夠的話,修改一下 /etc/fstab,把新硬碟加上,讓系統重新開機時就會自動 mount 上。像我的例子,新硬碟叫 /dev/da1,我建立了一個 label 是 /dev/da1s1d。在 FreeBSD,SCSI 硬碟叫 da?,而 ATA/SATA 硬碟叫 ad?。我把它 mount 在 /pgdata 這個掛載點上。記得我文章一開頭說的建立 tablespace 要注意的六點的第四點嗎?這裏看來在我建立新 partition 並且把它掛在 /pgdata 時,系統在這裏塞了一個叫 .snap 的檔案。我不知道它的作用是什麼?但是為了預防萬一,我寧願不去惹它,把它留下來,所以接著我決定在它下面建立一個目錄 /pgdata/cheeren 來放 tablespace;但是,這時請注意,目前這個目錄和 /pgdata 的擁有者是 root:wheel。還記得剛才提的那六點嗎?看起來最後的第六點違背了,這在後續的動作中會產生問題。我這裏是故意這樣做,因為我發現很多人都會不小心忘記第六點,而在這裏撞牆撞半天。😛
圖二

接著建立一個 tablespace,把它放在 /pgdata/cheeren:
圖三

圖四

接著......,哇啦哇啦!哈!記得嗎?/pgdata/cheeren 的擁有者是 root,所以 pgsql 當然沒有寫入的權限:
圖五

這時候該怎麼辦?切回到 SHELL,用 su 把自己的權限切成 root,然後把 /pgdata 和它下面的所有檔案和目錄的擁有者全部改一下:
圖六

這時再切回到剛才圖四的「新表空間」對話方塊,再按一次「確定」,這次應該可以順利建立了。再來就可以把一些物件存放在這個 tablespace 裏了。這裏我建立一個 database,就放在這個新的 tablespace 'cheeren' 裏。注意看圖八,新的 database 'cheeren' 我是把它建立在 'cheeren' 表空間,而不是 pg_default:
圖七

圖八

來,我們先來看看圖九,建立成功。
圖九

再來再回到主題來。
記得我在 PostgreSQL 的 Tablespace 這篇文章中有提到說,tablespace 是以 symbolic link 連結到新的硬碟上的目錄。喔,但是看來看去,我都只有在新的硬碟上動手腳,並沒有看到原來的 $PGDATA 下有什麼更動呀?別急,我們先看看我們剛才建立的東西的 OID,回想一下,我曾經在 PostgreSQL 如何組織資料 這篇文章中提到,PostgreSQL 會以 OID 為檔名,將物件以一個一個實體檔案儲存在檔案系統中。至於資料庫,則是以和 OID 同名的目錄名稱存在。而在資料庫中的所有物件,則存在該目錄下。那我們來看看我們自己建立的新 tablespace,PostgreSQL 是不是如我們所預期的儲存呢?先來看看下一張圖:
圖十

參考一下圖十,我先切換成 pgsql,然後用客戶端程式 psql 連進去 cheeren database。然後我想查看一下 PostgreSQL 的系統表格 pg_tablespace。這個系統表格裏,正是存著整個 PostgreSQL cluster 的所有 tablespace 的清單。在圖十我先看看這個表格的定義。接著我打算 tablespace 清單列出 OID (實際檔案名,在這裏是在 $PGDATA 下的 symbolic link 的檔名)、tablespace 名和 tablespace 座落位置,正如圖十一所示:
圖十一

在圖十一裏,我多做了一件無聊的事,在 tablespace 'cheeren' 裏建立一個表格名為 foo 的資料表。事實上我用不著加上後面的 tablespace 'cheeren' 特別註明,因為我目前就在 database 'cheeren' 裏,而 database 'cheeren' 就存在於 tablespace 'cheeren';因此,這是多此一舉。無所謂,這樣定義得更清楚。接著我從系統資料表 pg_class 裏查詢 table 'foo' 的 OID,再從系統資料表 pg_database 裏查詢 database ' cheeren' 的 OID。請先來看看圖十二,先來看看在 $PGDATA 下是不是有一個 symbolic link 連到 /pgdata/cheeren?
圖十二

在 FreeBSD 上的 PostgreSQL 的 $PGDATA 是在 /usr/local/pgsql/data。我在 PostgreSQL 如何組織資料 這篇文章中曾說過,PostgreSQL 會把所有資料放在 $PGDATA 下。tablespace 這東西看起來這裏好像違反了我之前說的話,其實沒有。在圖十二中,我們可以看到,在 $PGDATA 下有一個子目錄 pg_tblspc,它裏面存放的,就是兩個預設的 tablespace 以外的 tablespace,而在這個子目錄裏,放的都只有 symbolic link。請看一下圖十二,目前 pg_tblspc 裏只有一個子目錄 16403,而 16403 就是 tablespace 'cheeren',所以我們看到 16403 其實是一個 symbolic link,連結到 /pgdata/cheeren 這個實際目錄。剛才在圖十一,可以看到 tablespace 'cheeren' 的 OID 正是 16403!
圖十三

我們再來看看圖十三,/pgdata/cheeren 裏,除了標示建立該 tablspace 的 PostgreSQL 版本的 PG_VERSION 以外,只有一個目錄 16404。從圖十一的最後一段,我們可以知道 database 'cheeren' 的 OID 正是 16404,也就是說,這個子目錄正是 database 'cheeren' 實際在檔案系統中的位置。再往下看,由於目錄 16404 之下有很多屬於 database 'cheeren' 的系統物件,所以我只列出 16xxx 的檔案,注意一下,是不是有一個 16411?從圖十一我們可以知道這個空空的檔案正是 table 'foo'!
好了,介紹到這裏,我快打不下去了。希望這樣一個 demo 可以讓您了解 PostgreSQL 的 tablespace 實際運作的情況,將來在考慮用 tablespace 來提昇效能時可以比照建立。還有,等我打完這篇文章我才想起,事實上同一個 database 裏的資料表格或 index 可以存在不同的 tablespace 裏,方法就像我在圖十一那樣,在 create table 或 create index 時附加一個 tablespace 子句特別註明。這樣子就能把資料表格和索引放在不同的硬碟,來避開兩者的存取競爭,提昇效能。

2010-3-18 補充:就在我伺服器硬碟掛掉的前兩天,William Tsai 網友留了以下的兩篇留言。因為我看都還沒看到這兩篇留言,硬碟就掛了,所以我也還沒時間測試。但是我特在此將他這份很有價值的留言留下(一字不改),請各位參考一下。待我驗證之後(無論結果如何),尤其是有關 NTFS 的 Junction 的功能後,再來寫一篇文章報告。

真是用心的好文啊

其實我也是用大象用很多年了
只是大部份的IT都仍選用Mysql為主
剛剛讀了您的PostgreSQL在 Linux/Unix下的 tablespace實作
源于我正好在測試windows 版的Postgresql 8.4版本 tableSapce管理
(其實我習慣用Linux.但這次被迫測試Windows)
因為我正在把Mysql 143Gb的data 移轉到Postgresql 上來測試大象的實力
但卻發現一個很不可思議的問題
postgresql裝在C:
所以我建了 一個新的在E: disk (size比較大) .要先建好table space的目錄 (e:\pg_big)CREATE TABLESPACE pg_big
OWNER XXXXX
LOCATION 'e:/pg_big';
這樣是ok的.也會build table 使用該tablespace 該有table 也會建立在另一顆disk .
本來還很開心
卻發現一個很恐怖的問題
您有提到Postgresql 的資枓都base on $PG_DATA
因為window沒有symbolic links
沒錯~~~~
但它的確可以work 在另一顆disk E:上
更可怕的是它居然在 c: 的$PG_DATA 中 build 出 一模一樣的資料
而且 做 DML 處理時 兩塊的資料均會同步異動
形成一種另類的 mirror disk
PostgreSQL的tablespace 在windows底下果然是個很令人失望的不滿意的地方
而且沒法子做到像oracle 那種tablespace
(一整個data file tablespace 有利于減少 inode 或是 windows 資料碎塊的問題 , 我做完 大量insert 後 disk io 因碎塊問題 performace大減)
連Mysql 都可以有連似的結構了 postgresql 居然沒有
與您分享

上篇補註

後來發現那個不是Mirror
如果你是用NTFS來玩
現在NTFS有新玩具我發現在做e : tablespace
postgresql 會在 $PG_DATA 中的tablespace 目錄建立一樣的目錄並且...
做了 類似 symbolic links 的功能
在NTFS中
有了新的結構 junction
http://en.wikipedia.org/wiki/NTFS_junction_point
所以在$PG_DATA 內建立的是對應其它disk 的 junction link
用來實現與 linux/unix 一樣的 symbolic links
與您分享囉.....







2008年12月8日 星期一

PostgreSQL 的 Tablespace

這一篇文章原本是三個月前就開始寫,原先預定是剛好九月底時出刊,但是在發展的過程,突然覺得似乎應該先介紹一下 PostgreSQL 如何來放置、維護資料,再來聊聊 Tablespace 可能比較適當,接著生了一場重病再加上發神經買了一台新電腦,所以就放到現在才發表。
PostgreSQL 在進入 8.0 版時,整套系統的架構大變,新增了不少功能和架構, Tablespace 就是其中一項。當我第一次在 pgAdmin III 上看到 Tablespace 這個字眼出現時,我是非常興奮的,因為要在較大型的資料庫中,才會有這種概念。尤其是之前有 Oracle 的實作經驗,所以看到熟悉的字眼出現時,備感親切,而內心對它充滿期待。但是在進一步深入研究後,就有如被潑了一桶冷水一樣,PostgreSQL 的 Tablespace 和 Oracle 的 Tablespace 功能上差距還不小,實作上更是不一樣。
首先來說明一下,什麼是 Tablespace?Tablespace 一般都翻譯成表格空間。而表格空間,按照手冊上的定義,是整個系統的資料主體。其實呢,用白話一點的說法,Tablespace 是實體資料儲存的基本單位。以官方的說法來說,Tablespace,也就是表格空間,當初設計的目的是為了 DBMS 整體調校之用。這個目的和 Oracle 的 Tablespace 的設計目的很像,但是實作上卻是有不少差距。
在作業系統層面,Tablespace 是以目錄的形式存在檔案系統中。而所有存放在該 Tablespace 的物件,則是以子目錄或檔案的形式儲存在硬碟中。還記得前一陣子我所發表的 PostgreSQL 如何組織資料 的內容吧!PostgreSQL 把它所有的物件都以目錄和檔案的形式,用物件的 OID 為識別,分別儲存起來。Tablespace 身為 Databses、Tables 等等物件的 container,當然一定也是以類似的方式儲存在檔案系統當中。不同的是,除了預設的兩個 Tablespaces 以外,其餘自訂的 Tablespace 在檔案系統中是以 symbolic links 的形式存在的。就是因為它在檔案系統中,是以 symbolic links 的形式存在,因此,Windows 版本的 PostgreSQL,由於作業系統的功能限制,「理論上」使用者無法建立自己的 tablespace。我不清楚 PostgreSQL Win32 版是否設計了一個新的方式,能夠讓 Windows 2003/2008 打破這個理論上的藩籬。但是我確定在 Windows XP/Vista 上,很不幸的,可說是「幾乎」沒有可能性,讓使用者使用這部份的功能(或許加裝 Cygwin 能夠解決,但是這一點我還要測試一下)。
至於為什麼 Tablespace 要以 Symbolic Links 形式存在於檔案系統中,要知道原因,我想先從介紹 Oracle 的架構說起。Oracle 的資料物件,並不像 PostgreSQL 一樣,是以各別的檔案儲存起來的。Oracle 的 DBMS 底層是一堆黑盒子。Oracle 的底層是由一堆 Datafiles 和 Control files 組合而成。資料物件全部統一儲存在 Datafiles 中,而儲存的方式和細部,由 Control files 的定義來設定。而 Datafile 的內部儲存方式,則是一個黑盒子。也由於還要搭配 Control files 才能存取資料,所以你無法用簡單而有效率的方式來備份、維護資料庫,而要去準備一堆認證課程,用一堆工具;不管是 Oracle 的或第三方的;才能好好維護 Oracle 中的資料。而 Tablespace 在 Oracle 當中,雖然也是 DBMS 的最基本的 container,但是它卻是由一堆 Datafiles 和 Control files 組合而成,自成一個戰鬥單位。所以當你要做系統調校時,你可以讓該 Tablespace 所屬 Datafiles 和 Control files 分別儲存在不同的硬碟中,或是其它的安排。在這些實體儲存單位的妥善安排,來提高系統的效能。再來是當原本的儲存空間不足的時候,你也可以再找一顆新的硬碟來掛上,再在這顆新硬碟中新增新的 Datafiles,這樣就可以輕鬆的解決儲存空間不足的問題。當然,Oracle 如何把資料分散在這些 Datafiles 中,手冊故意寫得很神祕,感覺上 DBMS 會很神奇的幫你找出最有效率的儲存方式來安排在這些 Datfiles 當中,但是,who knows?sales talk 吧!
至於 PostgreSQL,我在前一篇 PostgreSQL 如何組織資料 已經展示了,PostgreSQL 是以各別的目錄和檔案方式儲存在實體儲存媒介上。這個方法的優點是開放、透明,缺點就是吃掉不少 inode(以 Unix 來說)。由於每個物件都是以各別檔案存在,所以就以邏輯上而言,身為它們的 container,Tablespace 必然要以目錄的形式存在。但是,要如何做到像 Oracle 一樣,如何使用 Tablespace 把資料物件分散到另一顆硬碟或以 NFS 掛上另一台機器的檔案系統?這時就出了邏輯上的問題了。在檔寀系統中,同一台機器中,在目錄以上已經沒有更大的 container 單位了。那麼如果要在 PostgreSQL 上實作出類似的功能,恐怕對 Tablespace 的定義就要有所改變。因此,在 PostgreSQL 上,Tablespace 不但是邏輯的存取容器,也是基本的實體儲存容器;不像 Oracle,Tablespace 只是邏輯上的容器,實體則是那些 Datafiles 和 Control files。而要做到跨硬碟或 NFS mount,那麼就用到了 Unix 的 Symbolic links,因為用 Symbolic links,可以在 $PGDATA 下留下一條連結,連結到另一顆硬碟或另一台機器分享出來的空間。這樣做又簡單、又有效率。
但是問題就出在跨到 Windows 下時,由於 Windows 沒有 Symbolic links 的概念,只有一個很難用的「捷徑」,這下子問題就來了,因為「捷徑」並不等於 symbolic links,兩者的使用和定義完全不同。把 Tablespace 轉移到 Windows 的實作上,看樣子還有不少努力的空間。
接著,我們來聊聊那兩個預設的 Tablespace:pg_global 和 pg_default。官方文件中對於這兩個 Tablespace 的用途是這樣說的:「PostgreSQL 使用 pg_global 來存放和系統有關的物件;使用 pg_default 表格空間來存放使用者建立的資料庫物件」。也就是說,在 Oracle 當中,每個 Tablespace 的 Control files 當中的內容,在 PostgreSQL 是由一個專屬的 Tablespace pg_global 來統一管理;而預設是你所建立的所有物件會存放在 pg_default 這個表格空間;當然如果你指定存放在你所建立的自訂表格空間,那麼物件就會存到你指定的表格空間裏;若是沒指定,PostgreSQL 就當作你打算使用預設位置,所以就會存在 pg_default。
在這篇文章的最後,我們來看看在官方的文件定義上,有關 Tablespace 的文字。在中文化文件中,有下列幾行文字:
表格空間決定著DBMS整體效能的重點調校之一
,還有:
在以下的情況 DBA 就有必要考量 Tablespace 的分割與配置:
資料間具有競爭系統效能.
大型物件資料表與小型物件資料表應該分別在不同的 Tablespace.
分離資料和索引的存放空間是不錯的效能強化
以上是中國 PostgreSQL 社群翻的「葡萄牙文式」的中文化文件的內容。只要是台灣人,大概都懂得我在說些什麼。其實這段文字主要是在說明為什麼要有表格空間。PostgreSQL 社群加入表格空間這個物件的目的,和 Oracle 是一樣的,主要目的在於效能的調校。所以當發生單一硬碟中的 transaction logs 和資料本身存取的存取競爭時(這東西要說明還要再寫一篇文章!),你就必須考慮把資料物件存到另一顆硬碟上,因為存取競爭勢必降低效能。另外,大型物件和小型物件並存在一個表格空間時,由於硬碟存取資料是「隨機」的,所以小型物件勢必淹沒在大型物件中,這樣小型物件的存取效能也一定會降低。再來就是資料本身和索引也是會產生類似存取競爭的情況,所以一個存取量大的資料表格,或許要考慮把它的索引放到另一個硬碟中。而要把物件存到另一個硬碟中的方法,就是採用 tablespace。
至於如何建立 pg_global 和 pg_default 之外的 tablespace,以及這兩個預設的 tablespace 又存在哪裏呢?就留在下一篇文章中介紹,本文就先在此打住。

2008年10月6日 星期一

PostgreSQL 如何組織資料

原本上個月,打算寫另一篇文章,但是寫到一半,臨時改變計劃,決定先把這篇文章推出來。
在教授 PostgreSQL 時,我發覺,要讓稍微有點基礎的其它資料庫使用者,最容易上手 PostgreSQL 的方法,就是從說明 PostgreSQL 如何在檔案系統中放置你的資料著手。PostgreSQL 存放資料的邏輯相當簡單,所以進階使用者在了解這個邏輯後,很容易就能了解如何備份、擴充功能等等進階功能,不像 Oracle 等商用資料庫,把資料包在一層厚厚的黑盒子裏,不讓你接觸和了解它的行為;但是很不幸的,它也相當程度的依賴檔案系統。這會出現什麼問題呢?等我介紹完 tablespace 後,我想不用我多做解釋你也自然立刻能夠了解。
在開始介紹前,我要介紹一個環境變數。這個環境變數是 $PGDATA,將來我會找個時間把 PostgreSQL 會用到的環境變數做個整理,再另外發表一篇文章來介紹。垷在先稍微介紹一下 $PGDATA。$PGDATA 的值指向某個目錄,而這個目錄其實就是 PostgreSQL 存放資料的目錄。在 FreeBSD 中,$PGDATA 通常是設成 /usr/local/pgsql/data,而在 RHEL/CentOS 則是指向 /var/lib/pgsql/data。但是,在剛安裝好 PostgreSQL Server 時,安裝程式並不會很雞婆的自動幫你把這個環境變數設好;雖然在安裝程式內部的確有一個內部變數 pgdata 指向上述目錄,所以當你在做 initdb 時,如果那時你的 $PGDATA 這個環境變數還沒設定,PostgreSQL 仍然會把資料放在上述目錄中。安裝程式不那麼雞婆的原因在於,PostgreSQL 的開發社群預留給你改變的機會。所以你在安裝好了之後,最好手動把 $PGDATA 設好。如果你是和我一樣,shell 習慣用 BASH,那麼請直接在 /etc/profile 最後面加上一行:
export PGDATA=/usr/local/pgsql/data    <- 如果你是 FreeBSD 的使用者的話
或者是
export PGDATA=/var/lib/pgsql/data        <- 如果是 RHEL/CentOS 的使用者
至於其它 OS 使用者我先略過。至於 $PGDATA 和 initdb,我會找時間另文介紹。 好,讓我們來看看圖一。
圖一
PostgreSQL 有很多系統資料表和系統視觀表(就是 Views,好怪的翻譯詞),就像 ISO 標準的 system catalog,可以讓管理者從文字模式下,沒有使用任何圖形界面工具,仍然可以做管理。pg_database 就是其中之一。pg_database 內儲存了系統中現有資料庫的清單。
psql 是 PostgreSQL 最好用的前端工具,它很像是 Oracle 的 SQL*Plus,當然沒有 SQL*Plus 那麼複雜,功能那麼多。\d 就像 SQL*Plus 的 DESC (describ) 一樣,可以顯示資料表的架構,所以 \d pg_database 就像在 Oracle 的 SQL*Plus 中下達 DESC pg_databse 一樣,可以秀出 pg_database 這個系統資料庫的欄位清單,順便秀出它專屬的索引(indexes)和觸發器(triggers)。我目前想要秀一下 datname 這個欄位個欄位,還有一個隱藏的欄位 oid。datname 是資料庫名稱,oid 則是資料庫的 OID (Object ID)。PostgreSQL 給予它所有的每一個物件一個獨享的 ID,就做 OID,用來識別各個物件,也就是說,每個物件都有它自己獨有的 OID。換句話說,我可以下達 SELECT datname, oid FROM pg_database; SQL 指令,秀出系統中所有現存 database 的名稱和 OID 的對照表:
圖二
從上表可以看到,目前系統只有三個 database,分別是 template0、template1 和 postgres。它們的 OID 分別是 11510、1 和 11511。任何人裝的 PostgreSQL 的編號第一號 OID 的物件一定是 template1。至於這三個資料庫是怎麼來的,它們分別是幹什麼用的,我會另文介紹。
對了,讓我從主題叉開一下,先來談談 PostgreSQL 的系統帳號及資料庫帳號和預設資料庫。
預設安裝的 PostgreSQL 不是由 root 啟動,PostgreSQL process 的 owner 也不是 root,這是為了安全性的緣故。所以你在安裝的時候,安裝程式會幫你建立一個 PostgreSQL 專屬的系統帳號。在 RHEL/CentOS 是 postgres,Win32 版也是 postgres (如果你有安裝 Windows 版本的 PostgreSQL,你可以試著叫出工作管理員看看,postgres.exe 和 pg_ctl.exe 的使用者名稱是什麼),至於 FreeBSD 則是 pgsql;FreeBSD 這樣做會讓使用者很麻煩。
預設的 PostgreSQL 無法由遠端進入,只能從本機登入 psql,而且不能用 root 登入。安裝的預設值是:只要系統中有相同帳號即會「信任」同一使用者。所謂「信任」,代表你不需輸入密碼就可以由 psql 登入資料庫伺服器。還有,postgres 或 pgsql 的密碼你無從得知,因為它是在安裝時亂數隨機取得的。聽到這裏,你可能會問:那麼我要如何切換成 postgres 或 pgsql?不用擔心,在 Unix 系統中,root 的權限很大,你可以先用 su 切成超級使用者模式,這時只需要下達 su - pgsql,不輸入密碼立刻可以切到 pgsql。
如果你是使用 RHEL/CentOS,那麼,當你切成 postgres 帳號時,要登入 postgres,不用下任何參數,只要下達:
$ psql
就可以登入,而 postgres 正是 PostgreSQL 預設 DBA;剛好系統剛裝好預設資料庫也叫 postgres,所以不用另外指定登入資料庫,你就可以直接登入預設而且同名的資料庫 postgres。
但是如果你用的是 FreeBSD,那麼就有點麻煩。在 FreeBSD 下的 PostgreSQL 的預設 DBA 是 pgsql,但是預設資料庫卻是 postgres。所以除非你另外在 FreeBSD 的 shell 中,下達 creadb,手動建立一個屬於 pgsql 的同名資料庫,然後用 dropdb postgres,砍掉預裝的預設資料庫,讓 pgsql 變成新預設資料庫,否則就請你煩麻一點,在執行 psql 時指定登入資料庫:
$ psql -d postgres
這樣才能順利登入 PostgreSQL 伺服器。
好,讓我們回到主題。
我們現在知道這三個 database 的 OID,接著跳出 psql,跳出的指令是 \q。跳出後請在系統中跳到 $PGDATA 這個目錄:
$ cd $PGDATA
注意:你必須先定義過 $PGDATA 才行,否則,你就得:
$ cd /usr/local/pgsql/data    <- 如果你是 FreeBSD 的使用者的話
或者是
$ cd /var/lib/pgsql/data        <- 如果是 RHEL/CentOS 的使用者
跳到 $PGDATA 後,接著跳到 base 子目錄,如圖三所示:
圖三
從圖三中我們看到 $PGDATA 下有不少目錄,有空我再來寫一篇文章介紹當中比較重要的幾個,現在回到 base 目錄。當你下達 ls -l 指令後,我們看到在 base 子目錄下只有三個子目錄,而且目錄名稱都是由數字所構成,它們分別是:1、 11510 及 11511!好巧喔!XD
沒錯!就如你所猜想的,PostgreSQL 把所有的物件都以目錄和檔案名稱儲存在檔案系統中。就剛才看到的,1 這個子目錄中儲存的,正是 database template1 的所有物件:
圖四
而同理,11510 子目錄下存的正是 database template0 的物件,11511 則是 database postgres 的物件。
就是因為 PostgreSQL 是以這種方式安排資料維護的方式,所以當開發社群想把它變得「更企業使用化」時,就會遭遇一些問題,尤其是在跨作業系統時。第一個問題就出在 tablespace,它在 Windows 上看起來似乎是沒有辦法使用的。這就等我繼續討論 Tablespace 時再來聊了。


2008年7月15日 星期二

PostgreSQL簡史

正如 Wikipedia 的 PostgreSQL 條目所說的,PostgreSQL 已有相當的歷史。要追溯其起源,要先談到它的前身 ─ Ingres。1970 年代初期,IBM 公司展開 System R 專案。System R 專案到底有哪些內容?說實在的,我也搞不清楚,但是它所遺留下的最大資產就是 SQL 這個語言。另外,像著名的幾位關連式資料庫權威,比如 E.F.Codd、C.J.Date 、J.N.Gray 等等這幾位大師,都曾經在早期投入這個專案。如果對這個專案有興趣的朋友可以參考下面這篇文章:A History and Evaluation of System R。System R 這個專案,在 1973 年有一些成果出來了,所以研究團隊就出版了一串文章,描述這個系統是如何架構起來的。這時候,U.C.Berkely,也就是我們台灣通稱的柏克萊大學有兩位科學家 Michael Stonebraker 和 Eugene Wong,在研讀了這串文章之後,突然想,為何我們不也來弄一套屬於我們自己的關連式資料庫的專案?

其實,那時候他們兩位仁兄已經有一個專案在手裏了,那個專案的名稱就是 Ingres ─ 全名是 INteractive Graphics REtrieval System,就是由那幾個粗體字頭組成的名字。這個專案原來的目標是打算搞一套地理資料庫系統,那時候還沒有 GIS 這個名詞,野心也還沒那麼大。但是就在這一年,這兩位先生似乎到了一個瓶頸,所以想利用這個靈感,把專案目標弄得更大一點,方向則轉成發展一套就像 System R 一樣的系統,最名就叫做 Ingres。所以先挪用原專案的經費,而且再提 Proposal,向幾個基金會尋求研究經費。Stonebraker 一開始找上 DARPA。DARPA 就是支持 Internet 或 TCP/IP 最早期發展的美國國防部先進研究專案局,那時候全美國有關電腦計算方面的研發經費,最大的經費來源就是它,所以 Stonebraker 一開始也是先找上 DARPA。可惜的是,那時候 DARPA 已有支持其它相同屬性的專案,所以並沒有核准經費給 Stonebraker,而且還好心勸 Stonebraker 改變專案目標,可是 Stonebraker 不死心,轉向其它的經費來源尋求支持,最後有四個機構同意出錢支持,分別是著名的 NFS (The National Science Foundation,美國國家科學基金會,是 DARPA 結束後支持 Internet 和 TCP/IP 繼續發展的單位) 和另外三個美國軍方單位:the Air Force Office of Scientific Research, the Army Research Office, and the Navy Electronic Systems Command,很巧的是陸海空三軍各有一個單位。拿到經費後,大約在 1974 年,就釋出了第一個 prototype 版本的 Ingres,這個時間點也被大家認為是 Ingres 和 PostgreSQL 的最早起點。

整個 1970 年代,整個系統一直都在緊貼著 IBM 的 System R 的發展,一直修改、重寫整個 prototype,研究團隊來來去去,一面累積相關的技術和經驗,一方面也把整套系統漸漸轉往當初 DEC 的迷你電腦和一套新的且漸漸受歡迎的作業系統 ─ Unix 上,提供了一套「便宜甚至算是幾乎免費」的 System R 取代方案。而且早期 Ingres 就好像 Unix 早期一樣,是以極低的烤貝費用提供原始碼給有興趣的人或研究單位使用,所以很多相關領域的學生,就從這些原始碼中得到靈感,紛紛出來開設相關的公司,賣的就是 Ingres 的複製品,這些公司有的後來很有名,比如 Sybase。目前的 Microsoft SQL Server 其實就是由 Sybase 重新改寫而成的。這些都算是 Ingres 的徒子徒孫。

就像一些美國院校研究開發出來可用的專案,最後一定會轉成商品化,後來 Michael Stonebraker 和 Eugene Wong 兩位再加上一位柏克萊教授 ─ Lawrence A. Rowe,三位成立了一家名為 RTI (Relational Technology, Inc.) 的公司,除了專門以便宜的價格販售 Ingres 原始碼,也提供商業性服務,最後甚至改寫 Ingres,出售 Ingres 後續的版本(商業化版本)。最後這家公司甚至在 1980 年代終期,改名為 Ingres,但是在 1990 年十一月被 ASK Corporation 所併購。最後 ASK/Ingres 在 1994 年被 CA (Computer Associates) 所併,成為 CA 的一個資料庫主力產品,一直到現在。2004 年,CA 把 Ingres r3 釋出為 open source 軟體,但是是以社群版的形式,商業版本還是繼續發行,有興趣的朋友可以去下載來參考看看。

其實 Michael Stonebraker 在 1982 年成立 Ingres Corporation 後沒多久,在 1985 年就離開了這家公司,回到柏克萊。他回到柏克萊後,就想要立刻新啟一個新的專案,而且要和 Ingres 的原始碼完全切割、重寫。他成立了 Postgres 計劃,告訴大家它是 Ingres 的後續者。1986 年時,該專案小組先寫了幾篇 paper,主要是描述這個新的 RDB 的基礎想法和概念,而以這個概念在 1988 年寫出一個可以跑的 prototype,在 1989 年六月釋出很少人用過的第一版,隨後很快的,在 1990 年六月把整個 rules system 重寫後釋出第二版。1991 年又重寫了一次 rules system,釋出第三版,這個版本還增加了多重的儲存管理系統,有點初步的 RDBMS 的架式了,也改進了查詢引擎的速度。這時候開始,Postgres 的使用者開始多起來了,大家提出的需求也越來越多,專案人員開始受不了了。終於 1993 年,在釋出第四版後,Postgres 計劃宣布結束!

雖然官方版本的專案結束了,但是由於 Postgres 的 License 是 BSD License,所以每個人都可以拿了原始碼後,再把它拿來做成自己的專案或商品。所以只要有人願意繼續以社群的方式維護這個專案,它就可以以另一個形式存在。所以在 1994 年,柏克萊的兩位博士候選人,Andrew Yu and Jolly Chen,把原本使用專屬於 Ingres 的查詢語言 QUEL 改寫成以 SQL 查詢語言後,成立 Postgres95 專案,而且在網站上釋出。次年,在幾位有識之士的努力下,在 1996 年八月一日,正式將 Postgres 以非大學版本的 open source 版本釋出。而且為了反映 Postgres95 是以 SQL 為其查詢語言,同時也正式將 Postgres95 正名為 PostgreSQL。發音的方式請參考這個 MP3 檔,不要再念錯了。

1997 年元月,PostgreSQL 的正式的第一個版本 6.0 版釋出。從這個時候開始,PostgreSQL 是一個全球性的 open source 社群,維護及開發原始的的任務是利用 Internet,由分散在全球各地社群會員維護。

另一方面,Postgres 商業版本由 Paula Hawthorn 和 Michael Stonebraker 成立的 Illustra Information Technologies 支援和繼續開發,而且改名為 Illustra。Illustra 後來被 Informix 所併購,而 Michael Stonebraker 也曾經成為 Informix Corporation 的 CTO,而 Informix 在併購 Illustra 之後,把它整合到 Informix Universal Server 中,一直到 2001 年資料庫產業所發生的最大新聞,IBM 以 10 億美金併購 Informix 為止。

自從 PostgreSQL 變成 open source 專案後,由於來自全球各角落的專家投入,所以加入了不少較先進的技術,比如 MVCC,這個技術是有關同時性 (Concurrency) 問題解決技術,將來我會另外抽空專文介紹。

時序進入第二個千禧年,在 2000 年五月,PostgreSQL 釋出 7.0 版,版號正式進入 7。7.x 版的改進不少,最大的改變是增加 schema 的概念,預存查詢,outer joins,加入保全功能,等等。

2005 年元月,PostgreSQL 釋出 8.0 版,版號進入 8。8.x 版本有幾個很重要的演進,比如像 Oracle 一樣的 tablespaces,Java Store Procedure ─ PL/Java,某個時點的資料庫復原,巢狀交易,savepoint 等等。最重要的,大概是原生版本的 Windows 版 PostgreSQL。MySQL 之所以可以在台灣的開放源碼資料庫市場占這麼大的市占率,就是因為最早期學習 PHP 的人,十個裏面有九個只熟悉 Windows 環境,所以在 IIS/PHP 的環境中,當時只有 MySQL 是 Windows 下的開放源碼 DBMS。由於台灣的 Internet 產業,充斥著只願看 1-2-3 這類書籍的開發者。所以在不能完全從微軟的系統斷奶,以及習慣速食文化,台灣書商就很聰明的,一窩蜂出了一堆 PHP/MySQL 的書,以致於 MySQL 充斥於 open source 市場。8.0 版之後,PostgreSQL 也終於進入這個市場,搭配新版本的 Windows 版本管理工具 pgadmin III 後,變成一套可以和商業版本 RDBMS 競爭的資料庫系統。

有 Creational Patterns 的原因,是否是有些狀況不適合直接用 new 建造出一個物件來用?

  沒錯!您的直覺非常準確,這正是整個創建型模式(Creational Patterns)核心要解決的根本問題。 在軟體開發中,直接使用 new 關鍵字來建立物件(例如 MyClass obj = new MyClass(); )雖然直覺又方便,但在中大型系統或需要高度擴充性的...