GridFS詳細分析 GridFS簡介 GridFS使用 使用MongoVUE來檢視，管理GridFS 用java驅動上傳下載下傳檔案： nginx-gridfs子產品的安裝使用 GridFS實作原理 自定義Gridfs的hash函數 注意事項

gridfs是mongodb中的一個内置功能，可以用于存放大量小檔案。

http://www.mongodb.org/display/docs/gridfs

http://www.mongodb.org/display/docs/gridfs+specification

mongodb提供了一個指令行工具mongofiles可以來處理gridfs，在bin目錄下。

列出所有檔案：

mongofiles list

上傳一個檔案：

mongofiles put xxx.txt

下載下傳一個檔案：

mongofiles get xxx.txt

查找檔案：

mongofiles search xxx    //會查找所有檔案名中包含“xxx”的檔案

mongofiles list xxx //會查找所有檔案名以“xxx”為字首的檔案

參數說明：

–d 指定資料庫 ，預設是fs，mongofiles list –d testgridfs

-u –p 指定使用者名，密碼

-h  指定主機

-port 指定主機端口

-c 指定集合名，預設是fs

-t 指定檔案的mime類型，預設會忽略

mongovue位址：http://www.mongovue.com/

mongovue是個免費軟體，但超過15天後功能受限。可以通過删除以下系統資料庫項來解除限制：

[hkey_current_user\software\classes\clsid\{b1159e65-821c3-21c5-ce21-34a484d54444}\4ff78130]

把這個項下的值全删掉就可以了。

下載下傳位址：https://github.com/mongodb/mongo-java-driver/downloads

官方的文檔貌似不是最新的，不過通過檢視api來使用也不困骓。

http://api.mongodb.org/java/2.7.2/

以下代碼基于mongo-2.7.3.jar

項目位址：https://github.com/mdirolf/nginx-gridfs

通過nginx-gridfs，可以直接用http來通路gridfs中的檔案。

1. 安裝

安裝各種依賴包：zlib，pcre，openssl

在ubuntu下可能是以下指令：

sudo apt-get install zlib1g-dev            //貌似sudo apt-get install zlib-dev 不能安裝

sudo apt-get install libpcre3 libpcre3-dev

sudo apt-get install openssl libssl-dev

安裝git（略）

用git下載下傳nginx-gridfs的代碼：

git clone git://github.com/mdirolf/nginx-gridfs.git

    cd nginx-gridfs

    git submodule init

    git submodule update

下載下傳nginx：

wget http://nginx.org/download/nginx-1.0.12.zip

tar zxvf nginx-1.0.12.zip

cd nginx-1.0.12

 ./configure --add-module=<nginx-gridfs的路徑>

make

sudo make install

如果編譯出錯，則在configure時加上--with-cc-opt=-wno-error 參數。

2. 配置nginx

在server的配置中加上以下

   location /pics/ {

                gridfs pics

                field=filename

                type=string;

                mongo 127.0.0.1:27017;

        }

上面的配置表示：

資料庫是pics，通過檔案名filename來通路檔案，filename的類型是string

目前隻支援通過id和filename來通路檔案。

啟動nginx：/usr/local/nginx/sbin/nginx

用mongovue把一個圖檔001.jpg上傳到pics資料庫中。

打開：http://localhost/pics/001.jpg

如果成功，則可以看到顯示圖檔了。

3. nginx-gridfs的不足

沒有實作http的range support，也就是斷點續傳，分片下載下傳的功能。

gridfs在資料庫中，預設使用fs.chunks和fs.files來存儲檔案。

其中fs.files集合存放檔案的資訊，fs.chunks存放檔案資料。

一個fs.files集合中的一條記錄内容如下，即一個file的資訊如下：

對應的fs.chunks中的chunk如下：

預設chunk的大小是256k。

public static final int default_chunksize = 256 * 1024;

是以在把檔案存入到gridfs過程中，如果檔案大于chunksize，則把檔案分割成多個chunk，再把這些chunk儲存到fs.chunks中，最後再把檔案資訊存入到fs.files中。

在讀取檔案的時候，先據查詢的條件，在fs.files中找到一個合适的記錄，得到“_id”的值，再據這個值到fs.chunks中查找所有“files_id”為“_id”的chunk，并按“n”排序，最後依次讀取chunk中“data”對象的内容，還原成原來的檔案。

盡管從理論上，無論用什麼hash函數，都有可能出現hash值相同，但内容不相同的檔案，但是對于gridfs預設使用的md5算法，目前已出現長度和md5值都相同但内容不一樣的檔案。

如果想要自已改用其它hash算法，可以從驅動入手。因為gridfs在mongodb中實際也隻是兩個普通的集合，是以完全可以自已修改驅動，替換下hash算法即可。

目前java版的驅動比較簡單，可以很容易修改實作。

但是要注意，這樣不符合gridfs的規範了。

1. gridfs不自動處理md5相同的檔案，對于md5相同的檔案，如果想在gridfs中隻有一個存儲，要使用者自已處理。md5值的計算由用戶端完成。

2. 因為gridfs在上傳檔案過程中是先把檔案資料儲存到fs.chunks，最後再把檔案資訊儲存到fs.files中，是以如果在上傳檔案過程中失敗，有可能在fs.chunks中出現垃圾資料。這些垃圾資料可以定期清理掉。