天天看點

《Python和HDF 5大資料應用》——導讀

《Python和HDF 5大資料應用》——導讀

過去的幾年裡,python已經和idl或matlab一樣,成為科學分析領域值得信賴的選擇。它擁有穩健的核心子產品,可用于處理數值數組(numpy)、分析 scipy)以及繪圖(matplotlib),同時還擁有十分豐富的專用子產品。它能幫助人們減少編寫科學代碼的工作量,同時還能提高計算結果的品質。

已經有越來越多的人将python用于大型數值資料集處理,使用标準格式來進行資料的存儲和通信也顯得越來越重要。國家超級電腦應用中心(national center for supercomputing applications,ncsa)開發的“層次性資料格式”(hierarchical data format,hdf)的最新版本hdf5正迅速成為人們儲存科學資料的選擇。很多使用(或有意使用)hdf5的研究人員也被python的易用性和快速開發能力吸引。

本書向所有有python資料分析基本背景的人介紹如何在python下使用hdf5。本書假定讀者隻熟悉python和numpy。本書将側重于hdf5的本地功能集,而不是python的高層抽象,以盡力確定在本書建議下建立的hdf檔案可移植。

最後,本書将盡力同時支援python 2和python 3的使用者。本書所有的示例都以python 2寫就,任何有可能導緻誤會的差別都将在文本中特别注明。

[第1章 簡介

1.1.1 資料和中繼資料的組織

1.1.2 大資料複制

<a href="https://yq.aliyun.com/articles/93552/">1.2 hdf5到底是什麼</a>

1.2.1 hdf5檔案規格

1.2.2 hdf5标準庫

1.2.3 hdf5生态系統

[第2章 開始使用

<a href="https://yq.aliyun.com/articles/93575/">2.2 設定</a>

2.2.1 python2還是python3

2.2.2 代碼示例

2.2.3 numpy

2.2.4 hdf5和h5py

2.2.5 ipython

2.2.6 時間和優化

<a href="https://yq.aliyun.com/articles/93594/">2.3 hdf5工具</a>

2.3.1 hdfview

2.3.2 vitables

2.3.3 指令行工具

<a href="https://yq.aliyun.com/articles/93617/">2.4 你的第一個hdf5檔案</a>

2.4.1 使用環境管理器

2.4.2 檔案驅動

2.4.3 使用者塊

第3章 使用資料集

第4章 讓分塊和壓縮來幫忙

第5章 組、連結和疊代:hdf5的層次性

第6章 用特征存儲中繼資料

第7章 更多關于類型

第8章 通過引用、類型和次元标尺來組織資料

第9章 hdf5并發性:多線程和多程序

第10章 下一步

索引