天天看點

工業開源實時資料庫淺析

作者:人人都是産品經理
在工業網際網路快速發展的前提下,生産現場投放了大量的裝置,比如監控、傳感器等等,這些裝置産生的實時資料能反映裝置的情況和生産進度,而對這些資料的處理和分析,則需要資料庫的支援。
工業開源實時資料庫淺析

在工業領域, 生産、測試、運作階段都可能會産生大量帶有時間戳的傳感器資料,這都屬于典型的時序資料。時序資料主要由各類型實時監測、檢查與分析裝置所采集或産生,涉及制造、電力、化工、工程作業等多個行業,具備寫多讀少、量非常大等典型特性。

寫入吞吐低:單機寫入吞吐量低,很難滿足時序資料千萬級的寫入壓力存儲成本大:在對時序資料進行壓縮時性能不佳,需占用大量機器資源維護成本高:單機系統,需要在上層人工進行分庫分表,維護成本高查詢性能差:查詢速度慢,尤其是海量實時資料的聚合分析性能差

一、工業網際網路時序資料庫的需求與痛點

主要問題可以彙總如下:

  • 寫入吞吐低:單機寫入吞吐量低,很難滿足時序資料千萬級的寫入壓力;
  • 存儲成本大:在對時序資料進行壓縮時性能不佳,需占用大量機器資源;
  • 維護成本高:單機系統,需要在上層人工進行分庫分表,維護成本高;
  • 查詢性能差:海量實時資料的聚合分析性能差。

需要支援的特性:

  • 功能穩定
  • 高效的資料寫入
  • 高效的資料查詢,包括最新資料和曆史資料
  • 可雲化部署
  • 可私有化部署
  • 線性擴充
  • 高可用
  • 便于連接配接大資料平台

二、資料源需求

從資料源角度,設計人員可以從下面幾個角度分析在目标應用系統裡面的适用性。

  • 總體資料量巨大
  • 資料輸入速度偶爾或者持續巨大
  • 資料源數目巨大

三、架構

随着時序資料庫産品的引入,減少了元件數量,降低架構的複雜度,同時降低了存儲成本,提升業務響應實時性,降低了人員要求,釋放了業務創新能力。

工業開源實時資料庫淺析

四、收益與價值

高性能,可以支援百萬級别的并發寫入、萬級的并發讀取,大量聚合查詢時依然有高性能表現高可用,可支援叢集部署,可橫向擴充,不存在單點故障,為生産環境穩定運作提供基礎低成本,資料庫對硬體資源要求低,資料壓縮率高,平均至少節省 70% 的硬體資源充分利用時序資料的特點,高度一體化,具備消息隊列、流式計算和緩存的功能,大幅簡化架構易上手,使用 SQL 進行資料庫操作,簡單易學,支援複雜查詢,減少開發難度和運維壓力。

五、系統分析

實時資料庫是資料和事務都有定時特性或顯示的定時限制的資料庫‚在結構和功能上是根據實時資料庫的性質以及實時資料在使用方式上的特點而設計的‚其中一些功能是标準的關系型資料庫所不具備的。在本系統中根據實時資料庫的結構和功能特點‚将實時資料庫設計分為實時資料庫結構設計和實時資料庫管理程式設計兩部分。

工業開源實時資料庫淺析

六、收益與價值

  • 高性能,可以支援百萬級别的并發寫入、萬級的并發讀取,大量聚合查詢時依然有高性能表現
  • 高可用,可支援叢集部署,可橫向擴充,不存在單點故障,為生産環境穩定運作提供基礎
  • 低成本,資料庫對硬體資源要求低,資料壓縮率高,平均至少節省 70% 的硬體資源
  • 高度一體化,具備消息隊列、流式計算和緩存的功能,大幅簡化架構
  • 易上手,使用 SQL 進行資料庫操作,簡單易學,支援複雜查詢,減少開發難度和運維壓力

七、行業應用

在工業網際網路快速發展的大背景下,工業生産現場投放了大量的裝置傳感器和監控系統,二者提供的實時資料能夠反映裝置的狀态和生産的進度,其中的大多資料都是按照時間順序形成的實時資料,這些海量實時資料有着多樣化的分析需求和重要的參考價值。

未來希望資料庫可以提供更複雜的流式計算、查詢分析以及監測預警等能力,可以為産品的可視化運維、預測性維護、遠端智能管理等方面提供資料依據,進而降低人員、時間等成本,加速工業化與資訊化的深度融合,促進複雜重型裝備制造業的轉型更新,産生社會經濟效益。

本文由 @Nate 原創釋出于人人都是産品經理。未經作者許可,禁止轉載

題圖來自Unsplash,基于CC0協定

該文觀點僅代表作者本人,人人都是産品經理平台僅提供資訊存儲空間服務

繼續閱讀