天天看點
傳回

.NET ORM 分表分庫【到底】怎麼做？

理論知識

分表 - 從表面意思上看呢，就是把一張表分成N多個小表，每一個小表都是完正的一張表。分表後資料都是存放在分表裡，總表隻是一個外殼，存取資料發生在一個一個的分表裡面。分表後單表的并發能力提高了，磁盤I/O性能也提高了。并發能力為什麼提高了呢，因為查尋一次所花的時間變短了，如果出現高并發的話，總表可以根據不同 的查詢，将并發壓力分到不同的小表裡面。

分庫 - 把原本存儲于一個庫的資料分塊存儲到多個庫上，把原本存儲于一個表的資料分塊存儲到多個表上。資料庫中的資料量不一定是可控的，在未進行分表分庫的情況下，随着時間和業務的發展，庫中的表會越來越多，表中的資料量也會越來越大，相應地，資料操作，增删改查的開銷也會越來越大；另外，一台伺服器的資源（CPU、磁盤、記憶體、IO等）是有限的，最終資料庫所能承載的資料量、資料處理能力都将遭遇瓶頸。

.NET ORM 分表分庫【到底】怎麼做？

情懷滿滿

分表、分庫在 .NET 下可謂是老大難題，簡單點可以使用類似 mycat 中間件，但是就 .NET 平台的自身生态，很缺乏類似 sharding-jdbc 這樣強大的輪子。

本人就自身有限的技術水準和經驗，對分表、分庫進行分析，實作出自成一套的使用方法，雖然不極 sharding-jdbc 強大，但是還算比較通用、簡單。但願有朝一日出現一批真正 .NET 大神，造出偉大的開源項目，實作你我心中的抱負。

這套分表、分庫方法是建立在 .NET ORM FreeSql 之上做的，内容可能比較抽象，敬請諒解！後續會詳解各種租戶設計方案，除了按字段區分租戶，還包括分庫、分表的方案，敬請關注！

.NET ORM 分表分庫【到底】怎麼做？

入戲準備

FreeSql 是 .Net ORM，能支援 .NetFramework4.0+、.NetCore、Xamarin、XAUI、Blazor、以及還有說不出來的運作平台，因為代碼綠色無依賴，支援新平台非常簡單。目前單元測試數量：5000+，Nuget下載下傳數量：180K+，源碼幾乎每天都有送出。值得高興的是 FreeSql 加入了 ncc 開源社群：https://github.com/dotnetcore/FreeSql，加入組織之後社群責任感更大，需要更努力做好品質，為開源社群出一份力。

QQ群：4336577(已滿)、8578575(線上)、52508226(線上)

為什麼要重複造輪子？

.NET ORM 分表分庫【到底】怎麼做？
FreeSql 主要優勢在于易用性上，基本是開箱即用，在不同資料庫之間切換相容性比較好。作者花了大量的時間精力在這個項目，肯請您花半小時了解下項目，謝謝。功能特性如下：
  • 支援 CodeFirst 對比結構變化遷移；
  • 支援 DbFirst 從資料庫導入實體類；
  • 支援 豐富的表達式函數，自定義解析；
  • 支援 批量添加、批量更新、BulkCopy；
  • 支援 導航屬性，貪婪加載、延時加載、級聯儲存；
  • 支援 讀寫分離、分表分庫，租戶設計；
  • 支援 MySql/SqlServer/PostgreSQL/Oracle/Sqlite/達夢/神通/人大金倉/翰高/MsAccess；

FreeSql 使用非常簡單，【單機資料庫】隻需要定義一個 IFreeSql 對象即可：

static IFreeSql fsql = new FreeSql.FreeSqlBuilder()
    .UseConnectionString(FreeSql.DataType.MySql, connectionString)
    .UseAutoSyncStructure(true) //自動同步實體結構到資料庫
    .Build(); //請務必定義成 Singleton 單例模式
.NET ORM 分表分庫【到底】怎麼做？

分表

既然是分表，那就大膽認為他是操作【單機資料庫】，隻需要對實體類進行動态映射表名即可實作，FreeSql 原生用法、FreeSql.Repository 倉儲用法 都提供了 AsTable 方法對分表進行 CRUD 操作，例如：

var repo = fsql.GetRepository<Log>();
repo.AsTable(oldname => $"{oldname}_201903");
//對 Log_201903 表 CRUD

repo.Insert(new Log { ... });
repo.Update(...);
repo.Delete(...);
repo.Select...;

AsTable 動态設定實體映射的表名，達到對分表的操作目的。除了 CRUD 操作，還提供了建立分表的功能：

  • 如果開啟了自動同步結構功能 UseAutoSyncStructure(true)，則 AsTable 會自動建立對應分表；
  • 可以使用 fsql.CodeFirst.SyncStructure(typeof(實體類), "分表名") 進行手工建表；

多數情況，我們都建議提前建立好分表，如果按月分表，手工建立一年的分表。

目前這種算是比較簡單入門的方案，遠不及 mycat、sharding-jdbc 那麼智能，比如：

  • 不能利用分表字段自動進行分表映射；
  • 不能在查詢時根據 where 條件自動映射分表，甚至跨多個分表的聯合查詢；
.NET ORM 分表分庫【到底】怎麼做？

分庫（單機）

分庫，但是在同一個資料庫伺服器執行個體下。這種情況也可以使用 AsTable 方式進行操作，如下：

var repo = fsql.GetRepository<Log>();
repo.AsTable(oldname => $"{201903}.dbo.{oldname}");
//對 [201903].dbo.Log CRUD

分庫之後，老大難題是事務，如果使用 SqlServer 可以利用 TransactionScope 做簡單的跨庫事務，如下：

var repoLog = fsql.GetRepository<Log>();
var repoComment = fsql.GetRepository<Comment>();
repoLog.AsTable(oldname => $"{201903}.dbo.{oldname}");
repoComment.AsTable(oldname => $"{201903}.dbo.{oldname}");

using (TransactionScope ts = new TransactionScope())
{
    repoComment.Insert(new Comment { ... });
    repoLog.Insert(new Log { ... });
    ts.Complete();
}
.NET ORM 分表分庫【到底】怎麼做？

分庫（跨伺服器）

前面提到：【單機資料庫】隻需要定義一個 IFreeSql 對象即可。那分庫是不是要定義很多個 IFreeSql 對象？答案是的。

一般思路可以定義 static ConcurrentDictionary<string, IFreeSql> 存儲所有 IFreeSql 對象（key = ConnectionString），當進行 CRUD 時擷取到對應的 IFreeSql 即可。由于 IFreeSql 是靜态單例設計長駐記憶體，分庫數量太多的時候會浪費資源，因為不是所有分庫都一直一直在通路。例如租戶分庫 10000 個，定義 10000 個 static IFreeSql？

更好的辦法可以使用 IdleBus 空閑對象管理容器，有效組織對象重複利用，自動建立、銷毀，解決【執行個體】過多且長時間占用的問題。有時候想做一個單例對象重複使用提升性能，但是定義多了，有的又可能一直空閑着占用資源。專門解決：又想重複利用，又想少占資源的場景。https://github.com/2881099/IdleBus

dotnet add package IdleBus 
static IdleBus<IFreeSql> ib = new IdleBus<IFreeSql>(TimeSpan.FromMinutes(10));

ib.Register("db1", () => new FreeSqlBuilder().UseConnectionString(DataType.MySql, "str1").Build());
ib.Register("db2", () => new FreeSqlBuilder().UseConnectionString(DataType.MySql, "str2").Build());
ib.Register("db3", () => new FreeSqlBuilder().UseConnectionString(DataType.SqlServer, "str3").Build());
//...注冊很多個

ib.Get("db1").Select<T>().Limit(10).ToList();

IdleBus 也是【單例】設計！主要的兩個方法，注冊，擷取。idlebus 注冊不是建立 IFreeSql，首次 Get 時才建立，後面會一直用已經建立的。還有一個逾時機制，如果 10 分鐘該 IFreeSql 未使用會被 Dispose，然後下一次又會建立新的 IFreeSql，如此反複。進而解決了 10000 個 IFreeSql 長駐記憶體的問題。

還利用 AsyncLocal 特性擴充使用起來更加友善：

public static class IdleBusExtesions
{
    static AsyncLocal<string> asyncDb = new AsyncLocal<string>();
    public static IdleBus<IFreeSql> ChangeDatabase(this IdleBus<IFreeSql> ib, string db)
    {
        asyncDb.Value = db;
        return ib;
    }
    public static IFreeSql Get(this IdleBus<IFreeSql> ib) => ib.Get(asyncDb.Value ?? "db1");
    public static IBaseRepository<T> GetRepository<T>(this IdleBus<IFreeSql> ib) where T : class 
        => ib.Get().GetRepository<T>();
}
  • 使用 ChangeDatabase 切換 db；
  • 使用 Get() 擷取目前 IFreeSql，省略每次都傳遞 db 參數；
  • 使用 GetRepository 擷取目前 IFreeSql 對應的倉儲類；
注意：使用 IdleBus 需要弱化 IFreeSql 的存在，每次都使用 ib.Get 擷取 IFreeSql 對象； 
IdleBus<IFreeSql> ib = ...; //單例注入

var fsql = ib.Get(); //擷取目前租戶對應的 IFreeSql

var fsql00102 = ib.ChangeDatabase("db2").Get(); //切換租戶，後面的操作都是針對 db2

var songRepository = ib.GetRepository<Song>();
var detailRepository = ib.GetRepository<Detail>();

目前這種算是比較簡單入門的方案，遠不及 mycat、sharding-jdbc 那麼智能，比如：沒有實作跨庫事務。

寫在最後

.NET 生态還處于較弱的狀态，呼籲大家支援、踴躍參與開源項目，為下一個 .NET 開源社群五年計劃做貢獻。

希望正在使用的、善良的您能動一動小手指，把文章轉發一下，讓更多人知道 .NET 有這樣一個好用的 ORM 存在。謝謝了！！

FreeSql 開源協定 MIT https://github.com/dotnetcore/FreeSql，可以商用，文檔齊全。QQ群：4336577(已滿)、8578575(線上)、52508226(線上)

如果你有好的 ORM 實作想法，歡迎給作者留言讨論，謝謝觀看！

FreeSql .net ORM 分表 分庫
上一篇: 2020年 .NET ORM 完整比較、助力選擇
下一篇: 使用 VisualVM 和 JProfiler 進行性能分析及調優

繼續閱讀