基于.net ,使用幾種常見的NoSQL資料庫

目錄

• 0 .net中的緩存對象
• 1.MemCached
• 2.Redis
• 3.MongoDB

• 示例完整源碼位址

shanzm-2020年1月10日 10:10:10

本文隻是我的一個Github倉庫的自述檔案，

詳細的各個NoSQL的驅動API可檢視 [倉庫](https://github.com/shanzm/NoSQL) 中的代碼

• 因為需要向伺服器多次請求相同的資料，為了減輕伺服器壓力，是以引入緩存。
• 在.net中的緩存類為

  MemoryCache

  （.net 4.0引入），其繼承于

  ObjectCache

  抽象類，并且實作了

  IEnumerable

  和

  IDisposable

  接口。和ASP.NET中的

  HttpContext.Cache

  對象具有相同的功能！但是MemoryCache更加通用，也是可以使用在ASP.NET中的。
• MemoryCache對象的資料形式為鍵值對形式
• MemoryCache對象可以設定緩存的時間
• MemoryCache是存入到程式程序的記憶體中的，程式重新開機之後就沒了

• 項目若是使用的是伺服器叢集，那麼因為程式請求不同的伺服器，緩存在各個伺服器中不能共享，是以資料要在不同的伺服器中緩存，是以需要占用大量的記憶體，此時使用程式内緩存就不合适了

  是以，如果資料量比較大或者叢集伺服器比較多，就要用單獨的分布式緩存了，也就是搞一台或者多台專門伺服器儲存緩存資料，所有伺服器都通路分布式緩存伺服器。

示例：（詳見：001MemoryCache）

//添加引用：System.Runtime.Caching
//建立一個緩存對象，使用預設的緩存對象
MemoryCache memCache = MemoryCache.Default;
//緩存以鍵值對的形式存儲，緩存的生命期是10s
memCache.Add("name", "shanzm", DateTimeOffset.Now.AddSeconds(10));
           

• Memcached是一個自由開源的，高性能，分布式記憶體對象緩存系統。
• 使用Memcached的目的：通過緩存資料庫查詢結果，減少資料庫通路次數，以提高動态Web應用的速度、提高可擴充性。
• MemCached存儲的資料形式是鍵值對的形式，可以簡單的了解為一個大

  Dictionary<key ,value>

• MemCached存儲的資料在伺服器的記憶體中，讀取效率較高，但是用戶端和伺服器之間的通訊是通過網絡通訊，是以效率不及使用.net中的緩存對象緩存
• 當然也是因為MemCached存儲的資料寫在記憶體中，是以伺服器重新開機之後則資料全部即被清空。
• 官網上并未提供 Memcached 的 Windows 平台安裝包，需要自行編譯。安裝包下載下傳：推薦一個編譯好的安裝包
• 注意ADO.Net隻支援關系型資料庫，是以在.net中使用NoSQL資料庫需要自行安裝驅動。

• 注意.net下的MemCached驅動有很多，推薦使用EnyimMemcached

  NuGet:

  PM> Install-Package EnyimMemcached

• MemCached中的Cas操作：（詳見：003Cas操作）

簡單示例：（詳見：002MemCachedDemo）

//建立配置對象
MemcachedClientConfiguration memConfig = new MemcachedClientConfiguration();
memConfig.AddServer("127.0.0.1:11211");
//若是Memcached叢集，此處可以同時添加多個伺服器ip位址，然後用戶端根據自己的算法決定把資料寫入哪個 Memcached 執行個體

//建立MemcachedClient對象
using (MemcachedClient memClient = new MemcachedClient(memConfig))
{
    //寫入MemCached中
    memClient.Store(Enyim.Caching.Memcached.StoreMode.Set, "Name", "shanzm");
    memClient.Store(Enyim.Caching.Memcached.StoreMode.Set, "Age", "100");

    //讀取資料
    string name = memClient.Get<string>("Name");
    if (name == null)
    {
        Console.WriteLine("無緩存");
    }
    else
    {
        Console.WriteLine(name);
    }

    //删除資料
    Console.WriteLine(memClient.Get<string>("Age"));
    memClient.Remove("Age");
    if (null == memClient.Get<string>("Age"))
    {
        Console.WriteLine("已經将Key為Age的資料從MemCached伺服器中清除");

    }
    Console.ReadKey();
}
           

• 關于MemCached叢集：
  • memcached 重新開機之後短時間内大量的請求會湧入資料庫，給資料庫造成壓力，解決這個的方法就是使用叢集，有多台 Memcached 伺服器提供服務
  • Memcached 伺服器的“雪崩”問題：如果所有緩存設定過期時間一樣，那麼每隔一段時間就會造成一次資料庫通路的高峰。解決方法：緩存時間設定不一樣，比如加上一個随機數。
  • Memcached 的叢集實作很簡單，叢集節點直接不進行通訊、同步，隻要在多個伺服器上啟動多個Memcached 伺服器即可，用戶端決定把資料寫入不同的執行個體，不搞主從複制，每個資料庫執行個體儲存一部分内容

• Redis是完全開源免費的，是一個高性能的key-value資料庫
• 相對于MemCached等NoSQL資料庫其有如下特點：
  • Redis支援資料的持久化，可以将記憶體中的資料儲存在磁盤中，重新開機的時候可以再次加載進行使用。
  • Redis 中value資料類型有6種，同字元串(String), 哈希(Hash), 清單(list), 集合(set) 和 有序集合(sorted set)，經緯度(geo，僅限Redis3.2以上版本)
  • Redis支援資料的備份，即master-slave模式的資料備份。
• Redis的所有操作都是原子性的( Atomicity)，即和SQL中的事務一樣：要麼成功執行要麼失敗完全不執行。單個操作是原子性的。多個操作也支援事務，即原子性，通過MULTI和EXEC指令包起來。
• Redis與MemCached對比：
  • Redis是單線程的，是以單個Redis執行個體隻能使用一個CPU核，無法發揮CPU的所有性能，亦是如此，是以一台伺服器上可以運作多個Redis執行個體，不同執行個體監聽不同的端口，再組成叢集。對比于MemCached，MemCached是多線程的，可以充分的利用CPU多核的性能
  • MemCached儲存的鍵值對的value隻能是字元串類型，對象類型隻能序列化為Json字元串
  • Redis會把資料寫入磁盤，而Memcached隻寫入記憶體，重新開機即清空。
  • 簡而言之：Memcached 隻能當緩存伺服器用，也是最合适的；Redis 不僅可以做緩存伺服器（性能沒有 Memcached 好），還可以存儲業務資料。
• 雖然Redis是預設有16個資料庫，但是因為單線程的原因，不同的項目使用同一個Redis執行個體的不同庫，效率不高，是以一般一個項目使用一個Redis執行個體，使用預設的db0庫，即該執行個體的第一個庫（索引為0）
• 注意：Redis和MemCached一樣，所有的鍵值對資料都是存放在一個庫中（即資料不隔離），不同項目，不同程式，隻要是使用的是同一個伺服器，則他們的資料都存放在一個庫中，是以存放資料的時候要注意

  key

  的命名方式，防止重複，造成對已存入的資料的覆寫。
• 安裝Redis（官方無windows版，微軟自己維護一個開源版本）
• 常用的指令：參考
• 安裝Redis GUI用戶端：RedisDesktopManager （推薦一個cracked 2019.5版本）
• Redis在.net下的驅動也多個，ServiceStack.Redis 和StackExchange.Redis(推薦)

  PM>Install-Package StackExchange.Redist

  （注意其所支援的dotnet版本）

  官方位址

• Redis中的六種資料類型的具體操作及使用案例

  005使用Redis計算新聞點選量

  006Redis中的list使用

  007模拟注冊發送郵件驗證

  008Redis中的set使用

  009Redis中的sorted set使用

  010Redis中使用sorted set實作熱搜

  011Redis中使用hash使用

  012Redis中的geo使用(注意隻支援最新版本的Redis)

  015Redis實作随機分紅包

簡單示例：(詳見：004RedisDemo)

//注意此處我們使用異步方法
using (ConnectionMultiplexer conn = await ConnectionMultiplexer.ConnectAsync("127.0.0.1:6379"))
{
    //預設是0号資料庫，若是其他資料庫，如3号資料庫，conn.GetDatabase(3)
    IDatabase db = conn.GetDatabase();

    //寫入資料
    await db.StringSetAsync("Name", "張三", TimeSpan.FromSeconds(10));

    //批量寫入(使用Redis中Batch對象 見013Redis的批量操作)
    KeyValuePair<RedisKey, RedisValue>[] kvs = new KeyValuePair<RedisKey, RedisValue>[3];

    kvs[0] = new KeyValuePair<RedisKey, RedisValue>("A", "a");
    kvs[1] = new KeyValuePair<RedisKey, RedisValue>("B", "b");
    kvs[2] = new KeyValuePair<RedisKey, RedisValue>("C", "c");
    await db.StringSetAsync(kvs);

    //讀取資料(查詢不到資料傳回為null)
    string name = await db.StringGetAsync("Name");
    string A = await db.StringGetAsync("A");

    //删除資料
    db.KeyDelete("A");

    //判斷是否存在某條資料
    if (!db.KeyExists("A"))
    {
        MessageBox.Show("已删除Key值為‘A’的資料");
    }

    //對已經存儲的資料設定過期時間
    db.KeyExpire("B", TimeSpan.FromSeconds(10));
}
           

• MongoDB 是一個面向文檔存儲的資料庫，即文檔型資料庫。存儲方式也是key-value，其中value隻能是“文檔”，在MongoDB中的文檔類似于Json對象。（其中的資料以"filed ：value"書寫）
• 因為資料是和Json類似的字元串（其實我感覺就是Json字元串），是以不需要預先定義表結構，同一個“表”中可以儲存多個格式的資料。
• Mongodb 沒有“資料一緻性檢查”、“事務”等，不适合存儲對資料事務要求高（比如金融）的資料；隻适合放非關鍵性資料（比如日志或者緩存）。
• 注意MongoDB中我們所說的表即其中的Collection
• 安裝MongoDB（官方位址）
• 安裝MongoDB GUI用戶端：Robo3T
• 注意.net中的MongoDB的驅動，有微軟官方開發：

  PM>Install-Package MongoDB.Driver -Version 2.5.0

  (注意預設安裝最新版本可能會報錯

  親測2.5.0版本和 .net Framework版本是4.6.1完美支援)

• MongoDB中的完整的增删改查，見：017MongoDB中的CURD

簡單示例：（詳見：016MongoDBDemo）

//連接配接MongoDB服務，建立對象
MongoClient client = new MongoClient("mongodb://127.0.0.1:27017");
//擷取名為：TestDb1的資料庫，若是沒有則建立！
IMongoDatabase db = client.GetDatabase("TestDb1");
//擷取名為名為Personsde表（collection可以了解為表）若是沒有則建立！
IMongoCollection<Person> persons = db.GetCollection<Person>("Persons");


Person p1 = new Person() { Id = 0001, Name = "shanzm", Age = 25 };
Person p2 = new Person() { Id = 002, Name = "shanzm" };//MongoDB會對Age預設填充為0

persons.InsertOne(p1);
persons.InsertOne(p2);

           

作者：shanzm

[email protected]

歡迎交流，歡迎指教!