打開微信掃一掃，關注微信公衆号【資料與算法聯盟】
轉載請注明出處： http://blog.csdn.net/gamer_gyt
部落客微網誌： http://weibo.com/234654758
Github： https://github.com/thinkgamer
前言
由于業務關系，最近一段時間一直在關注入侵檢測技術方面的知識，經過了最近一天的學習與調研，在大體上還是有了一定的了解與研究，下面就分享一下我得學習成果，當然大部分知識都是從網上進行收集和整理的，當然加上了自己的一些想法
本文永久位址：http://blog.csdn.net/gamer_gyt/article/details/53876659
什麼是入侵檢測
入侵檢測(Intrusion Detection )是對入侵行為的檢測。它通過收集和分析計算機網絡或計算機系統中若于關鍵點的資訊，檢查網絡或系統中是否存在違反安全政策的行為和被攻擊的迹象。入侵檢測作為一種積極主動的安全防護技術，提供了對内部攻擊、外部攻擊和誤操作的實時保護，在網絡系統受到危害之前攔截和響應入侵入侵檢測技術雖然也能夠對網絡攻擊進行識另拼作出反應，但其側重點還是在于發現，而不能代替防火牆系統執行整個網絡的通路控制政策。
入侵檢測系統（intrusion Detection System ,IDS）是對計算機和網絡資源的惡意使用為進行識别的系統；它的目的是監測和發現可能存在的攻擊行為，包括來自系統外部的入侵行為和來自内部使用者的非授權行為，并且采取相應的防護手段。
入侵檢測系統的分類
一：按檢測分析方法分類
1：異常檢測
基于異常的入侵檢測方法主要來源于這樣的思想，任何人的正常行為都是有一定的規律的，并且可以通過分析這些行為的日志資訊型總結出這些規律，而入侵和濫用行為規則通常和正常的行為存在嚴重的差異，通過檢查這些差異就可以判斷是否為入侵。總之，一場檢測基于這樣的假設和前提：使用者活動是有規律的，而且這種規律是可以通過資料有效的描述和反映；入侵時異常活動的子集和使用者的正常活動有着可以描述的明顯的差別。
異常監測系統首先經過一個學習階段，總結正常的行為的輪廓成為自己的先驗知識，系統運作時将資訊采集子系統獲得并預處理後的資料與正常行為模式比較，如果差異不超出預設閥值，則認為是正常的，出現較大差異即超過閥值則判定為入侵。
異常檢測系統有如下特點：
1)：檢測的效率取決于使用者輪過的完備性和監控的頻率，因為不需要對每種入侵行為進行定義，而能有效檢測未知的入侵，是以也稱為一個研究熱點
2)：系統能針對使用者行為的改變進行自我調整和優化，但随着檢測模型的逐漸精确，異常檢測會消耗更多的系統資源
2：誤用檢測
又稱為基于特征的檢測，基于誤用的入侵檢測系統通過使用某種模式或者信号标示表示攻擊，進而發現同類型的攻擊，其實作過程是：先收集非正常操作的行為特征，系統就認為這種行為是入侵，系統處理過程如同：
這種方法可以檢測到許多甚至是全部已知的攻擊行為，如果入侵特征與正常的使用者行為能比對，則系統會發生誤報，如果沒有特征能與某種新的攻擊行為比對，則系統會發生漏報。
特點：采用特征比對模式能明顯降低錯報率，但漏報率随之增加，攻擊特征的細微變化，會使得濫用檢測無能為力。
二：按資料源分為
1：基于主機的入侵檢測
基于主機的入侵檢測是入侵檢測的最初期形式，這種入侵檢測系統通常運作在被檢測的主機或者伺服器上，實時檢測檢測系統的運作，通常從主機的審計記錄和日志檔案中獲得所需的主要資料源，并輔之以主機上的其他資訊，在此基礎上完成檢測攻擊行為的任務。特别的，從主機入侵檢測技術中還可以單獨分離出基于應用的入侵檢測模型，這是特别針對于某個特定任務的應用程式而設計的入侵檢測技術，采用的輸入資料源是應用程式的日志資訊。
基于主機的入侵檢測悉尼型來源主要包括：
1）：系統資訊，幾乎所有的作業系統都提供一組指令，獲得本機目前激活的程序的狀态資訊，他們直接檢查核心程式的記憶體資訊。
2）：記賬，通常指由作業系統或操作員所執行的特定操作，記錄計算機資源的使用情況，例如CPU占用時間，記憶體，硬碟，網絡使用情況。在計算機未普及之前，記賬是為了向使用者收費的。
3）：系統日志，可分為作業系統日志和應用程式日志兩部分。作業系統日志從不同方面記錄了系統中發生的事情，對于入侵檢測而言，具備重要的價值，當一個程序終止時，系統核心為每個程序在程序日志檔案中寫入一條記錄。
4）：C2安全審計，記錄所有可能與安全性有關的發生在系統上的事情。
基于主機的入侵檢測能夠較為準确的檢測到發生在主機系統高層的複雜攻擊行為，其中，許多發生在應用程序級别的攻擊行為是無法依靠基于網絡的入侵檢測來完成的，基于主機的入侵檢測系統巨頭檢測效率高，分析代價小，分析速度快的特點，能夠迅速并準确的定為入侵者，并可以結合作業系統和應用程式的行為特征對入侵進行進一步的分析，響應。比如，一旦檢測到有入侵行為，我們可以立即使該使用者的賬号失效，使用者的程序中斷。他可以幫助發現基于網絡的入侵檢測無法檢測的加密攻擊。基于主機的入侵檢測系統尤其對于獨立的伺服器及應用構造簡單，易于了解，也隻有這種檢測方式能檢測出通過控制台的入侵活動。目前許多是基于主機日志分析的。
同時，基于主機的入侵檢測系統也有若幹顯而易見的缺點，由于他一定程度上依賴于特定的作業系統平台，管理困難，必須按照每一台機器的環境配置管理。同時主機的日志提供的資訊有限，有的入侵手段和途徑不會在日志中有所反映，日志系統對網絡層的入侵行為無能為力。在資料提取的實時性，充分性，可靠性方面基于主機日志的入侵檢測系統不如基于網絡的入侵檢測系統。他通常無法對網絡環境下發生的大量攻擊行為作出及時的反應，他在所保護主機上運作，這也會影響主控端的運作性能。
2：基于網絡的入侵檢測系統
通過監聽網絡中的資料包，既抓包技術來擷取必要的資料來源，并通過協定分析，特征比對，統計分析等手段目前發生的攻擊行為。
基于網絡的入侵檢測的優點是：一個安裝在網絡合适位置NIDS系統可以監視一個很大範圍的網絡，他的運作絲毫不影響主機或者伺服器的運作效率，因為基于網絡的入侵檢測系統通常采取獨立主機和被動監聽的工作模式，他對網絡的性能影響也很小。NIDS能夠實時監控網絡中的資料流量，并發現潛在的攻擊行為和作為迅速的響應，而使攻擊者難以發現自己已被監視，另外，他的分析對象是網絡協定，一般沒有移植性的問題。
同僚基于網絡的入侵檢測系統的主要問題是監視資料量過于龐大并且他不結合作業系統特征來對網絡行為進行準确的判斷，在網絡通訊的高峰時刻，難以檢查所有資料包；如果網絡資料被加密，NIDS就不能掃描協定或内容NIDS不能判斷一個攻擊是否已經成功，對于漸進式，合作式的攻擊難以防範。
常用的入侵檢測技術
1：基于統計分析技術的入侵檢測
他試圖建立一個對應”正常活動”的特征原型，然後把與所建立的特征原型中差别”很大”的所有行為都标志為異常。顯而易見，當入侵集合與異常活動集合不完全相等時，一定會存在漏 報或者誤報的問題，為了使漏報和誤報的機率較為符合實際需要，必須選擇一個區分異常事件的閥值，而調整和更新某些系統特征路徑成本的方法非常複雜，開銷巨大，在實際情況下，試圖用邏輯方法明确劃分正常行為和異常行為兩個集合非常困難，統計手段的主要優點是可以自适應學習使用者的行為，主要問題是其可能被入侵者逐漸訓練以緻最終将入侵事件誤認為是正常，并且閥值設定不會當導緻大比例的誤報與漏報，此外，由于統計量度對事件順序的不敏感性，事件間的關系會漏掉。
2：基于模式預測異常檢測
基于模式預測異常檢測方法的假設條件是：事件序列不是随機的，而是遵循可辨識的模式，這種檢測方法的特點是考慮了事件的序列和互相關系。而基于時間的推理方法則利用時間規則識别使用者行為正常模式的特征，通過歸納學習産生這些規則集，能動态的修改系統中的規則，使之具有高的預測性，準确性和可信度。如果規則大部分時間是正确的，并能夠成功的運用預測所觀察到的資料，那麼規則就具有高的可信度，根據觀察到使用者的行為，歸納産生出一套規則集來建構使用者的輪廓架構，如果觀測到的事件序列比對規則的左邊，而後續事件顯著的背離根據規則預測到的事件，那麼系統就可以檢測出這種偏離，這就表明使用者操作是異常。如果能預測出不着呢剛才的後繼事件的片段，則一定程度上斷定使用者行為的異常性，這種方法的主要優點是：
1）：能較好地處理變化多樣的使用者行為，具有很強的時序模式。
2）：能夠集中考察少數幾個相關的安全事件，而不是關注可疑的整個登入會話過程
3）：對發現檢測系統遭受攻擊，具有良好的靈敏度，因為根據規則的蘊含語義，在系統學習階段，能夠更容易的辨識出欺騙者訓練系統的企圖
預測模式生成技術的問題在于未被這些規則描述的入侵會被漏檢
3：基于神經網絡技術的入侵檢測
神經網絡用給定的n個動作訓練神經網絡去預測使用者的下一步行為。訓練結束之後，神經網絡使用已出現在網中的使用者特征比對實際的使用者行為，标志統計差異較大的事件為異常或者非法。使用神經網絡的優點是可以很好的處理噪聲資料，因為他隻與使用者行為相關，而不依賴于任何底層資料特性的統計，但同樣有入侵者能夠在其徐诶階段訓練網絡的問題。
4：基于機器學習異常檢測
這種異常檢測方法通過機器學習實作入侵檢測，其主要的方法有死記硬背式、監督、學習、歸納學習、類比學習等。
5：基于資料挖掘異常檢測
資料挖掘，也稱知識發現，通常記錄系統運作日志得資料庫都非常大，如何從大量資料中“濃縮”出一個值或者一組值來表示對象得概貌，并以此進行行為的異常分析和檢測，這就是資料挖掘技術在入侵檢測系統的應用，資料挖掘中一般會用到資料聚類技術。
6：專家系統
用專家系統對入侵進行檢測，經常時針對具有明顯特征的入侵行為，即所謂的規則，即時知識，專家系統的建立依賴于知識庫的完備性，知識庫的完備性又取決于審計記錄的完備性和實時性。
基于專家系統無用入侵檢測方法是通過将安全專家的知識表示城IF-THEN規則形成專家知識庫，然後，運用推理算法進行入侵檢測，編碼規則說明攻擊的必需條件作為IF的組成部分，當規則的左邊的全部條件都滿足時，規則的右邊的動作才會執行，入侵檢測專家系統應用的實際問題時要處理大量的資料和依賴于審計跟蹤的次序，其推理方式主要又以下兩種：
1)：根據給定的資料，應用符号推理出入侵的發生情況，需要解決的主要問題時處理序列資料和知識庫的維護，不足之處就是隻能檢測已知。
2)：根絕其他的入侵證據，進行不确定性推理，這種推理的局限性就是推理證據的不精确和專家知識的不精确。
入侵檢測的技術關鍵
入侵檢測技術對于網絡安全方面來說是一項重要的技術而提高入侵檢查的一項根本方法就是提高模式比對效率，提高模式比對的效率也就是等于提升了網絡安全。
一：模式比對技術
1：模式比對
入侵檢測系統對重要的網段進行監控，對網段中沒個資料包進行模式比對和分析。如果資料包内容和入侵檢測系統規律相符，就會發出警報，并切斷網絡，由此可見模式比對是影響入侵檢測的關鍵技術。
模式比對定義為：設有給定的連哥哥串T和P，則在T中尋找P的子串的經過成為模式比對。T稱為正文，P稱為模式，通常T的長度遠遠大于P的長度，若在T中找到等于P的子串，則比對成功，否則比對失敗。
2：模式比對的原理
在入侵檢測中，模式比對可以了解為：給定入侵規則庫中的一個特定的模式字元串P，在網絡資料包T中進行查找，确定P是否在T中出現。
3：模式比對的規則
網絡入侵檢測以網絡中采集的資料包為資料源，使用模式比對方法對資料包進行檢測進而發現網絡中可能存在的入侵事件，其中對資料包的檢測就是要在網絡資料包中檢測是否存在可以代表入侵行為或者入侵企圖的一些字元串，即查找出某些入侵規則中規則選項中所辨別的字元串，由于規則數較多，模式比對過程是入侵檢測系統中時間小号最大的環節之一。如果沒有高效的模式比對算法作為保障，檢測過程中就會産生逾時溢出錯誤，此時為了保證正常工作狀态，系統将主動的丢棄一些資料包，形成漏檢。
是以，一個好的高效的模式皮比對算法對入侵檢測效率的提升至關重要。
二：模式比對算法
參考：http://dsqiu.iteye.com/blog/1700312
案例說明
1：介紹
以企業入侵日志為例，假設攻擊者要攻擊某個企業，那麼必需使用進入到該企業的網絡，已知該企業的網絡分為内部使用者和訪客，每次登陸都會産生一系列的日志，那麼如何根據這些wlan的通路日志來進行登陸使用者的異常行為檢測呢？
2：分析
根據通路日志，我們并不能确定使用網絡的使用者哪個是進行入侵的，即我們沒有一個明确的結果來判斷入侵者和非入侵者，那麼這裡我們可以采用的入侵檢測技術便可以是：基于統計的入侵檢測技術
3：實作
首先我們可以對通路者進行比例劃分，例如9：1，利用90%的資料進行建構使用者肖像，統計分析出使用者肖像資料，繼而利用10%的資料進行資料測試，主要依據的便是90%資料建構的使用者模型。統計處測試使用者産生的異常值。并可以根據實際情況設定一個閥值，來判定是否是入侵使用者。
其次，如果我們能明确知道哪些是入侵者，即資料産生方已經積累了一定的入侵使用者，那麼我們可以針對入侵者的入侵手段進行模組化，比如說，這些入侵者都喜歡在淩晨3點，進行網絡認證，且他們線上的時間較短，那麼我們便可以收集這兩個特征作為入侵者的特征，繼而針對網絡認證使用者進行判斷。
當然我們也可以結合其他的一些輔助手段進行異常使用者的檢測，比如說黑名單，可以根據入侵者的行為模式建構哥規則清單，即符合該規則庫中的任意一條規則幾位入侵者。
文章推薦：以企業入侵檢測日志分析為場景談大資料安全
個人微信公衆号，歡迎關注