大資料DDos檢測——DDos攻擊本質上是時間序列資料，t+1時刻的資料特點和t時刻強相關，是以用HMM或者CRF來做檢測是必然！ 和一個句子的分詞算法CRF沒有差別！...

DDos攻擊本質上是時間序列資料，t+1時刻的資料特點和t時刻強相關，是以用HMM或者CRF來做檢測是必然！——和一個句子的分詞算法CRF沒有差別！

注：傳統DDos檢測直接基于IP資料發送流量來識别，通過硬體防火牆搞定。大資料方案是針對慢速DDos攻擊來搞定。

難點：在進行攻擊的時候，攻擊資料包都是經過僞裝的，在源IP 位址上也是進行僞造的，這樣就很難對攻擊進行位址的确定，在查找方面也是很難的。這樣就導緻了分布式拒絕服務攻擊在檢驗方法上是很難做到的。領域知識見：http://blog.csdn.net/eric_sunah/article/details/72782224

還有彙總的：http://cleanbugs.com/item/ddos-attack-learning-414049.html

論文：http://www.jos.org.cn/ch/reader/create_pdf.aspx?file_no=3960 可以下載下傳，提到了TCP flood，UDP flood，ICMP flood實驗

使用HMM做的：https://pdfs.semanticscholar.org/6363/b9f28a7e037abe626a2e88fac3393c04bfda.pdf  貌似國防科大做得很強啊！

摘自：http://wap.cnki.net/lunwen-1013353778.html

基于譜分析與統計機器學習的DDoS攻擊檢測技術研究

陳世文

　　結合國家863項目“高可信網絡業務管控系統”和“面向三網融合的統一安全管控網絡”的研究需求,按照“分布式檢測、層級化攔阻和集中态勢感覺”的總體思路,本文對DDoS攻擊檢測技術展開專門研究,從宏觀攻擊流感覺與微觀檢測方法兩個角度,提出了基于IP流序列譜分析的泛洪攻擊與低速率拒絕服務(Low-rate Denial of Service, LDoS)攻擊感覺方法,在感覺到攻擊的基礎上,将DDoS攻擊檢測轉化為機器學習的二分類問題,利用隐馬爾科夫模型、孿生支援向量機和條件随機場三種機器學習模型,實作機率點檢測、分類超平面檢測以及融合多特征處理優勢的條件随機場檢測方法。 針對宏觀感覺問題,提出了基于快速分數階Fourier變換估計Hurst旨數的泛洪DDoS攻擊感覺方法,利用DDoS攻擊對網絡流量自相似性的影響,通過監測Hurst指數變化門檻值判斷是否存在DDoS攻擊,相比于小波分析等方法,該方法計算複雜度低,Hurst旨數估計精度高;對于隐蔽性較強的低速率拒絕服務LDoS攻擊,提出了基于巴特利特功率譜估計的感覺方法,相比于矩形窗和三角窗方法,巴特利特功率譜估計一緻性好,對低速率拒絕服務LDoS攻擊檢測率高。 針對微觀的具體攻擊特征檢測問題,提出了基于隐馬爾科夫模型、基于孿生支援向量機和基于條件随機場等三種統計機器學習方法的攻擊檢測政策。 首先,從機率點判别角度,提出了一種基于多特征并行隐馬爾科夫模型(Multi-Feature Parallel Hidden Markov Model, MFP-HMM)的DDoS攻擊檢測方法。該方法利用HMM隐狀态序列與特征觀測序列的對應關系,将攻擊引起的多元特征異常變化轉化為離散型随機變量,通過機率計算來刻畫目前滑動視窗序列與正常行為輪廓的偏離程度。MFP-HMM模型架構采用多元特征并行處理模式,有利于擴充新的特征子產品。特征序列通過滑動視窗後形成觀測序列送入HMM,可通過硬體實作多級流水加速,為可重構設計與分布式部署提供條件。實驗結果表明,基于MFP-HMM的方法優于标準HMM等機器學習方法,檢測準确率高,虛警率低。 其次,從分類超平面判别角度,提出了基于最小二乘孿生支援向量機(Least Square Twin Support Vector Machine, LSTSVM)的DDoS攻擊分類超平面檢測方法,該方法借助最優化方法來解決機器學習問題,利用支援向量機模型較好的非線性處理能力與泛化能力,采用IP包五元組熵、IP辨別、TCP頭标志和包速率等作為LSTSVM模型的多元檢測特征向量,以展現DDoS攻擊存在的流分布特性。基于DARPA2000資料集和TFN2K攻擊采集資料集下的實驗表明,該方法優于标準支援向量機(Support Vector Machine, SVM)等機器學習方法,對于正常突發流量與DDoS攻擊流量檢測準确率較高、虛警率較低。 最後,提出了一種融合多種判别規則的條件随機場DDoS攻擊檢測方法。該方法不要求各個特征量必須滿足獨立同分布的假設條件,在充分利用條件随機場綜合處理多特征優勢的基礎上,将基于特征比對與異常檢測的方法有效地統一起來,實作高檢測率與低誤報率。DARPA2000資料集實驗表明,基于條件随機場的方法優于傳統SVM等方法,準确率高于99.5%,虛警率FPR低于0.6%,并且抗背景噪聲能力強,魯棒性好。……

[關鍵詞]：DDoS攻擊;自相似性;分數階傅氏變換;Bartlett譜估計;隐馬爾科夫模型;孿生支援向量機;條件随機場

摘自：http://cdmd.cnki.com.cn/Article/CDMD-90002-2007140546.htm

基于機器學習的分布式拒絕服務攻擊檢測方法研究

孫永強

【摘要】： 近年來,分布式拒絕服務(Distributed Denial of Service: DDoS)攻擊的檢測與防禦技術成為資訊安全領域的研究熱點之一。DDoS攻擊具有的分布式特性,使得該類攻擊比傳統的拒絕服務攻擊(Denial of Service: DoS)擁有更多的攻擊資源,具有更強大的破壞力,而且更難以防範。目前,由于現有入侵檢測技術的局限性,DDoS攻擊已經對Internet安全運作構成了極大的威脅,使得對新一代DDoS檢測與防禦技術研究的需求更為迫切。 本文在詳細分析了DDoS的原理及其檢測防禦技術的國内外研究現狀的基礎上,針對現有檢測方法存在的問題,結合機器學習的相關理論進展,研究了基于機器學習的DDoS攻擊檢測方法,重點開展了基于隐馬爾可夫模型(Hidden Markov Model: HMM)的新的DDoS檢測模型與基于自适應學習的分布式協同檢測機制的研究。主要研究工作和創新點包括: 1、結合HMM的相關理論,提出了基于HMM與源IP位址監控的DDoS攻擊檢測方法。該方法采用網絡資料流中的源IP位址資訊進行網絡流量狀态的特征表示。首先根據正常資料流進行常用源IP位址庫的學習;然後利用隐馬爾可夫模型進行網絡資料流動态IP位址序列的統計模組化。通過正常流量的IP位址序列進行HMM模型學習,來對未知的網絡流量進行基于動态源IP位址序列的實時異常檢測,同時常用源IP位址庫也保持線上學習更新。 2、針對DDoS分布式檢測中存在的問題,提出了一種基于自适應學習的分布式協同檢測方法。在分布式協同檢測架構下,采用資料融合的方法進行檢測,同時結合一種基于回報的自适應學習算法,在保證檢測精度的條件下,降低系統中各檢測結點之間的通訊量,提高系統運作效率。 3、設計并實作了基于機器學習的DDoS檢測實驗原型系統,包括基于HMM的單點檢測子產品和基于自适應學習的分布式協同檢測機制。在區域網路環境下,結合上述實驗原型系統對DDoS攻擊進行了模拟和檢測,驗證了本文提出方法的可行性和有效性。 本文的研究内容是國家自然科學基金“基于增強學習的自适應入侵檢測方法研究”的重要組成部分。與其它的檢測方法相比,本文提出方法具有檢測準确性高、實時性強、便于響應、易于部署等特點,具有比較好的應用前景。

【關鍵詞】：分布式拒絕服務攻擊 機器學習 隐馬爾可夫模型 入侵檢測

轉載于:https://www.cnblogs.com/bonelee/p/7073516.html