zdnet至頂網伺服器頻道 11月25日 新聞消息：
1公安大資料的建設需求
近年來随着資訊化技術的不斷發展，現有的公安警務資料中心無論是規模還是架構都很難适應在海量資料場景下的資料管理和分析，直接影響了公安形勢預判和重大決策。是以，在現階段建設新的能夠比對公安業務場景的大資料系統是公安部門的迫切需求。
建立設的公安大資料系統，将成為面向各警種的大資料管理和分析平台，通過對海量資料的收集、整理、歸檔、分析、預測，從複雜的資料中挖掘出各類資料背後所蘊含的、内在的、必然的因果關系，找到隐秘的規律，促使這些資料從量變到質變，實作對海量資料的深度應用、綜合應用和高端應用。通過大資料的建設，使新系統能夠向各警種提供集中資源、集中管理、集中監控和配套實施統一的大資料應用環境，保障在今後一個較長時期内很好地擔負起對全局各警實戰應用的支撐、服務、保障作用。
那麼，公安需要一個什麼樣的大資料系統？
1.pb級資料存儲管理：資訊化建設在推進，資料規模随之飛速增長，為了滿足大規模資料的存儲和分析，大資料存儲系統應支援單一系統擴充至10pb以上規模，以滿足未來資料爆發的存儲需要
2.多種資料類型與協定支援：公安資料形式多樣，包含文檔、圖檔、視訊、栅格、矢量等，是以該系統需要能夠支援結構化、半結構化、非結構化多種資料類型，提供nfs/cifs/jdbc/odbc等多種接口，以便業務對多種資料進行通路和操作；
3.高品質的資料整合：好的資料品質是資料分析挖掘等有效應用的基本條件，面對公安行業互動複雜而繁多的系統，勢必需要将這些多源異構的資料進行抽取、轉換及裝載，實作資料的整合、消重，提供高品質的資料，在此基礎上進行關聯、模組化，為實戰業務提供可用的資料；
4.高效的資料分析能力：百億條記錄的檢索、上千張表的碰撞、幾百個小時的視訊分析、大量的移動網際網路和社交媒體資料處理等應用，無不對大資料系統的資料分析能力提出更高的要求；
5.可管理和開放性：可管理、開放化、标準化的大資料技術體系架構，不僅可以為公安帶來更高的成本效益、更出色的擴充性，更能為警務建設在大資料平台上開展新探索、新應用解除後顧之憂；
6.安全可靠，自主可控：公安系統中很多資料關系着國家安全和人民生命财産安全，是以，要求該系統具備非常高的可靠性，同時，為進一步加強資料安全性，避免資料洩露，最好選用具備完全自主知識産權的國産裝置和系統。
2公安大資料的技術選型
大資料的實質是對資料的管理與開發利用，與目前以資訊資源開發為核心的公安工作具有廣泛的共通性，如何借助大資料技術推動公安工作的發展和變革？技術選型非常重要。在各個企業群組織紛紛助推下，大資料領域的相關技術呈現百花齊放局面，涵蓋資料收集、存儲、計算、挖掘、資源排程等，下面就以最核心的計算層和存儲層兩個次元介紹下有關技術路線和發展趨勢。
資料處理：
簡而言之，不管對何種應用，當資料量很大時就無法在一台伺服器上解決計算問題，此時分布式計算優勢就展現出來，而hadoop mapreduce的重要創新便是當處理一個大資料集時會将其任務分解并在運作的多個節點中處理，這種批處理架構常用于離線的複雜的非結構化資料處理，如etl、資料挖掘等場景；與hadoop的使用硬碟來存儲資料不同，spark是基于記憶體的疊代計算架構，适用于需要多次操作特定資料集的應用場合；而storm則是專門針對實時資料類型的流式計算分析架構，應用在低延遲的場景中，實作海量事件的實時分析、處理和決策。除此之外，為應對不斷增長的海量結構化資料的存儲和快速處理以及靈活的業務模組化需求，資料庫系統必将引入分布式架構、mpp處理技術。
資料存儲：
上面提到了mapreduce将任務分發到多個伺服器上處理大資料的能力。而對于分布式計算，每個伺服器必須具備對資料的通路能力，這就是hdfs所起到的作用，hdfs有着高容錯性、高吞吐量的特點，适合大資料集的應用。與此同時，業内也有許多其他類型的檔案系統推出，不僅能解決了傳統存儲體系結構存在的難題，又能提高存儲使用率和資料讀寫性能，可以替代hdfs作為hadoop架構的底層檔案系統/資料存儲。
不同的技術思路各有偏重，由于公安業務種類繁多，大資料應用場景多樣化，除了建立各類基礎大資料資源庫之外，還需要做到事前預測警務研判、事中實時情報分析及事後案事件分析，及可視化查詢統計等，建議公安使用者基于智能融合的大資料架構建構上層應用，積極引入大資料領域的先進技術，推動公安工作邁入大資料發展階段。
3華為大資料解決方案服務公安
華為彙集國内外的大資料專家，建構世界級的大資料團隊，全面覆寫大資料領域關鍵技術，推出了智能融合的大資料解決方案，已在全球電信市場、國内金融行業和政府涉密部門等擁有大量實踐及成功案例，例如招商銀行、建設銀行、工商銀行、上海聯通和江蘇移動等，并與多地公安機關和公安行業應用廠家展開緊密合作，緻力于為公安使用者打造服務于實戰應用的大資料方案。
華為大資料方案融合了基礎設施層面的oceanstor 9000大資料存儲，rh2288通用x86伺服器，和資料管理分析層面的fusioninsight企業級hadoop，該方案在公安領域的價值展現包括：
建立融合海量異構多源資料的公安資訊資源庫，将更大規模、更多類型的資料納入大資料平台，拓寬公安的資料掌控面；
實作更快更準的智能搜尋、關聯查詢和碰撞比對，提高研判分析效率；
融合多種分布式計算架構，處理更複雜的分析模型和預測模型，提升案件偵破能力；
保持大資料平台100%的開放性，支援被內建，更穩健地搭載公安業務；
華為公司戰略投入，強大的研發團隊長期從事大資料領域發展的研究，能助力公安的大資料實踐和探索。
原文釋出時間為：2014年11月25日
本文來自雲栖社群合作夥伴至頂網，了解相關資訊可以關注至頂網。