冀 文，田 峰（中國移動信息技術(shù)有限公司，北京 100032）：康 乾，葉榮偉（中國移動杭州研發(fā)中心，浙江 杭州 310000）
本文版權(quán)為《郵電設(shè)計技術(shù)》所有，如需轉(zhuǎn)載請聯(lián)系《郵電設(shè)計技術(shù)》編輯部
摘 要：針對Hive組件的深度審計方法，在現(xiàn)網(wǎng)中結(jié)合DPI技術(shù)，深度分析Hive組件的交互方式和交互內(nèi)容，設(shè)置多維度的審計分析規(guī)則，重塑組件行為、流量和內(nèi)容側(cè)的交互行為，挖掘大數(shù)據(jù)組件運行的安全風(fēng)險。大數(shù)據(jù)平臺Hive組件深度審計方法結(jié)合分布式計算能力，能滿足現(xiàn)網(wǎng)超大規(guī)模流量的分析需求，可適用于數(shù)據(jù)訪問風(fēng)險監(jiān)測、數(shù)據(jù)共享防泄露等場景，實現(xiàn)對Hive組件的深度審計功能。
關(guān)鍵詞：Hive；深度審計；DPI；大數(shù)據(jù)
doi：10.12045/j.issn.1007-3043.2019.04.007
概述
大數(shù)據(jù)業(yè)已成為產(chǎn)業(yè)發(fā)展的創(chuàng)新要素，不僅在數(shù)據(jù)科學(xué)與技術(shù)層次，而且在商業(yè)模式、產(chǎn)業(yè)格局、生態(tài)價值與教育層面，大數(shù)據(jù)都能帶來新理念和新思維。在充分認(rèn)知大數(shù)據(jù)產(chǎn)業(yè)發(fā)展重要性的同時，也要充分意識到大數(shù)據(jù)安全對大數(shù)據(jù)應(yīng)用發(fā)展的重要性。
大數(shù)據(jù)平臺是實現(xiàn)大數(shù)據(jù)分析能力的基礎(chǔ)，而大數(shù)據(jù)行為的合規(guī)審計則是一種保護(hù)平臺的有效方法。目前，這類審計能力基本上是基于組件的安全日志、運行日志和審計日志的組合分析，存在一定局限性。
a）缺少原生分析能力。大數(shù)據(jù)平臺的組件基于開源軟件，在設(shè)計時缺少安全機制，例如Hadoop生態(tài)系統(tǒng)，其本身沒有審計功能。
b）日志字段粒度太大�？蓪徲嬋罩景ò踩罩�、運行日志和審計日志，但是其字段不完整，記錄的信息模糊，例如HDFS，其日志缺少對操作目錄的記錄。
c）審計能力不可擴展。新增日志字段需要修改源代碼，分析能力不可擴展，無法滿足分析審計規(guī)則更新的需求。
針對上述問題，本文提出了大數(shù)據(jù)組件深度審計方法。該方法主要通過采集和解析網(wǎng)絡(luò)流量數(shù)據(jù)，提取全量組件訪問、共享過程安全日志進(jìn)行分析，實現(xiàn)第三方集中式安全深度審計。
