本發明公開了一種基于海量數據的實時結構化數據比對系統，包括規則中心服務器以及分別與之相連接的外部規則服務器、比對客戶端和比對服務集群，還包括設置于規則中心服務器中的布隆過濾器；所述外部規則服務器將規則傳輸給規則中心服務器，規則中心服務器通過對規則計算，利用hash把規則均勻散列至比對服務集群，比對服務集群將收到的規則加載至其物理內存中；規則中心服務器把規則中用于匹配的內容加載至布隆過濾器，規則中心服務器完成規則計算后，把布隆過濾器同步至比對客戶端，比對客戶端把布隆過濾器的信息加載至其內存中；比對客戶端實時接收海量數據，實時給出準確比對結果響應。本發明使低成本部署大量規則的實時比對系統成為可能。

1.一種基于海量數據的實時結構化數據比對系統，其特征在于：所述系統的硬件構建
包括規則中心服務器以及分別與之相連接的外部規則服務器、比對客戶端和比對服務集
群；
系統的工作流程具體如下：
首先，所述外部規則服務器將規則傳輸給規則中心服務器，規則中心服務器通過對規
則計算，利用hash把規則均勻散列至比對服務集群，比對服務集群將收到的規則加載至其
物理內存中；
同時，規則中心服務器把規則中用于匹配的內容加載至規則中心服務器內設置的布隆
過濾器，規則中心服務器完成規則計算后，把布隆過濾器同步至比對客戶端，比對客戶端把
布隆過濾器的信息加載至其內存中；
比對服務集群將規則快速加載至其物理內存中，具體的步驟包括：
步驟一、比對服務集群將從規則中心服務器接收的規則放入規則隊列之中；
步驟二、輪詢線程從規則隊列之中輪詢規則指令，
201、若沒有指令則繼續定時輪詢規則隊列；
202、若存在指令則取出一個規則指令；
步驟三、對取出的規則指令進行解析，按規則格式對規則進行拆分，把整體規則拆分成
預規則，并把預規則放入預規則隊列；
步驟四、啟動復數個預規則輪詢線程，每個線程獲取預規則進行計算，加載至比對服務
集群的內存容器之中；
步驟五、所有預規則輪詢線程結束后，繼續輪詢規則隊列；
最后，比對客戶端實時接收海量數據，實時給出準確比對結果響應；
比對客戶端進行數據比對工作的流程為：
a)比對客戶端接收實時的海量數據；
b)海量數據按待比對內容經過含有規則信息的布隆過濾器過濾，
301、若海量數據沒有被布隆過濾器匹配命中，則此數據不會命中規則；
302、若海量數據被布隆過濾器匹配命中，則進如步驟c)；
c)對布隆過濾器匹配命中的數據按待比對內容進行計算，根據計算的結果，把數據傳
輸到比對服務集群，可能匹配中的規則和海量數據將被分發到比對服務集群中的同一臺比
對服務器；
d)比對服務器接收比對客戶端傳輸的數據，對接收的數據與加載在內存規則容器中的
規則通過二次Hash計算，實現實時精確匹配；
e)比對服務集群把命中的規則信息傳輸給比對客戶端；
f)比對客戶端把命中信息回填到此海量數據中，標識此條數據命中及命中的規則信
息。
2.如權利要求1所述的一種基于海量數據的實時結構化數據比對系統，其特征在于：所
述規則中心服務器的規則計算以及比對客戶端對布隆過濾器匹配命中的數據按待比對內
容所進行的計算，均采用hash算法。
3.如權利要求1所述的一種基于海量數據的實時結構化數據比對系統，其特征在于：所
述外部規則服務器使用規則中心服務器的API接口把規則傳輸給規則中心服務器。