1.一種基于哈希環的分布式數據過濾方法,其特征在于,包括以下步驟,步驟S101:客戶端接收分布式去重集群的信息;包括節點的狀態和節點的Token,返回數據;步驟S102:客戶端接口數據情況請求,根據一致哈希環Range分布,利用Murmur3 hash數據過濾鍵,得到一個哈希環位置值X1,通過分布式過濾集群的Range分布,計算X1所屬的Range,選擇對應過濾節點,利用RPC向遠端節點發送請求;步驟S103:節點接收請求,根據RPC發送的過濾器要求,定位到相應的過濾器;步驟S104:數據過濾塊定位,根據RPC發送的分區請求,hash取余后,定位到數據的數據過濾塊;步驟S105:數據返回,對應的數據塊,根據過濾器鍵,執行數據存在判斷,返回對應狀態,返回數據。2.按照權利要求1所述的一種基于哈希環的分布式數據過濾方法,其特征在于,所述步驟S102中RPC向遠端節點發送請求。3.按照權利要求2所述的一種基于哈希環的分布式數據過濾方法,其特征在于:所述步驟S103中根據"filter_name",定位到對應的過濾器。4.按照權利要求2所述的一種基于哈希環的分布式數據過濾方法,其特征在于:步驟S104中根據"partition_key",hash取余后,定位到數據的數據過濾塊。5.按照權利要求4所述的一種基于哈希環的分布式數據過濾方法,其特征在于:步驟S104中hash取余時的n為創建設置的塊數。6.按照權利要求1所述的一種基于哈希環的分布式數據過濾方法,其特征在于,所述步驟S101中集群節點加入或移除具體包括以下步驟,步驟S1011:開始;步驟S1012:判斷集群是否有節點加入或移出,如果沒有,則休眠等待,返回步驟S1011;如果有,則進入步驟S1013;步驟S1013:各自節點鎖定Token、Range分布全局表;步驟S1014:新增節點隨機產生新Token;步驟S1015:判斷新Token集群中是否已經存在,如果存在,則返回步驟S1014;如果不存在,則進入步驟S1016;步驟S1016:現有節點接收新增Token,所有節點重新計算Range;步驟S1017:新增節點加入集群,并通知客戶端節點、Token、Range變化。
展開