本發(fā)明提供一種基于高密度網(wǎng)絡流量的數(shù)據(jù)報文處理方法，本發(fā)明的技術方案是：一種基于高密度網(wǎng)絡流量的數(shù)據(jù)報文處理方法，該方法包括高密度報文物理處理交換系統(tǒng)與高密度報文邏輯處理交換系統(tǒng)，所述的高密度報文物理處理交換系統(tǒng)流程包括，當用戶發(fā)生網(wǎng)絡訪問行為時，所產(chǎn)生的上網(wǎng)行為數(shù)據(jù)報文通過其所連接的網(wǎng)絡進行傳輸；該網(wǎng)絡由用戶使用端、交換機與互聯(lián)網(wǎng)組成；用戶使用端通過交換機的交換系統(tǒng)分配連接于互聯(lián)網(wǎng)上；本發(fā)明的有益效果是，由于采用上述技術方案，本方法完全采用網(wǎng)絡光復用原理(即分光模式)進行(也可以兼容端口鏡像的方式)，因光傳輸設備不受網(wǎng)絡交換機的端口理論最大速度所限制，因此該系統(tǒng)采用上下級分發(fā)模式。

1.一種基于高密度網(wǎng)絡流量的數(shù)據(jù)報文處理方法，該方法包括高密度報文物理處理交
換系統(tǒng)與高密度報文邏輯處理交換系統(tǒng)，其特征在于：
所述的高密度報文物理處理交換系統(tǒng)流程包括，當用戶發(fā)生網(wǎng)絡訪問行為時，所產(chǎn)生
的上網(wǎng)行為數(shù)據(jù)報文通過其所連接的網(wǎng)絡進行傳輸；該網(wǎng)絡由用戶使用端、交換機與互聯(lián)
網(wǎng)組成；用戶使用端通過交換機的交換系統(tǒng)分配連接于互聯(lián)網(wǎng)上；用戶使用端與交換機的
鏈路之間設置高密度數(shù)據(jù)報文處理系統(tǒng)；高密度數(shù)據(jù)報文處理系統(tǒng)即可以完全采用網(wǎng)絡光
復用原理進行，也可以兼容端口鏡像的模式；系統(tǒng)采用上下級分發(fā)模式，在不超過光端口的
最大值的狀態(tài)下無線接收和處理網(wǎng)絡中傳輸?shù)臄?shù)據(jù)報文；
所述的高密度報文邏輯處理交換系統(tǒng)包括，采用多CPU核心并行列隊高速緩存處理的
處理原理；該處理原理的具體流程包括，
首先建立數(shù)據(jù)緩存空間，使用alloc_bootmem接口，使調用函數(shù)族在內(nèi)存管理子系統(tǒng)
slab啟動前調用；設定主處理設備內(nèi)存容量為32G的情況下，分配網(wǎng)絡數(shù)據(jù)包緩沖區(qū)為12G；
而后建立hook數(shù)據(jù)包接收點，在網(wǎng)絡數(shù)據(jù)包的統(tǒng)計接收點netif_receive_skb接口中
添加一個自定義hook回調點netif_receive_skb_hook，實現(xiàn)該回調即可得到所有數(shù)據(jù)包；
然后插入數(shù)據(jù)接收模塊，將緩沖區(qū)以CPU個數(shù)進行分區(qū)，每一塊區(qū)域都是對應的CPU核
心的局部緩沖區(qū)，由某CPU核心接收的數(shù)據(jù)包即存儲在該CPU核心的對應緩沖區(qū)中；
最后建立數(shù)據(jù)分析過濾模塊及高速數(shù)據(jù)對比算法，依次取CPU核心中一個局部緩沖區(qū)
中的數(shù)據(jù)報文進行數(shù)據(jù)報文過濾分析；高速數(shù)據(jù)對比算法采用基于IP層的高速數(shù)據(jù)報文對
比算法，所有虛擬隊列緩存處理和高速比對算法都是在網(wǎng)絡驅動層實現(xiàn)完畢，做到理論線
性無延遲，再采用若干個數(shù)據(jù)并發(fā)處理引擎進行深度數(shù)據(jù)挖掘分析，當發(fā)現(xiàn)某一條數(shù)據(jù)報
文中有異常時即可進行數(shù)據(jù)留存以便進行深度的數(shù)據(jù)挖掘分析。
2.根據(jù)權利要求1所述的一種基于高密度網(wǎng)絡流量的數(shù)據(jù)報文處理方法，其特征在于，
高密度報文物理處理交換系統(tǒng)包括：
高密度報文物理處理交換系統(tǒng)上有一張10Gb或更高速的網(wǎng)絡端口適配器和若干臺
10Gb或1Gb的網(wǎng)絡端口組成的并發(fā)處理引擎來組成；將主網(wǎng)絡數(shù)據(jù)獲取端口通過驅動編程
將其設置為數(shù)據(jù)捕獲模式，從而能夠做到實時獲取分光設備上的數(shù)據(jù)報文，根據(jù)多核心隊
列緩存的原理來確定數(shù)據(jù)有哪些，并指定發(fā)送到特定標記為空閑狀態(tài)的網(wǎng)絡端口上。
3.根據(jù)權利要求1所述的一種基于高密度網(wǎng)絡流量的數(shù)據(jù)報文處理方法，其特征在于：
所述的核心處理設備群都存放在私有地址池中，所以無需考慮設備的安全性。
4.根據(jù)權利要求1所述的一種基于高密度網(wǎng)絡流量的數(shù)據(jù)報文處理方法，其特征在于，
當數(shù)據(jù)處理量達到峰值時的應變措施包括：
當高密度報文物理處理交換系統(tǒng)達到處理瓶頸時僅需增加若干臺數(shù)據(jù)并發(fā)處理引擎
即可對數(shù)據(jù)進行分流處理，并將其中的數(shù)據(jù)由若干臺數(shù)據(jù)并發(fā)實時處理引擎進行分析處
理。