一種基于分布漂移數(shù)據(jù)集的特征選擇算法，具體包括過(guò)濾器和包裝器兩種版本，該算法通過(guò)引入特征泛化有效性分?jǐn)?shù)(FGES)解決特征漂移問(wèn)題，在給定數(shù)據(jù)集D、特征候選集F、需要選的特征數(shù)量N的設(shè)定下，可以產(chǎn)出對(duì)分類(lèi)問(wèn)題最有效的前N個(gè)特征及其排序。本發(fā)明使機(jī)器學(xué)習(xí)分類(lèi)算法面對(duì)分布漂移數(shù)據(jù)集時(shí)，仍然可以使用過(guò)濾器和包裝器類(lèi)方法進(jìn)行特征選擇，進(jìn)而提高機(jī)器學(xué)習(xí)分類(lèi)算法運(yùn)行效率、可擴(kuò)展性和模型效果。

1.一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，是一種過(guò)濾器特征選擇方
法，包括以下步驟：
步驟1，給定數(shù)據(jù)集D，特征候選集合F，需要選擇的特征數(shù)量N；
步驟2，計(jì)算特征候選集合F中每個(gè)特征的特征相關(guān)度分?jǐn)?shù)FRS；其中，所述特征相關(guān)度
分?jǐn)?shù)FRS是指特征與標(biāo)簽之間的相關(guān)程度或重要程度；
步驟3，計(jì)算特征候選集合F中每個(gè)特征的特征漂移程度分?jǐn)?shù)FSS；其中，所述特征漂移
程度分?jǐn)?shù)FSS是指特征分布隨時(shí)間變化的程度或者特征標(biāo)簽組合隨著時(shí)間變化的程度；
步驟4，計(jì)算特征候選集合F中每個(gè)特征的特征泛化能力有效性分?jǐn)?shù)FGES；其中，所述特
征泛化能力有效性分?jǐn)?shù)FGES為一種特征評(píng)價(jià)指標(biāo)，F(xiàn)GES＝g(FRS，F(xiàn)SS)，其中g(shù)為FRS的非減
函數(shù)，且為FSS的非增函數(shù)；其計(jì)算綜合了所述特征相關(guān)度分?jǐn)?shù)FRS和所述特征漂移程度分
數(shù)FSS；
步驟5，將特征候選集合F的所有特征根據(jù)特征泛化能力有效性分?jǐn)?shù)從大到小排序，得
到特征排序列表；
步驟6，根據(jù)步驟5的特征排序列表，選出特征排序列表的前N個(gè)特征，作為最終的特征
排序列表。
2.一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，是一種包裝器特征選擇方
法，包括以下步驟：
步驟1，給定機(jī)器學(xué)習(xí)模型M，給定數(shù)據(jù)集D、特征候選集合F，需要初選的特征數(shù)量N；
步驟2，計(jì)算特征候選集合F中每個(gè)特征的特征相關(guān)度分?jǐn)?shù)FRS；其中，所述特征相關(guān)度
分?jǐn)?shù)FRS是指特征與標(biāo)簽之間的相關(guān)程度或重要程度；
步驟3，計(jì)算特征候選集合F中每個(gè)特征的特征漂移程度分?jǐn)?shù)FSS；其中，所述特征漂移
程度分?jǐn)?shù)FSS是指特征分布隨時(shí)間變化的程度或者特征標(biāo)簽組合隨著時(shí)間變化的程度；
步驟4，計(jì)算特征候選集合F中每個(gè)特征的特征泛化能力有效性分?jǐn)?shù)FGES；其中，所述特
征泛化能力有效性分?jǐn)?shù)FGES為一種特征評(píng)價(jià)指標(biāo)，F(xiàn)GES＝g(FRS，F(xiàn)SS)，其中g(shù)為FRS的非減
函數(shù)，且為FSS的非增函數(shù)；其計(jì)算綜合了所述特征相關(guān)度分?jǐn)?shù)FRS和所述特征漂移程度分
數(shù)FSS；
步驟5，將特征候選集合F的所有特征根據(jù)特征泛化能力有效性分?jǐn)?shù)從大到小排序，得
到特征排序列表；
步驟6，根據(jù)步驟5的特征排序列表，選出特征排序列表的前N個(gè)特征，作為初選特征排
序列表；
步驟7，根據(jù)步驟6產(chǎn)生的初選特征排序列表，從前往后依次加入每個(gè)特征，依次形成N
個(gè)特征子集，對(duì)每個(gè)特征子集訓(xùn)練機(jī)器學(xué)習(xí)模型M的評(píng)估效果；
步驟8，當(dāng)機(jī)器學(xué)習(xí)模型M的效果達(dá)到要求或者N個(gè)特征都完成循環(huán)后，選出表現(xiàn)最好的
機(jī)器學(xué)習(xí)模型M對(duì)應(yīng)的特征子集。
3.根據(jù)權(quán)利要求1或2所述的一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，
所述特征相關(guān)度分?jǐn)?shù)FRS的計(jì)算方法為：互信息方法，具體方法為：根據(jù)數(shù)據(jù)集D計(jì)算特征候
選集合F中的每個(gè)特征的特征與標(biāo)簽的互信息，采用特征與標(biāo)簽的互信息作為每個(gè)特征的
特征相關(guān)度分?jǐn)?shù)FRS。
4.根據(jù)權(quán)利要求1或2所述的一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，
所述特征相關(guān)度分?jǐn)?shù)FRS的計(jì)算方法為：分類(lèi)指標(biāo)方法，具體方法為：根據(jù)數(shù)據(jù)集D，通過(guò)包
裝器算法計(jì)算得出特征候選集合F中的每個(gè)特征的AUC指標(biāo)或分類(lèi)錯(cuò)誤率，采用AUC指標(biāo)或
分類(lèi)錯(cuò)誤率作為每個(gè)特征的特征相關(guān)度分?jǐn)?shù)FRS。
5.根據(jù)權(quán)利要求1或2所述的一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，
所述特征漂移程度分?jǐn)?shù)FSS通過(guò)以下方法計(jì)算：特征分布KL距離方法，具體方法為：從數(shù)據(jù)
集D中取出不重疊時(shí)間范圍的兩個(gè)子集D1和D2，對(duì)應(yīng)的某特征f的分布分別為s1和s2，則FSS
(f)＝KL(s1，s2)。
6.根據(jù)權(quán)利要求1或2所述的一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，
所述特征漂移程度分?jǐn)?shù)FSS通過(guò)以下方法計(jì)算：特征標(biāo)簽聯(lián)合分布KL距離方法，具體方法
為：從數(shù)據(jù)集D中取出不重疊時(shí)間范圍的兩個(gè)子集D1和D2，D1和D2中的正例中特征f的分布
分別為ps1，ps2，負(fù)例中特征f的分布分別為ns1，ns2，根據(jù)需要設(shè)定正、負(fù)例加權(quán)系數(shù)分別
為pw和nw，則FSS＝pw*KL(ps1，ps2)+nw*KL(ns1，ns2)，取pw＝nw＝0.5。
7.根據(jù)權(quán)利要求1或2所述的一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，
所述特征漂移程度分?jǐn)?shù)FSS通過(guò)以下方法計(jì)算：特征統(tǒng)計(jì)量變化率方法，具體方法為：從數(shù)
據(jù)集D中取出不重疊時(shí)間范圍的兩個(gè)子集D1和D2，分別計(jì)算這兩個(gè)數(shù)據(jù)子集的某特征f的均
值和方差，均值分別為v1、v2，方差分別為u1、u2，則FSS(f)＝w1*abs(v2-v1)/abs(v1)+w2*
abs(u2-u1)/abs(u1)，其中，abs表示絕對(duì)值，abs(v2-v1)/abs(v1)為均值的相對(duì)變化率，
abs(u2-u1)/abs(u1)為方差的相對(duì)變化率，w1和w2分別為均值和方差的加權(quán)系數(shù)，取w1＝
w2＝0.5。
8.根據(jù)權(quán)利要求1或2所述的一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，
所述特征漂移程度分?jǐn)?shù)FSS通過(guò)以下方法計(jì)算：特征標(biāo)簽統(tǒng)計(jì)量變化率方法，具體方法為：
從數(shù)據(jù)集D中取出不重疊時(shí)間范圍的兩個(gè)子集D1和D2，D1和D2中正例中某特征f的均值分別
為pv1、pv2，方差分別為pu1、pu2，負(fù)例的均值分別為nv1、nv2，方差分別為nu1、nu2，則FSS
(f)＝pw*(vw*abs(pv2-pv1)/abs(pv1)+uw*abs(pu2-pu1)/abs(pu1))+nw*abs(vw*abs
(nv2-nv1)/abs(nv1)+uw*abs(nu2-nu1)/abs(nu1))，其中，abs表示絕對(duì)值，pw和nw分別為
正、負(fù)例的加權(quán)系數(shù)，vw和uw分別為均值和方差的加權(quán)系數(shù)，取pw＝nw＝0.5，vw＝uw＝0.5。
9.根據(jù)權(quán)利要求1或2所述的一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，
所述特征泛化能力有效性分?jǐn)?shù)FGES的計(jì)算公式為：FGES＝FRS/FSS。
10.根據(jù)權(quán)利要求1或2所述的一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，
所述特征泛化能力有效性分?jǐn)?shù)FGES的計(jì)算公式為：FGES＝log(FRS)/log(FSS)。
11.根據(jù)權(quán)利要求1或2所述的一種基于分布漂移數(shù)據(jù)集的特征選擇方法，其特征在于，
所述特征泛化能力有效性分?jǐn)?shù)FGES的計(jì)算公式為：FGES＝(1/rank(FRS))*(1/rrank
(FSS))；其中，rank為特征在特征候選集合F中根據(jù)某一指標(biāo)按順序排序的序號(hào)；rrank為特
征在特征候選集合F中根據(jù)某一指標(biāo)按逆序排序的序號(hào)，序號(hào)從1開(kāi)始。