《人工智能PPT第3章 數(shù)據(jù)清洗與特征預(yù)處理.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《人工智能PPT第3章 數(shù)據(jù)清洗與特征預(yù)處理.ppt（12頁珍藏版）》請(qǐng)?jiān)趨R文網(wǎng)上搜索。

1、第第3 3章章 數(shù)據(jù)清洗與特征預(yù)處理數(shù)據(jù)清洗與特征預(yù)處理數(shù)據(jù)清洗數(shù)據(jù)清洗n在實(shí)際的數(shù)據(jù)集中，通常存在著缺失值、在實(shí)際的數(shù)據(jù)集中，通常存在著缺失值、異常值等噪聲數(shù)據(jù)。數(shù)據(jù)清洗包括缺失異常值等噪聲數(shù)據(jù)。數(shù)據(jù)清洗包括缺失值處理、異常數(shù)據(jù)檢測(cè)與清除，重復(fù)值值處理、異常數(shù)據(jù)檢測(cè)與清除，重復(fù)值處理等。處理等。缺失缺失值值n采集數(shù)據(jù)時(shí)，由于各種因素導(dǎo)致部分樣本的數(shù)據(jù)特性缺失。采集數(shù)據(jù)時(shí)，由于各種因素導(dǎo)致部分樣本的數(shù)據(jù)特性缺失。缺失值通常以空白，缺失值通常以空白，NaN或其他占位符編碼。缺失值處理或其他占位符編碼。缺失值處理一般采用如下方法：刪除法和數(shù)據(jù)填充。一般采用如下方法：刪除法和數(shù)據(jù)填充。n刪除法：如果

2、某個(gè)屬性的缺失值過多，可以直接刪除整個(gè)刪除法：如果某個(gè)屬性的缺失值過多，可以直接刪除整個(gè)屬性。屬性。n數(shù)據(jù)填充：對(duì)屬性缺失的樣本采用其他值，如前后值、中數(shù)據(jù)填充：對(duì)屬性缺失的樣本采用其他值，如前后值、中位數(shù)、均值進(jìn)行替代。位數(shù)、均值進(jìn)行替代。nsklearn中中 Imputer 類或類或SimpleImputer類處理缺失值。類處理缺失值。imputer在在preprocessing模塊，而模塊，而SimpleImputer在在sklearn.impute模塊中。模塊中。異常值異常值n“異常數(shù)據(jù)異常數(shù)據(jù)”又稱為離群點(diǎn)，具有與其他數(shù)據(jù)的顯著不同。通常檢測(cè)方法如又稱為離群點(diǎn)，具有與其他數(shù)據(jù)的顯著不

3、同。通常檢測(cè)方法如下所示：下所示：n1）基于鄰近度的方法）基于鄰近度的方法n通常可以在對(duì)象之間定義鄰近性度量，異常對(duì)象是那些遠(yuǎn)離其他對(duì)象的對(duì)象。通?？梢栽趯?duì)象之間定義鄰近性度量，異常對(duì)象是那些遠(yuǎn)離其他對(duì)象的對(duì)象。n2）基于密度的方法）基于密度的方法n僅當(dāng)一個(gè)點(diǎn)的局部密度顯著低于它的大部分近鄰時(shí)才將其分類為離群點(diǎn)。僅當(dāng)一個(gè)點(diǎn)的局部密度顯著低于它的大部分近鄰時(shí)才將其分類為離群點(diǎn)。n3）基于聚類的方法）基于聚類的方法n聚類分析用于發(fā)現(xiàn)局部強(qiáng)相關(guān)的對(duì)象。聚類分析用于發(fā)現(xiàn)局部強(qiáng)相關(guān)的對(duì)象。n一般采用一般采用Z標(biāo)準(zhǔn)化得到的閾值作為判斷標(biāo)準(zhǔn)，超過閾值則為異常。標(biāo)準(zhǔn)化得到的閾值作為判斷標(biāo)準(zhǔn)，超過閾值則為異常。

4、重復(fù)重復(fù)值值n重復(fù)值的存在會(huì)影響數(shù)據(jù)分析和挖掘結(jié)果的準(zhǔn)確性。對(duì)于重復(fù)值的存在會(huì)影響數(shù)據(jù)分析和挖掘結(jié)果的準(zhǔn)確性。對(duì)于重復(fù)值的處理，可以使用重復(fù)值的處理，可以使用Pandas中的相關(guān)方法，如下所中的相關(guān)方法，如下所示：示：nduplicated()用于判斷重復(fù)數(shù)據(jù)記錄用于判斷重復(fù)數(shù)據(jù)記錄ndrop_duplicates()用于刪除重復(fù)記錄用于刪除重復(fù)記錄特征預(yù)處理特征預(yù)處理n當(dāng)多個(gè)特征大小相差較大，或者某特征的方差相比其他特征數(shù)個(gè)數(shù)量當(dāng)多個(gè)特征大小相差較大，或者某特征的方差相比其他特征數(shù)個(gè)數(shù)量級(jí)，容易影響或支配目標(biāo)結(jié)果。特征預(yù)處理就是通過轉(zhuǎn)換函數(shù)將這些級(jí)，容易影響或支配目標(biāo)結(jié)果。特征預(yù)處理就是通過

5、轉(zhuǎn)換函數(shù)將這些特征數(shù)據(jù)轉(zhuǎn)換成適合算法模型的過程。特征數(shù)據(jù)轉(zhuǎn)換成適合算法模型的過程。方法含義方法名歸一化preprocessing.MinMaxScaler標(biāo)準(zhǔn)化preprocessing.StandardScaler魯棒化Preprocessing.RobustScaler規(guī)范化規(guī)范化n當(dāng)數(shù)據(jù)不符合正態(tài)分布、異常值較少的時(shí)當(dāng)數(shù)據(jù)不符合正態(tài)分布、異常值較少的時(shí)候，為了讓特征具有同等重要性，可以采候，為了讓特征具有同等重要性，可以采用規(guī)范化用規(guī)范化(normalization)將不同規(guī)格的數(shù)將不同規(guī)格的數(shù)據(jù)轉(zhuǎn)換到同一個(gè)規(guī)格，即變換到固定的最據(jù)轉(zhuǎn)換到同一個(gè)規(guī)格，即變換到固定的最小最大值的區(qū)間小最大值

6、的區(qū)間。nSklearn提供提供MinMaxScaler方法進(jìn)行規(guī)范方法進(jìn)行規(guī)范化，具體語法如下所示：化，具體語法如下所示：MinMaxScaler(feature_range=(0,1)規(guī)范化規(guī)范化from sklearn.preprocessing import MinMaxScalerdef Normalization():#實(shí)例化一個(gè)轉(zhuǎn)換器類實(shí)例化一個(gè)轉(zhuǎn)換器類 Normalization=MinMaxScaler(feature_range=(0,1)#范圍設(shè)置為范圍設(shè)置為01之間之間 data=90,2,10,40,60,4,15,45,75,3,13,46print(data)#調(diào)

7、用調(diào)用fit_transform data_Normal=Normalization.fit_transform(data)print(data_Normal)return Noneif _name_=_main_:Normalization()【程序運(yùn)行【程序運(yùn)行結(jié)果】果】90,2,10,40,60,4,15,45,75,3,13,461.0.0.0.0.1.1.0.83333333 0.5 0.5 0.6 1.標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化n當(dāng)有些特征的方差過大，會(huì)導(dǎo)致無法正確地去學(xué)習(xí)其當(dāng)有些特征的方差過大，會(huì)導(dǎo)致無法正確地去學(xué)習(xí)其他特征，標(biāo)準(zhǔn)化用于解決歸一化容易受到樣本中極大他特征，標(biāo)準(zhǔn)化用于解決歸一化容

8、易受到樣本中極大或者極小的異常值的影響。數(shù)據(jù)標(biāo)準(zhǔn)化或者極小的異常值的影響。數(shù)據(jù)標(biāo)準(zhǔn)化(standardization)將數(shù)據(jù)按比例縮放到特定區(qū)間。將數(shù)據(jù)按比例縮放到特定區(qū)間。n標(biāo)準(zhǔn)化后，所有數(shù)據(jù)都聚集在標(biāo)準(zhǔn)化后，所有數(shù)據(jù)都聚集在0附近，方差為附近，方差為1。Sklearn提供提供StandardScaler()實(shí)現(xiàn)標(biāo)準(zhǔn)化，確保數(shù)實(shí)現(xiàn)標(biāo)準(zhǔn)化，確保數(shù)據(jù)的據(jù)的“大小大小”一致，從而利于模型的訓(xùn)練一致，從而利于模型的訓(xùn)練。具體。具體語法語法如下所示：如下所示：StandardScaler(copy,with_mean)標(biāo)準(zhǔn)化標(biāo)準(zhǔn)化import numpy as npfrom sklearn.prepr

9、ocessing import StandardScalerdef Standardization():data_list=1.5,-1.,2.,2.,0.,0.print(矩陣初值為：矩陣初值為：.format(data_list)scaler=StandardScaler()data_Standard=scaler.fit_transform(data_list)print(該矩陣的均值為：該矩陣的均值為：n 該矩陣的標(biāo)準(zhǔn)差為：該矩陣的標(biāo)準(zhǔn)差為：.format(scaler.mean_,np.sqrt(scaler.var_)print(標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化的矩陣為：標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化的矩陣為：.for

10、mat(data_Standard)return None 矩矩陣初初值為：1.5,-1.0,2.0,2.0,0.0,0.0該矩矩陣的均的均值為：1.75-0.5 1.該矩矩陣的的標(biāo)準(zhǔn)差準(zhǔn)差為：0.25 0.5 1.標(biāo)準(zhǔn)差準(zhǔn)差標(biāo)準(zhǔn)化的矩準(zhǔn)化的矩陣為：-1.-1.1.1.1.-1.魯棒化魯棒化n當(dāng)數(shù)據(jù)包含許多異常值，離群值較多時(shí)，使用均值和當(dāng)數(shù)據(jù)包含許多異常值，離群值較多時(shí)，使用均值和方差縮放不能取得較好效果，可以使用魯棒性縮放方差縮放不能取得較好效果，可以使用魯棒性縮放（RobustScaler）進(jìn)行處理。）進(jìn)行處理。RobustScaler使用中使用中位數(shù)和四分位數(shù)進(jìn)行數(shù)據(jù)的轉(zhuǎn)換，會(huì)直接將異

11、常值位數(shù)和四分位數(shù)進(jìn)行數(shù)據(jù)的轉(zhuǎn)換，會(huì)直接將異常值剔剔除除nSklearn提供提供sklearn.preprocessing.RobustScaler()實(shí)現(xiàn)魯棒化實(shí)現(xiàn)魯棒化，語，語法如下所示：法如下所示：RobustScaler(quantile_range,with_centering,with_scaling)魯棒化魯棒化from sklearn.preprocessing import RobustScalerX=1.,-2.,2.,-2.,1.,3.,4.,1.,-2.transformer=RobustScaler().fit(X)RobustScaler(quantile_range=(25.0,75.0),with_centering=True,with_scaling=True)print(transformer.transform(X)【程序運(yùn)行結(jié)果】【程序運(yùn)行結(jié)果】0.-2.0.-1.0.0.4 1.0.-1.6