《樸素貝葉斯算法(共3頁).doc》由會(huì)員分享，可在線閱讀，更多相關(guān)《樸素貝葉斯算法(共3頁).doc（3頁珍藏版）》請(qǐng)?jiān)趨R文網(wǎng)上搜索。

1、精選優(yōu)質(zhì)文檔-傾情為你奉上1. 問題描述用高效樸素貝葉斯算法對(duì)Web 新聞文本進(jìn)行分類模型的設(shè)計(jì)2.算法結(jié)構(gòu)我們要判別一個(gè)文本的類別，就要計(jì)算出該文本屬于各類別條件概率，根據(jù)貝葉斯原理可以得出: （1.1）然后比較各類別條件概率大小，選擇類別條件概率最大者為該文本分類，如下 （1.2）而要計(jì)算出，先要先驗(yàn)概率,其計(jì)算方法如下：先將展開其變成由一個(gè)由詞語為單位組成的詞組向量，即，然后得出： （1.3）而則是訓(xùn)練樣本各類別文本數(shù)量與訓(xùn)練樣本總數(shù)之比，計(jì)算公式如下： （1.4）至于它是表示每篇訓(xùn)練文檔出現(xiàn)的概率，因?yàn)槎家粯樱栽趯?shí)際計(jì)算時(shí)可以不用考慮。所以實(shí)際計(jì)算的公式可以估算為 （1.5）由式(

2、1.5)可知，然而這樣多個(gè)小數(shù)連續(xù)相乘最后的結(jié)果會(huì)非常小導(dǎo)致出現(xiàn)下溢問題，令計(jì)算結(jié)果無效。為解決這個(gè)問題，我們?cè)谑褂檬?1.5)計(jì)算時(shí)需要做一些數(shù)學(xué)轉(zhuǎn)換來防止出現(xiàn)這個(gè)數(shù)值下溢問題，而這些數(shù)學(xué)處理就令等式1.5 兩邊取對(duì)數(shù)，如下： （1.6）3.特征提取本文將采用 jieba 分詞模塊來對(duì)文本進(jìn)行分詞及提取有代表性的關(guān)鍵詞作為特征，jieba 分詞模塊自帶的詞庫中包含著每個(gè)詞的詞頻(TF)及反文檔頻率(IDF)，每個(gè)詞的 TF 值，IDF 值均由原作者通過大量文本訓(xùn)練統(tǒng)計(jì)出來的，所以具有一般性，使用該方法得到的關(guān)鍵詞用人工標(biāo)準(zhǔn)來判斷能反映出文本主題。當(dāng)使用 jieba 分詞模塊的提取關(guān)鍵詞功能時(shí)

3、，它會(huì)對(duì)在對(duì)文本進(jìn)行分詞的同時(shí)會(huì)利用每個(gè)詞的 TF 值及 IDF值計(jì)算出每個(gè)詞的權(quán)重(Weight = TF*IDF)，然后根據(jù)權(quán)重大小對(duì)詞進(jìn)行排序，至于返回前多少歌詞則由用戶設(shè)定。另外，在使用提取特征詞功能的時(shí)候還能去除標(biāo)點(diǎn)符號(hào)及對(duì)文本主題無意義的停用詞。根據(jù) jieba 分詞模塊提取關(guān)鍵詞的方法可知，它直接可以對(duì)單個(gè)文本提取關(guān)鍵詞，利用這個(gè)特點(diǎn)，在對(duì)待分類文本也作關(guān)鍵詞提取處理，只保留當(dāng)中有代表性的關(guān)鍵詞，這樣既能大大減少生成詞向量的時(shí)間又能提高分類準(zhǔn)確率。4.設(shè)計(jì)算法采用樸素貝葉斯算法作為文本分類算法時(shí)，因其每個(gè)特征出現(xiàn)概率相互獨(dú)立且每個(gè)特征重要程度相等的假設(shè)，所以選擇一種高效的特征選擇

4、方法顯得尤為重要。本文運(yùn)用jieba 中文分詞模塊的TF-IDF標(biāo)準(zhǔn)對(duì)訓(xùn)練新聞文本進(jìn)行特征選擇，實(shí)現(xiàn)一個(gè)基于樸素貝葉斯的文本分類模型。5.訓(xùn)練算法模型的訓(xùn)練是利用已轉(zhuǎn)換為詞向量的訓(xùn)練文本計(jì)算出每類文本的先驗(yàn)概率 ,其計(jì)算過程的偽代碼如下：for each document training dataset:for each class training dataset:if a word appear document:increase the count for the wordfor each class training dataset:for each word document:di

5、vided the count of each word by total count of words to get the prior probabilityreturn the prior probability訓(xùn)練結(jié)果為四個(gè)由四類文本所包含的詞在該類文本所出現(xiàn)的概率組成的長度為 23368 數(shù)組，如下：軍事類：8. 9. 9. , 9. 9.財(cái)經(jīng)類：9. 9. 9. ., 9. 9.體育類：9. 9. 9. ., 9. 9.社會(huì)類：9. 9. 8. ., 9. 9.注：因?yàn)楦鱾€(gè)詞出現(xiàn)的概率都作了取自然對(duì)數(shù)的處理，所以均為負(fù)值。6. 總結(jié)表1軍事類新聞財(cái)經(jīng)類新聞體育類新聞社會(huì)類新聞查全率

6、98.82%99.02%96.13%97.10%查準(zhǔn)率99.44%99.11%98.50%96.74%調(diào)和平均值99.13%99.06%97.30%96.92% 注：調(diào)和平均值 = 查全率 查準(zhǔn)率 2/查全率 + 查準(zhǔn)率。表2軍事類新聞財(cái)經(jīng)類新聞體育類新聞社會(huì)類新聞查全率97.73%98.26%95.04%95.10%查準(zhǔn)率96.35%97.51%87.04%90.70%調(diào)和平均值97.04%97.88%90.86%92.84%先對(duì)待分類文本進(jìn)行關(guān)鍵詞提取，每篇提取前 20 個(gè)權(quán)重最大的詞，再轉(zhuǎn)換成詞向量，然后與模型訓(xùn)練計(jì)算出來的先驗(yàn)概率一起計(jì)算出文本屬于每一類文本的概率，然后比較大小，選擇概

7、率最大的并判別文本屬于哪個(gè)類別，輸出類別標(biāo)簽。實(shí)驗(yàn)測試結(jié)果如表 1 所示。從實(shí)驗(yàn)結(jié)果可以看出，對(duì)待分類文本采用 TF-IDF 算法提取關(guān)鍵字后，再運(yùn)用樸素貝葉斯算法對(duì)文本進(jìn)行分類，各類新聞文本都取得不錯(cuò)的分類效果，尤其軍事類與財(cái)經(jīng)類新聞的查準(zhǔn)率調(diào)和平均值都超過了 99%。分類速度約為 900 篇/min。如不對(duì)待分類文本進(jìn)行關(guān)鍵詞提取，直接利用模型進(jìn)行分類，其測試結(jié)果如表 2 所示。從表 2 各指標(biāo)來看均比表 1 有所下降，尤其是體育類新聞的查準(zhǔn)率下降最為明顯，約下降了 11.4%，不僅如此，又因生成詞向量速度大大降低，其平均分類速度也大幅下降，只有 89 篇/min，下降了約 90%。專心-專注-專業(yè)