《貝葉斯判別(共6頁(yè)).doc》由會(huì)員分享，可在線(xiàn)閱讀，更多相關(guān)《貝葉斯判別(共6頁(yè)).doc（6頁(yè)珍藏版）》請(qǐng)?jiān)趨R文網(wǎng)上搜索。

1、精選優(yōu)質(zhì)文檔-傾情為你奉上模式識(shí)別貝葉斯判別碩4080 李堯一、實(shí)驗(yàn)?zāi)康?理解貝葉斯判別原則，編寫(xiě)兩類(lèi)正態(tài)分布模式的貝葉斯分類(lèi)程序；2了解正態(tài)分布模式的貝葉斯分類(lèi)判別函數(shù)；3通過(guò)實(shí)驗(yàn)，統(tǒng)計(jì)貝葉斯判別的正確率。二、實(shí)驗(yàn)原理（1）貝葉斯判別原則對(duì)于兩類(lèi)模式集的分類(lèi)，就是要確定x是屬于類(lèi)還是類(lèi)，這要看x來(lái)自類(lèi)的概率大還是來(lái)自類(lèi)的概率大，根據(jù)概率的判別規(guī)則，可以得到： 如果 則 如果 則 （1.1）利用貝葉斯定理，可得 式中，亦稱(chēng)似然函數(shù)。把該式代入（1.1）式，判別規(guī)則可表示為： 則 則 或?qū)懗桑?則 則 （1.2）這里，稱(chēng)為似然比，稱(chēng)為似然比的判決閾值。該式稱(chēng)為貝葉斯判別。（2）正態(tài)分布模式的貝葉

2、斯分類(lèi)器判別原理具有M種模式類(lèi)別的多變量正態(tài)分布的概率密度函數(shù)為： （1.3）式中，是維列向量； 是維均值向量； 是協(xié)方差矩陣；為矩陣的行列式。且有 ； ；表示對(duì)類(lèi)別屬于的模式作數(shù)學(xué)期望運(yùn)算?？梢?jiàn)，均值向量由n個(gè)分量組成，協(xié)方差矩陣由于其對(duì)稱(chēng)性故其獨(dú)立元素只有個(gè)，所以多元正態(tài)密度函數(shù)完全由個(gè)獨(dú)立元素所確定。取自一個(gè)正態(tài)總體的樣本模式的分布是聚集于一個(gè)集群之內(nèi)，其中心決定于均值向量，而其分布形狀決定于其協(xié)方差矩陣，分布的等密度點(diǎn)的軌跡為超橢圓，橢圓的主軸與協(xié)方差矩陣的本征向量的方向一致，主軸的長(zhǎng)度與相應(yīng)的協(xié)方差矩陣的本征值成正比。類(lèi)別的判別函數(shù)可表示為：對(duì)于正態(tài)密度函數(shù)，可對(duì)判別函數(shù)取自然對(duì)數(shù)，

3、即：將（1.3）代入上式，簡(jiǎn)化后可以得到： 這是正態(tài)分布模式的貝葉斯判別函數(shù)。顯然，上式表明是超二次曲面，所以對(duì)于兩類(lèi)正態(tài)分布模式的貝葉斯分類(lèi)器，兩個(gè)模式類(lèi)別之間用一個(gè)二次判別界面分開(kāi)，就可以求得最優(yōu)的分類(lèi)效果。對(duì)于兩類(lèi)問(wèn)題，判別界面方程為：即：判別條件為：如果， 則如果， 則應(yīng)指出，貝葉斯分類(lèi)規(guī)則是基于統(tǒng)計(jì)的概念，因此要有大量的模式樣本，才能獲得最優(yōu)的結(jié)果。三、實(shí)驗(yàn)內(nèi)容及結(jié)果分析1.根據(jù)實(shí)驗(yàn)要求，在本實(shí)驗(yàn)中將三組分別服從不同參數(shù)的正態(tài)分布數(shù)據(jù)兩兩進(jìn)行分類(lèi)，利用貝葉斯原理首先設(shè)定其先驗(yàn)概率，并從每組數(shù)據(jù)中隨機(jī)抽取一定的訓(xùn)練樣本數(shù)來(lái)進(jìn)行參數(shù)估計(jì)，從而得到三組數(shù)據(jù)各自的條件概率。2.根據(jù)條件概率，

4、利用貝葉斯判別原則進(jìn)行分類(lèi)實(shí)驗(yàn)，得到結(jié)果。3.實(shí)驗(yàn)結(jié)果分析分別對(duì)x1，x2和x3兩兩進(jìn)行實(shí)驗(yàn)，每次選取不同的先驗(yàn)概率和不同的訓(xùn)練樣本數(shù)，進(jìn)行訓(xùn)練，且訓(xùn)練樣本是隨機(jī)選取的，即在每次相同的訓(xùn)練樣本個(gè)數(shù)的情況下所抽取的樣本是不一樣的。然后按照訓(xùn)練后的結(jié)果得到的每組的條件概率，對(duì)全部數(shù)據(jù)進(jìn)行分類(lèi)。各自在選取相同訓(xùn)練樣本個(gè)數(shù)的條件下進(jìn)行50次分類(lèi)，然后求出50次分類(lèi)的平均正確率，可得下表：先驗(yàn)概率訓(xùn)練樣本數(shù)x1和x2x2和x3x1和x3P1=0.2P2=0.8m=592.54%74.56%88.6%m=1599.98%94.32%100%m=25100%95.3%100%m=35100%95.32%10

5、0%m=45100%95.56100%P1=0.4P2=0.6m=588.96%74.5%90.88%m=1599.94%94.62%100%m=25100%95.64%100%m=35100%95.8%100%m=45100%95.92%100%P1=0.5P2=0.5m=590.06%73.34%90.14%m=1599.98%94.76%100%m=25100%95.82%100%m=35100%96.02%100%m=45100%96.04%100%分析表格，可以得到：x1和x2之間的分類(lèi)，無(wú)論先驗(yàn)概率是多少，在選取的樣本數(shù)m=5時(shí)，分類(lèi)的正確率都比較低，m15時(shí)，正確率接近100，樣

6、本數(shù)再大，正確率就會(huì)達(dá)到100。這說(shuō)明x1和x2之間的分類(lèi)，在訓(xùn)練樣本數(shù)較小時(shí)，分類(lèi)效果較差；在樣本數(shù)選取較大時(shí)，分類(lèi)效果比較理想。x2和x3之間的分類(lèi)，在訓(xùn)練樣本數(shù)較小時(shí)，分類(lèi)正確率很低，僅有70左右，隨著訓(xùn)練樣本數(shù)的增多，正確率增大，直到選取45個(gè)訓(xùn)練樣本時(shí)正確率大于95，但達(dá)不到100。這說(shuō)明x2和x3這兩組數(shù)據(jù)很接近，無(wú)論先驗(yàn)概率選取多少，訓(xùn)練樣本數(shù)是多少，分類(lèi)效果都不太理想。x1和x3之間的分類(lèi)，無(wú)論先驗(yàn)概率選取多少，在訓(xùn)練樣本數(shù)m5時(shí)，分類(lèi)正確率較小，當(dāng)訓(xùn)練樣本數(shù)達(dá)到15時(shí)，分類(lèi)正確率已經(jīng)達(dá)到了100。這說(shuō)明x1和x3之間的分類(lèi)相對(duì)來(lái)說(shuō)比較容易達(dá)到，只要選取的訓(xùn)練樣本數(shù)較大，分類(lèi)效

7、果都比較理想。四、實(shí)驗(yàn)小結(jié)通過(guò)本次實(shí)驗(yàn),使我對(duì)貝葉斯公式有了更深刻的理解，對(duì)公式的推導(dǎo)以及其用于模式識(shí)別的判別準(zhǔn)則都有了進(jìn)一步認(rèn)識(shí),對(duì)正態(tài)分布模式的貝葉斯分類(lèi)器及其應(yīng)用有了一定了解，通過(guò)編程并改變程序中的參數(shù)觀(guān)察到貝葉斯分類(lèi)器中的各種參數(shù)對(duì)分類(lèi)結(jié)果的影響。附：實(shí)驗(yàn)程序部分clear all;close all;clc;load(data.mat); %讀入實(shí)驗(yàn)數(shù)據(jù)P1=input(please input P1:); %輸入先驗(yàn)概率P2=1-P1;s1=input(s1=); %選擇實(shí)驗(yàn)?zāi)Ｊ筋?lèi)s2=input(s2=);m=input(訓(xùn)練樣本數(shù)m=); %輸入訓(xùn)練樣本數(shù)T1=zeros(m,

8、4);T2=zeros(m,4);T3=zeros(m,4);r=zeros(1,50);p=1;while p=50 %進(jìn)行50次分類(lèi)，以便進(jìn)行統(tǒng)計(jì)分類(lèi)的正確性%隨機(jī)抽取m個(gè)訓(xùn)練樣本index=randperm(50); for i=1:1:m %得到隨機(jī)的訓(xùn)練樣本 T1(i,:)=k1(index(i),:); T2(i,:)=k2(index(i),:); T3(i,:)=k3(index(i),:);end%由訓(xùn)練樣本計(jì)算均值和協(xié)方差me1=mean(T1); me2=mean(T2);me3=mean(T3);co1=cov(T1);co2=cov(T2);co3=cov(T3);%

9、判斷是對(duì)哪兩類(lèi)模式要進(jìn)行分類(lèi)if (isequal(k1,s1)=1&isequal(k2,s2)=1) m1=me1;c1=co1;m2=me2;c2=co2;elseif (isequal(k2,s1)=1&isequal(k1,s2)=1) m1=me2;c1=co2;m2=me1;c2=co1;elseif (isequal(k2,s1)=1&isequal(k3,s2)=1) m1=me2;m2=me3;c1=co2;c2=co3;elseif (isequal(k3,s1)=1&isequal(k2,s2)=1) m1=me3;m2=me2;c1=co3;c2=co2;elseif

10、 (isequal(k3,s1)=1&isequal(k1,s2)=1) m1=me3;m2=me1;c1=co3;c2=co1;elseif (isequal(k1,s1)=1&isequal(k3,s2)=1) m1=me1;m2=me3;c1=co1;c2=co3;end%兩類(lèi)的正態(tài)分布模式的貝葉斯判別if det(c1)=0|det(c2)=0 %當(dāng)協(xié)方差矩陣行列式為0時(shí)給它加一個(gè)極小值，再進(jìn)行分類(lèi) l=size(c1); I=eye(l(1),l(1); I=I*0.; c1=I+c1; c2=I+c2;end n=1;t1=0;while nPw2 if d1d2 %判斷條件 d1

11、d2判為w1類(lèi) t1=t1+1; %t1是判斷正確次數(shù)，若判斷正確，則加1 end end if rem(n,2)=0 %偶數(shù)次輸入s2 x=s2(n/2,:); d1=log(P1)-0.5*log(det(c1)-0.5*(x-m1)*(inv(c1)*(x-m1); d2=log(P2)-0.5*log(det(c2)-0.5*(x-m2)*(inv(c2)*(x-m2); % Pw1=1/(2*pi)2/(det(c1)*exp(-0.5*(x-m1)*(inv(c1)*(x-m1)*P1;% Pw2=1/(2*pi)2/(det(c2)*exp(-0.5*(x-m2)*(inv(c2)*(x-m2)*P2; n=n+1;% if Pw1Pw2 if d1d2 %判斷條件 d1d2判為w2類(lèi) t1=t1+1; end endendr(p)=t1; %r存放每進(jìn)行一個(gè)循環(huán)的判斷中判斷正確的次數(shù)p=p+1;endra=sum(r)/50/100 %計(jì)算50次分類(lèi)后的正確率專(zhuān)心-專(zhuān)注-專(zhuān)業(yè)