دانلود تحقیق آمار و احتمال

تخمین پارامترهای احتمال:                                                

با توجه به بحث انجام شده دردرس 3 ، پایه قانون PFS  شامل تئوری  فازی است که نتایج چندگانه ای دارد . هر نتیجه به یک پارامتراحتمال مربوط می شود . این درس به احتمال تخمین پارامترها درPFS مربوط می شود . در این درس فرض بر این است که هم  مقدمه وهم نتیجه  mfsبه یک اندازه تعیین کننده هستند واحتیاجی    به بهینه سازی بیشتر نمی باشد . طبقه بندی مسئله ها وتخمین  mfs دردرس 5         ملاحظه می شود. دردرس16و18و34 پارامترهای احتمال به وسیله تئوری فازی تخمین زده می شوندو برای تخمین احتمالات شرطی ازفرمولهای اماری استفاده می شود (همانطور که دردرس 35 می بینیم ) این روش برای تخمین پارامترهای تخمین است وهمچنین دریاداوری نظریه ها به روش احنمال شرطی اشاره می کند . دراین درس نشان خواهیم دادکه روش احتمال شرطی کلا نتیجه بهینه ودقت مورد تاییدی دردوره های PFS نمی دهد . متناوبا هدف این است که ازحداکثر احتمال درست نمایی معیار ML برای تخمین پارامترهای احتمالی PFS استفاده شود . درادامه این درس الگوهایی وجود دارد . درقسمت (1-4 ) روش احتمال شرطی برای تخمین پارامترهای احتمال در PFSمورد بحث قرار می گیرد. همچنین نشان خواهیم داد هم مسئله ها ی طبقه بندی وهم مسئله های  برگشتی که به وسیله      پارامترهای احتمال تخمین زده می شوند روش احتمال شرطی غیرواقعی ، غیرواقعی مجانبی ،  و ناهماهنگ می باشند که معیارهای ML را پاسخگو نمی باشند . در قسمت (2-4) برای تخمین پارامترهای احتمال در PFS معرفی یک روش جدید هدف می باشد . این روش بر پایه معیار ML می باشد . همچنین در قسمت 2-4نمونه هایی ازبهینه سازی مسئله که نتیجه معیار  MLمی باشد مورد بررسی قرار می گیرد . توجه کنید که درتوصیف ازمایشها دردرس5 روش احتمال شرطی وروش ML به صورت تجربی به وسیله ارتباط ان روشها با مسئله های عددی طبقه بندی شده  با هم مقایسه می شوند.

1-4 : روش احتمال شرطی

اجازه دهید(X1,Y1) , ... Xn,Yn) ,)  نشان دهنده نمونه های تصادفی از جامعه n باشند این نمونه ها برای تخمین Рr(C|A) استفاده می شوند . احتمال شرطی رخداد C به شرط رخدادA به وسیله فرمول اماری زیر محاسبه می شود :

4)

که وظایف مشخصه های XA ,Xc نشان داده می شوند به وسیله :

(2. 4)                      

(3. 4)                        

حالافرض کنید به جای پدیده های معمولی    Aو  C پدیده های فازی جایگزین شوند .

این به این معناست که به وسیله mfs  پدیده های A,C به µA وμC  تعریف شوندو

به جای XΑ،Xc  در معادله 4.1 جایگزین شوند . در نتیجه خواهیم داشت :

(4.4)

این فرمول پایه تعریف احتمال رخداد در پدیده فازی می باشد ( درس 37 ) .

مشتق اول فرمول 4.4 درسهای 35و36 را پدید می آورد .

نتیجه فرمول 4.4 در تخمین پارامترهای شرطی درPFS استفاده می شود . این دیدگاه دردرسهای 16و18و34 دنبال می شود که به روشهای احتمال شرطی در این تز اشاره

 می کند  .

فرض کنید مجموعه اطلاعاتی شاملn  نمونه به صورت ( (i=1,2, ...,n)     ( Xi,Yi

  برای تخمین پارامترهای احتمال  در دسترس باشد همچنین فرض کنید که هم مقدمه وهم نتیجه mfs درسیستم تعیین شده است ونیاز به بهینه سازی بیشتر نمی باشد یعنی فقط پارامترهای احتمال درتخمین باقی بمانند . به نظر منطقی می آید که پارامترهای Pj,k واقعی رابرای تخمین احتمال شرطی پدیده فازی Ck به شرط رخداد پدیده فازی Aj قرار دهیم . اگرچه ورودی X به تعریف بیشتر احتیاج ندارد اما برای نشان دادن غیر عادی بودن محاسبات  mfµAj وmfµ¯Aj باید ازفرمول زیراستفاده شود :

(4.5)                 

بنابراین Pj,k واقعی است و برای تخمین احتمال شرطی پدیده فازی Ck ونشان دادن غیر عادی بودن پدیده فازی Aj باید ازآن استفاده شود .

توجه داشته باشید که PFSs برای نمونه های برگشتی یک قانون پایه دارد که فقط با همان قانون که در پارامترهای شرطی Pj,k استفاده می شود ودرفرمول 4.5 نشان داده شده هیستوگرامهای فازی مورد بحث دردرس 2 را معادل سازی می کند .

درPFS برای نمونه های طبقه بندی درهرطبقه Ck به صورت یک خروجی جدید نشان داده می شود پس فرمول 4.5 به صورت زیر هم نوشته می شود :

(4.6)

عملکرد مشخصه XCk بوسیله فرمول زیر نشان داده می شود :

(4.7)                

درتعریف این قسمت ،احتمالات آماری پارامترها تخمین زده می شوند . به PFSs درنمونه های طبقه بندی در تجزیه وتحلیل فرمولهای (4.5) و(4.6) در قسمت (4.1.1) توجه می شود . همچنین در قسمت (4.1.2) درنمونه های برگشتی PFSs بررسی می شود .

4.1.1- نمونه های طبقه بندی درمسائل آماری :

دراین قسمت ثابت می شود که مسئله های احتمال که به وسیله فرمول (4.6) تخمین زده شده باشند غیر واقعی وناهماهنگ هستند وبا معیارهای ML سازگار نمی باشند .

همچنین کافی است  یک عامل نمونه درفرمول( 4.6) قرارداده شود تا غیر واقعی وناهماهنگ بودن تخمین های بدست آمده واینکه بیشینه سازی احتمال درست نمایی مجموعه اطلاعات انجام نمی شود اثبات گردد.

ملاحظه کنید که درPFS اگرمسئله طبقه بندی درخواست شده 2 نوع باشد باC1 وC2 نمایش داده می شود  . PFS یک ورودی X=[0,1] ویک قانون پایه شامل 2 احتمال تئوری فازی دارد . در مقدمه mfs فازی A1,A2 می نشیند پس خواهیم داشت :

(4.8)              

دردنباله با توجه به فرمول (3.4) که µ¯Aj=µAj و j=1,2 مفروض است که احتمال شرطی C1 وC2 برابر است با :

(4.9)    

با استفاده ازفرمول (3.5) می توانیم احتمال های شرطی نا شناخته ای را که برای تخمین بهPFS  احتیاج ندارند ببینیم . 

بااستفاده از فرمول (4.9) پارامترهای احتمال بدین صورت خواهند بود که :

P*1,1=P*2,2=1 و P*1,2=P*2,1=0 ( توجه کنید که در این مثال مقدمه mfs درفرمول

(4.8) به روشی انتخاب شده است که بدست آوردن تخمین درست احتمال شرطی PFS

را مشکل می نماید لذا بدست آوردن تخمین های درست احتمال شرطی پارامترهای احتمال

Pj,k  نیزمشکل خواهد بود ودر نتیجه آنالیز تخمین های پارامترهای احتمالی ، غیرواقعی وناهماهنگ می باشد .

درادامه 2قضیه که درارتباط باپارامترهای آماری فرمول (4.6) می باشد خواهد آمد . برای اثبات قضیه ها از مثال فوق استفاده میگردد .

قضیه4.1:

برای نمونه های طبقه بندی شده در PFS بااستفاده از فرمول (4.6)اثبات کنید که تخمین های Pj,k ازپارامترهای احتمالی P*j,k غیرواقعی وناهماهنگ هستند .

اثبات : مثالی را که دربالا نشان داده شده ملاحظه نمایید . فرض کنید یک مجموعه اطلاعاتی شامل n نمونه طبقه بندی شده (i=1, ... , n) ( Xi,yi) برای تخمین پارامترهای احتمال درPFS  دردسترس است  . برای سادگی فرض کنید که X1, ... ,Xn  ارزشهای ثابتی دارند یعنی فقط  Y1, ... ,Yn نمونه هایی بارفتارهای متغیر هستند . برای مثال تخمین

P2,2 ازپارامتراحتمالی P*2,2 را ملاحظه کنید . ازفرمولهای (4.6) ،(4.7) ،(4.8) ،(4.9)

چنین بدست می آید که :          

(10،4)                                     

حالا فرض کنید که XiЄ(0,1) و,n) (i=1,...  سپس از فرمول (4.10) بدست آورید که

Ep2,2Є(0,1) تازمانیکه P*2,2=1 تخمین غیرواقعی ازP2,2 باشد . این بحث اعداد مستقلی از نمونه های طبقه بندی شده n راشامل میگردد. همچنین ازn→∞ تشکیل شده است .از دو مورد فوق نتیجه می شود که تخمین P2,2 غیر واقعی و ناهماهنگ است .

معادله (4.6) تخمین های پایه رافقط وفقط برای اعدادمثبت  Є .

(4.11) Є)=1             n→∞                              lim Pr(|pj,k–p*j,k|≤

دراینجا تخمین Pj,k ازیک مجموعه اطلاعات شامل n نمونه طبقه بندی شده بدست می آید .

این شرط می تواند همچنین به صورت Plim pj,k=p*j,k نوشته شود . شرط لازم برای

Plim pj,k=p*j,k این است که n→∞ Epj,k=p*jk  lim باشد. (ببینید قضیه 2.9.39 دردرس12 ) تخمین pj,k ازp*j,k باید واقعی و هماهنگ باشد .اگر چه فعلا اثبات شده که

Pj,k تخمین غیرواقعی وناهماهنگی از pj,k است . بنابراین نتیجه می شود که pj,k تخمین غیرواقعی از p*j,k می باشد واین کاملا تئوری ما را اثبات می کند .

قضیه 4.2 :

نمونه های طبقه بندی شده درPFS رادرنظر بگیرید یک مجموعه اطلاعاتی نیز داده شده است . پارامترهای احتمالی pj,k بااستفاده ازفرمول (4.6)تخمین زده شده اند واحتیاجی به بیشینه سازی احتمال درست نمایی مجموعه اطلاعات نمی باشد .

x

0.0

0.5

0.5

1.0

y

C1

C1

C2

C2

جدول 4.1: مجموعه اطلاعاتی که در اثبات قضیه 4.2 استفاده می شود .

اثبات : مثال داده شده در بالا را ملاحظه کنید . فرض کنید که مجموعه اطلاعاتی شامل 4 نمونه طبقه بندی شده) Xi,yi  )( i=1,2,3,4 ) برای تخمین پارامترهای احتمال در PFS دردسترس می با شد . مجموعه اطلاعات در جدول 4.1 نشان داده شده است .

نمونه های طبقه بندی شده را درفرمول (4.6) جایگزین کنید در نتیجه خواهیم داشت    P1,1=P2,2=0.75 و P1,2=P2,1=0.25 سپس از فرمول (3.5)به دست می آید که

(4.12)            pˆ(C1|x)=0.75-0.5x       و    pˆ(C2|x)=0.25+0.5x       

احتمال درست نمایی مجموعه اطلاعات نشان داده می شود به وسیله

) pˆ(Yi|xi  L=πⁿ,і=1 

حالا فرض کنید که نمونه های مجموعه اطلاعات مستقل ازهم می باشند برای پارامترهای 

احتمالی Pj,k  که به وسیله فرمول (4.6) تخمین زده شده اند با استفاده از فرمولهای

(4.12) و (4.13) احتمال درست نمایی مجموعه اطلاعات جدول 1-4 برابرخواهد بود با

9/64≈0.14 . حالا ملاحظه کنید اگر پارامترهای احتمالی به  P΄1,1=P΄2,2=1 و P΄1,2=P΄2,1=0  تبدیل شوند  با استفاده از فرمول (3.5) نتیجه پارامترهای احتمالی برابر خواهد شد با:

(4.14)                                   pˆ΄(C1|x)=1-x       و      Pˆ΄(C2|x)=x

برای تبدیل پارامترهای احتمال p΄j,k از فرمولهای (4.13) و (4.14) استفاده می شود که احتمال درست نمایی مجموعه اطلاعات در جدول 1-4 برابر با 0.25 خواهد شد . بنابراین تبدیل پارامترهای احتمال در ارزشهای بالاتر احتمال درست نمایی نتیجه بخش می باشد لذا پارامترهای احتمالی Pj,k با استفاده از فرمول (4.6) تخمین زده می شوند . این مثال نشان می دهد که پارامترهای تخمین زده شده با استفاده از فرمول (4.6) احتیاج به بیشینه سازی احتمال درست نمایی مجموعه اطلاعات ندارند(واقعیت این است که مثال نشان می دهد که تبدیل پارامترهای احتمالی P΄j,k احتمال درست نمایی مجموعه اطلاعات را بیشینه سازی می کند . ودرست است که تخمین ML پارامترهای احتمال دقیقا برابربا پارامترهای احتمالی

p*j,k به محض اتفاق افتادن مجموعه اطلاعات خاص در جدول 1-4 است . ) این اثبات قضیه را کامل می کند .

این موضوع توجه را جلب می کند که در یک سیستم که ورودی x به روشهای جدید تقسیم می شود(x)    i.e.µ¯Ajبرابرخواهد بودبرای j=1, ... , a وبرای همه (X ( x Є  با 0 یا 1.

برای پارامترهای احتمال که با استفاده از فرمول (4.6) تخمین زده می شوند میتوانیم واقعی وهماهنگ بودن با معیارهای ML را نشان دهیم . (در این قسمت اثبات نمی شود )

بنابراین در سیستم های جدید تخمین پارامترهابا مطلوبیت آماری ممکن است با تخمین هر پارامتر به تفکیک وبا استفاده از فرمول (4.6) بدست آید . در یک سیستم فازی اگر چه با استفاده از قضایای 4.2 و4.1 تخمین پارامترها با مطلوبیت آماری با تخمین هرپارامتر به تفکیک وبا استفاده از فرمول (4.6) بدست نمی آید در عوض پارامترها در یک سیستم فازی می توانند به طور همزمان تخمین زده شوند واین به پیشنهاد مطرح شده در بخش 4.2 نزدیک است .

4.1.2-احتمال آماری در مسئله های برگشتی :

دراین قسمت اثبات خواهیم کردکه تخمین پارامترهای شرطی بااستفاده ازفرمول

(4.5) غیرواقعی است وبامعیارهای ML هماهنگی و سازگاری ندارد .

برای اثبات کافی است که یک عامل به عنوان مثال درفرمول (4.5 ) قرارداده شود

تا نشان دهد تخمین هایی که غیرواقعی وناهماهنگ می باشند وهمچنین اثبات شود که بیشینه سازی مجموعه اطلاعات دردسترس انجام نمی شود .

باید توجه شود که این قسمت خیلی مشابه قسمت قبل می باشد . تنها فرق موجود این است که این قسمت درارتباط با PFSs برای نمونه های برگشتی در عوض PFSs برای نمونه های طبقه بندی است . درنظر داشته باشید که PFS یک راه کاربردی در مسائل برگشتی است دراینگونه مسائل PFS یک ورودی x=[0,1] ویک خروجی y=[0,1] دارد . اساس این سیستم 2 احتمال قانون فازی را شامل می شود . در مقدمه mfs فازی A1 و A2 بوسیله فرمول (4.15) نشان داده می شود .

(4.15)                                µA2(x)=x      و           µA1(x)=1-x

از فرمول (3.4) نتیجه می شود که : µ¯Aj=µAj  وj=1,2  . خروجی y بااستفاده از مجموعه فازی به C1 و C2 تقسیم می شود . mfs   ازاین مجموعه فلزی بااستفاده از فرمول (4.16) به دست می آید .

(4.16)                µC2(y)=y      و             µC1(y)=1-y

توجه کنید که فرمول (3.11) شرط کافی است یعنی اینکه y باید خوب تعریف شده باشد . اگر فرض کنیم که pdf شرطی y به شرط x برابر باشد با

P(y|x)=4xy-2x-2y+2 

این pdf شرطی نشان می دهد که به تخمین PFS احتیاج داریم . بااستفاده از فرمولهای

(3.5) ، (3.12) ،(3.13) می توانیم ببینیم که در یک PFS که به طور صحیح تخمین زده شده باشد pdf شرطی از فرمول (4.17) بدست می آید . پارامترهای احتمالی بدست آمده عبارتند از P*1,1=P*2,2=1 و P*1,2=P*2,1=0 (توجه کنید که دراین مثال مقدمه mfs درفرمول (4.15) ونتیجه mfs در فرمول (4.16) به روشی می باشد که شامل PFS که pdf شرطی را به طور صحیح در فرمول (4.17) تخمین زده باشد نیز می شود.

ممکن است آن  PFS را که  pdf شرطی را به طور صحیح تخمین زده باشدشامل نشود لذا پارامترهای شرطی p*jk ممکن است صحیح نباشند ونتیجه آن نیز ممکن است تجزیه وتحلیل واقعی وهماهنگی از تخمین پارامترهای احتمال نداشته باشد .

دردنباله برای احتمال آماری 4.5 دو قضیه مورد توجه می باشد . قضیه ها را با استفاده از مثال فوق اثبات خواهیم کرد .