Bayesova omrežja – definicija, primeri in uporabe v strojnem učenju
Bayesovo omrežje je usmerjen acikličen graf (DAG), ki služi za modeliranje verjetnostnih odnosov med spremenljivkami, pogosto takimi, ki jih ne moremo neposredno opazovati. Vozlišča predstavljajo naključne spremenljivke, usmerjeni robovi pa označujejo neposredno pogojenno odvisnost med starši in otroki — torej, kako ena spremenljivka neposredno vpliva na drugo. Vsako vozlišče je opremljeno s pogojno verjetnostno tabelo (CPT), ki opisuje porazdelitev te spremenljivke glede na vrednosti njenih staršev. Bayesova omrežja temeljijo na načelih, povezanih z Bayesovim teoremom, ki omogoča posodabljanje verjetnosti ob pojavu novih informacij.
Predstavitev in faktorizacija verjetnosti
Struktura omrežja omogoča faktoriranje skupne porazdelitve verjetnosti vseh spremenljivk v produkt lokalnih pogojnih porazdelitev:
P(X1, X2, ..., Xn) = ∏ P(Xi | starši(Xi))
To faktoriziranje zmanjša kompleksnost modeliranja, saj ni treba eksplicitno definirati verjetnosti za vse kombinacije vrednosti vseh spremenljivk.
Sklepanje v Bayesovih omrežjih
Glavni cilji sklepanja so:
- Diagnostično sklepanje (od opazitev do vzrokov) — npr. oceniti verjetnost bolezni glede na simptome.
- Prediktivno sklepanje (od vzrokov do posledic) — npr. napovedati izid dogodka glede na znana stanja.
- Intervencijsko in kauzalno sklepanje — analiziranje učinkov posegov (npr. "če nastavim X na vrednost x, kako se spremeni verjetnost Y").
Algoritmi za sklepanje so lahko točni (npr. eliminacija spremenljivk, junction tree / sejalno drevo, verjetnostno razširjanje) ali približni (npr. Monte Carlo vzorčenje, Gibbsovo vzorčenje, pomembnostno vzorčenje, variacijski približki). Izbira metode je odvisna od velikosti omrežja in zahtev po natančnosti.
Učenje strukture in parametrov
Bayesova omrežja lahko pridobimo na dva načina ali z njuno kombinacijo:
- Učenje parametrov — če imamo znano strukturo omrežja, ocenimo pogojne verjetnostne tabele iz podatkov (npr. z maksimalno verjetnostjo ali Bayesovimi ocenami). To je pogosto robustno tudi pri manjkajočih podatkih, če uporabimo algoritemske pristope, kot je EM (expectation-maximization).
- Učenje strukture — če strukture ni znana, poiščemo graf, ki najbolje pojasni podatke, z uporabo iskanja po prostoru struktur in kriterijev kot sta BIC ali Bayesov faktor, ali z uporabo metod, ki vključujejo strokovno znanje.
Pogosto se kombinira ekspertno znanje (pri določanju obrisov omrežja) in učenje iz podatkov (pri prilagajanju parametrov).
Neprekinjene in hibridne spremenljivke
Bayesova omrežja lahko obravnavajo tudi nekatere neprekinjene spremenljivke. Pogosti pristopi so:
- Diskretizacija neprekinjenih spremenljivk (poenostavljeno, a izgubi natančnost).
- Gaussian Bayesova omrežja ali pogojno linearno-gausovska (CLG) porazdelitev za hibridne modele, kjer so nekatere spremenljivke normalno porazdeljene, druge diskretne.
Prednosti in omejitve
- Prednosti: jasno grafično predstavljeni odnosi, združevanje strokovnega znanja in podatkov, robustnost pri manjkajočih podatkih, možnost izvajanja kauzalnih analiz (če je struktura zanesljiva).
- Omejitve: učenje optimalne strukture je računsko zahtevno (NP-težko), točni algoritmi za sklepanje postanejo nepraktični za zelo velika omrežja z gostimi odvisnostmi, modeliranje močno nelinearnih odnosov zahteva posebne razširitve ali drugačne pristope.
Praktični primer
Klasičen primer je omrežje za alarm: vozlišča vlom, potres, alarm, ročna potrditev soseda. Alarm je odvisen od vloma in potresa; sosedovo poročilo je odvisno od alarma. S tem preprostim modelom lahko iz opazovanja poročila soseda izračunamo verjetnost, da je bil vlom.
Uporabe
Bayesova omrežja se široko uporabljajo v:
- medicinski diagnostiki in odločanju
- odkrivanju napak in diagnozi sistemov
- računalniškem vidu in prepoznavanju govorov
- obdelavi naravnega jezika
- robotiki in sistemih za načrtovanje
- priporočevalnih sistemih in iskanju informacij (iskanje informacij)
- analizi tveganj in podpori pri odločanju
Bayesova omrežja so zato močno orodje v strojnega učenja, posebej kadar želimo modelirati negotovost in vzročne povezave med spremenljivkami.
Zgodovina
Izraz "Bayesova omrežja" je leta 1985 uvedel Judea Pearl, da bi poudaril tri vidike:
- Pogosto subjektivna narava vhodnih informacij.
- Zanašanje na Bayesovo pogojenost kot podlago za posodabljanje informacij.
- Razlikovanje med vzročnim in dokaznim načinom sklepanja, ki poudarja posthumno objavljen članek Thomasa Bayesa iz leta 1763.
Konec osemdesetih let prejšnjega stoletja sta temeljni besedili Probabilistic Reasoning in Intelligent Systems in Probabilistic Reasoning in Expert Systems povzeli lastnosti bayesovskih omrežij in pomagali uveljaviti bayesovska omrežja kot študijsko področje.
Neformalne različice takšnih omrežij je leta 1913 za analizo sodnih dokazov v obliki Wigmorovih diagramov prvič uporabil pravni strokovnjak John Henry Wigmore. Drugo različico, imenovano diagrami poti, je razvil genetik Sewall Wright in jo uporabil v družbenih in vedenjskih vedah (večinoma z linearnimi parametričnimi modeli).
Vprašanja in odgovori
V: Kaj je Bayesova mreža?
O: Bayesova mreža je vrsta grafa, ki se uporablja za modeliranje neopaznih dogodkov in se lahko uporablja za sklepanje.
V: Katera vrsta grafa se uporablja v Bayesovem omrežju?
O: Usmerjeni graf, ki ne vsebuje ciklov.
V: Kaj predstavljajo vozlišča grafa v Bayesovem omrežju?
O: Vozlišča predstavljajo naključne spremenljivke.
V: Kako sta dve vozlišči v Bayesovem omrežju povezani?
O: Dve vozlišči sta lahko povezani z robom, rob pa ima pripadajočo verjetnost prenosa iz enega vozlišča v drugo.
V: Na katerem področju se večinoma uporabljajo Bayesova omrežja?
O: Bayesova omrežja se uporabljajo predvsem na področju (neasistiranega) strojnega učenja.
V: Ali se Bayesova omrežja lahko uporabljajo za razvrščanje informacij?
O: Da, Bayesove mreže se lahko uporabljajo za klasifikacijo informacij na področjih, kot so prepoznavanje slik, dokumentov ali govora ter iskanje informacij.
V: Na čem temelji Bayesova mreža?
O: Bayesovo omrežje temelji na odkritju reverenda Thomasa Bayesa iz štiridesetih let 17. stoletja, imenovanem Bayesov teorem.
