Előtt késő XIX században a normál eloszlást tekintették az adatok variációjának egyetemes törvényének. K. Pearson azonban megjegyezte, hogy az empirikus frekvenciák nagymértékben eltérhetnek a normális eloszlás. A kérdés az volt, hogyan lehet ezt bizonyítani. Nem csak grafikus összehasonlítást igényel, ami szubjektív, hanem szigorú mennyiségi indoklást is.

Így találták ki a kritériumot χ 2(chi-négyzet), amely az empirikus (megfigyelt) és az elméleti (várható) gyakoriságok közötti eltérés jelentőségét teszteli. Ez még 1900-ban történt, de a kritérium ma is használatos. Sőt, sokféle feladat megoldására lett adaptálva. Először is ez a kategorikus adatok elemzése, azaz. azokat, amelyeket nem a mennyiség, hanem egy kategóriába való tartozás fejez ki. Például az autó osztálya, a kísérletben résztvevő neme, a növény típusa stb. A matematikai műveletek, mint az összeadás és a szorzás nem alkalmazhatók ilyen adatokra, csak a gyakoriságok számíthatók rájuk.

Jelöljük a megfigyelt frekvenciákat Ó (megfigyelve), várt - E (várható). Példaként vegyük a 60-szori kockadobás eredményét. Ha szimmetrikus és egyenletes, akkor annak a valószínűsége, hogy bármelyik oldal feljön, 1/6, ezért az egyes oldalak várható száma 10 (1/6∙60). A megfigyelt és a várt gyakoriságokat táblázatba írjuk és hisztogramot rajzolunk.

A nullhipotézis az, hogy a gyakoriságok konzisztensek, vagyis a tényleges adatok nem mondanak ellent a vártnak. Alternatív hipotézis, hogy a gyakorisági eltérések túlmutatnak a véletlenszerű ingadozásokon, az eltérések statisztikailag szignifikánsak. Ahhoz, hogy szigorú következtetést vonjunk le, szükségünk van.

1. A megfigyelt és a várt gyakoriságok közötti eltérés általános mértéke.
2. Ennek a mértéknek a megoszlása ​​azon hipotézis érvényessége mellett, hogy nincsenek különbségek.

Kezdjük a frekvenciák közötti távolsággal. Ha csak a különbséget vesszük O-E, akkor egy ilyen mérték az adatok skálájától (gyakoriságától) függ. Például 20 - 5 = 15 és 1020 - 1005 = 15. A különbség mindkét esetben 15. De az első esetben a várható gyakoriságok 3-szor kisebbek, mint a megfigyeltek, a második esetben pedig csak 1,5 %. Szükségünk van egy relatív mértékre, amely nem függ a skálától.

Figyeljünk a következő tényekre. Általában sokkal nagyobb lehet azoknak a kategóriáknak a száma, amelyekben a frekvenciákat mérik, így annak a valószínűsége, hogy egyetlen megfigyelés egyik vagy másik kategóriába kerüljön, meglehetősen kicsi. Ha igen, akkor egy ilyen valószínűségi változó eloszlása ​​megfelel a ritka események törvényének, az úgynevezett Poisson törvénye. A Poisson törvényben, mint ismeretes, a matematikai elvárás és a variancia értéke megegyezik (paraméter λ ). Ezért a várható gyakoriság a névleges változó valamely kategóriája esetén Ei lesz a szimultán és annak szórása. Ezen túlmenően a Poisson-törvény nagyszámú megfigyeléssel általában normális. Ezt a két tényt kombinálva azt kapjuk, hogy ha igaz a hipotézis a megfigyelt és a várt gyakoriságok közötti egyezésről, akkor nagyszámú megfigyeléssel, kifejezés

Fontos megjegyezni, hogy a normalitás csak kellően magas frekvencián jelenik meg. A statisztikában általánosan elfogadott, hogy a megfigyelések teljes számának (a gyakoriságok összegének) legalább 50-nek kell lennie, és a várható gyakoriságnak minden fokozatban legalább 5-nek kell lennie. Csak ebben az esetben a fent látható értéknek van standard normálértéke. terjesztés. Tegyük fel, hogy ez a feltétel teljesül.

A normál normál eloszlásnak szinte minden értéke ±3-on belül van (három szigma szabály). Így egy gradációra relatív frekvenciakülönbséget kaptunk. Általános intézkedésre van szükségünk. Nem lehet csak összeadni az összes eltérést – 0-t kapunk (találd ki, miért). Pearson javasolta ezen eltérések négyzeteinek összeadását.

Ezek a jelek Khi-négyzet teszt Pearson. Ha a gyakoriságok valóban megfelelnek a vártnak, akkor a kritérium értéke viszonylag kicsi lesz (mivel az eltérések többsége nulla közelében van). De ha a kritérium nagynak bizonyul, akkor ez a frekvenciák közötti jelentős különbségek mellett tanúskodik.

A Pearson-kritérium akkor válik „nagy”-vá, ha ilyen vagy még nagyobb érték előfordulása valószínűtlenné válik. És egy ilyen valószínűség kiszámításához ismerni kell a kritérium eloszlását, amikor a kísérletet sokszor megismétlik, amikor a gyakorisági egyezés hipotézise helyes.

Mint látható, a khi-négyzet értéke a tagok számától is függ. Minél több van belőlük, annál nagyobbnak kell lennie a feltételnek, mert minden tag hozzá fog járulni a teljes összeghez. Ezért minden mennyiségre független feltételekkel, saját disztribúciója lesz. Kiderült, hogy χ 2 disztribúciók egész családja.

És elérkeztünk egy kínos pillanathoz. Mi az a szám független feltételek? Úgy tűnik, hogy minden kifejezés (azaz eltérés) független. K. Pearson is így gondolta, de kiderült, hogy tévedett. Valójában a független tagok száma eggyel kevesebb lesz, mint a nominális változó gradációinak száma n. Miért? Mert ha van egy mintánk, amelyre a gyakoriságok összegét már kiszámoltuk, akkor az egyik gyakoriság mindig meghatározható a teljes szám és az összes többi összege közötti különbségként. Ezért a szórás valamivel kisebb lesz. Ezt a tényt Ronald Fisher 20 évvel azután vette észre, hogy Pearson kidolgozta a kritériumát. Még az asztalokat is újra kellett készíteni.

Ebből az alkalomból Fisher egy új fogalmat vezetett be a statisztikába - a szabadság foka(szabadságfok), ami a független tagok száma az összegben. A szabadságfok fogalmának matematikai magyarázata van, és csak a normálhoz kapcsolódó eloszlásokban jelenik meg (Student, Fisher-Snedekor és maga a khi-négyzet).

Hogy jobban megértsük a szabadsági fokok jelentését, forduljunk a fizikai analóghoz. Képzeljünk el egy pontot, amely szabadon mozog a térben. 3 szabadságfoka van, mert a háromdimenziós tér bármely irányában mozoghat. Ha egy pont bármely felület mentén mozog, akkor már két szabadságfoka van (előre-hátra, jobbra-balra), bár továbbra is a háromdimenziós térben van. A rugó mentén mozgó pont ismét háromdimenziós térben van, de csak egy szabadságfokkal rendelkezik, mert előre vagy hátra mozoghat. Mint látható, az a tér, ahol az objektum található, nem mindig felel meg a valódi mozgásszabadságnak.

Körülbelül egy statisztikai ismérv megoszlása ​​is kisebb számú elemtől függhet, mint a kiszámításához szükséges feltételek. Általános esetben a szabadsági fokok száma kevesebb, mint a megfigyelések száma a rendelkezésre álló függőségek számával.

Tehát az eloszlás chi-négyzet ( χ 2) eloszlások családja, amelyek mindegyike a szabadsági fokok paraméterétől függ. A khi-négyzet próba formális definíciója pedig a következő. terjesztés χ 2(khi-négyzet) -val k szabadsági fok a négyzetösszeg eloszlása k független standard normál valószínűségi változók.

Ezután áttérhetnénk magára a képletre, amely szerint a khi-négyzet eloszlásfüggvényt számítják ki, de szerencsére már régen minden ki van számolva nekünk. Az érdeklődés valószínűségének kiszámításához használhatja a megfelelő statisztikai táblázatot vagy egy kész függvényt az Excelben.

Érdekes látni, hogyan változik a khi-négyzet eloszlás alakja a szabadságfokok számától függően.

A szabadságfok növekedésével a khi-négyzet eloszlás általában normális. Ezt magyarázza a centrális határeloszlás tétele, amely szerint nagyszámú független valószínűségi változó összege normális eloszlású. Nem mond semmit a négyzetekről.

Pearson khi-négyzet hipotézis tesztje

Elérkeztünk tehát a hipotézisek khi-négyzet módszerrel történő teszteléséhez. Általában a technika marad. Egy nullhipotézist állítanak fel, hogy a megfigyelt gyakoriságok megfelelnek a várt gyakoriságoknak (azaz nincs különbség köztük, mivel ugyanabból az általános sokaságból származnak). Ha ez a helyzet, akkor a szpred viszonylag kicsi lesz, a véletlenszerű ingadozások határain belül. A terjedés mértékét a khi-négyzet teszt határozza meg. Ezt követően vagy magát a kritériumot hasonlítjuk össze a kritikus értékkel (a megfelelő szignifikanciaszintre és szabadsági fokra), vagy helyesebben a megfigyelt p-értéket számítjuk ki, pl. annak a valószínűsége, hogy a nullhipotézis érvényessége mellett a kritérium ilyen vagy még nagyobb értéket kapunk.

Mert Mivel minket a gyakoriságok egyezése érdekel, ezért a hipotézist elvetjük, ha a kritérium nagyobb, mint a kritikus szint. Azok. a kritérium egyoldalú. Azonban néha (néha) szükséges a balkezes hipotézis tesztelése. Például amikor az empirikus adatok nagyon hasonlítanak az elméleti adatokhoz. Ekkor a kritérium egy valószínűtlen régióba eshet, de már a bal oldalon. Az a tény, hogy természetes körülmények között valószínűtlen, hogy olyan frekvenciákat kapjunk, amelyek gyakorlatilag egybeesnek az elméletivel. Mindig van valami véletlenszerűség, ami hibát okoz. De ha nincs ilyen hiba, akkor talán meghamisították az adatokat. De ennek ellenére a jobbkezes hipotézist általában tesztelik.

Térjünk vissza a kockával kapcsolatos problémához. Számítsa ki a khi-négyzet próba értékét a rendelkezésre álló adatok alapján!

Most keressük meg a kritikus értéket 5 szabadságfoknál ( k) és 0,05 szignifikanciaszint ( α ) a khi-négyzet eloszlás kritikus értékeinek táblázata szerint.

Azaz egy 0,05 chi-négyzet eloszlású kvantilis (jobb farok), 5 szabadságfokkal χ2 0,05; 5 = 11,1.

Hasonlítsuk össze a tényleges és a táblázatos értéket. 3,4( χ 2) < 11,1 (χ2 0,05; 5). A számított kritérium kisebbnek bizonyult, ami azt jelenti, hogy a gyakoriságok egyenlőségének (beleegyezésének) hipotézise nem utasítható el. Az ábrán a helyzet így néz ki.

Ha a számított érték a kritikus tartományba esik, akkor a nullhipotézist elvetjük.

Helyesebb lenne a p-értéket is kiszámítani. Ehhez meg kell találni a táblázatban a legközelebbi értéket adott számú szabadsági fokhoz, és meg kell nézni a megfelelő szignifikanciaszintet. De ez a múlt század. Számítógépet fogunk használni, különösen MS Excelt. Az Excelnek számos, a chi-négyzethez kapcsolódó függvénye van.

Az alábbiakban rövid leírásuk olvasható.

XI2.OBR- bal oldalon a kritérium kritikus értéke adott valószínűséghez (mint a statisztikai táblázatokban)

chi2.ex.ph a kritérium kritikus értéke egy adott valószínűséghez a jobb oldalon. A függvény lényegében megduplázza az előzőt. De itt azonnal jelezheti a szintet α , ahelyett, hogy kivonnánk 1-ből. Így kényelmesebb, mert a legtöbb esetben a disztribúció jobb oldalára van szükség.

CH2.DIST– p-érték a bal oldalon (sűrűség számítható).

HI2.DIST.PH– p-érték a jobb oldalon.

HI2.TESZT– Khi-négyzet tesztet végez egyszerre két frekvenciatartományon. A szabadsági fokok számát eggyel kevesebbre vesszük, mint az oszlopban lévő frekvenciák számát (ahogyan lennie kell), így p-értéket adunk vissza.

Egyelőre számoljuk ki kísérletünkhöz az 5 szabadságfok és az alfa 0,05 kritikus (táblázatos) értékét. Az Excel képlet így fog kinézni:

CH2.OBR(0,95;5)

chi2.inv.rx(0,05;5)

Az eredmény ugyanaz lesz - 11.0705. Ezt az értéket látjuk a táblázatban (1 tizedesjegyre kerekítve).

Végül kiszámítjuk a kritérium 5 szabadságfokának p-értékét χ 2= 3.4. Szükségünk van a jobb oldali valószínűségre, ezért a függvényt RH (jobb farok) hozzáadásával vesszük fel.

CH2.DIST.RH(3,4;5) = 0,63857

Tehát 5 szabadságfokkal a kritériumérték megszerzésének valószínűsége χ 2= 3,4 és több, közel 64%-nak felel meg. Természetesen a hipotézist nem utasítják el (p-érték nagyobb, mint 5%), a gyakoriságok nagyon jól egyeznek.

Most teszteljük a frekvenciaegyezési hipotézist a khi-négyzet teszt és a HI2.TESZT Excel függvény segítségével.

Nincsenek táblázatok, nincsenek nehézkes számítások. A megfigyelt és várt gyakoriságú oszlopokat függvényargumentumként megadva azonnal p-értéket kapunk. Szépség.

Képzeld el, hogy egy gyanús típussal kockáztatsz. A pontok eloszlása ​​1-től 5-ig változatlan marad, de 26 hatost dob ​​(az összes dobás száma 78 lesz).

p-érték ebben az esetben 0,003-nak bizonyul, ami sokkal kisebb, mint 0,05. Komoly okok indokolják kétségbe vonni a kocka helyességét. Így néz ki ez a valószínűség egy khi-négyzet eloszlási diagramon.

Maga a khi-négyzet kritérium itt 17,8-nak bizonyul, ami természetesen több, mint a táblázatos (11,1).

Remélem, sikerült elmagyaráznom, mi az alkalmassági kritérium. χ 2(khi-négyzet) Pearson és hogyan tesztelik vele a statisztikai hipotéziseket.

Végül még egyszer egy fontos feltételről! A khi-négyzet teszt csak akkor működik megfelelően, ha az összes frekvencia száma meghaladja az 50-et, és az egyes fokozatok minimális várható értéke nem kevesebb, mint 5. Ha bármely kategóriában a várható gyakoriság kisebb, mint 5, de az összes frekvencia összege meghaladja az 5-öt. 50, akkor ezt a kategóriát a legközelebbivel kombináljuk úgy, hogy összfrekvenciájuk meghaladja az 5-öt. Ha ez nem lehetséges, vagy a gyakoriságok összege kisebb, mint 50, akkor pontosabb hipotézisvizsgálati módszereket kell alkalmazni. Majd máskor beszélünk róluk.

Az alábbiakban egy videoklipet mutatunk be arról, hogyan tesztelhetünk egy hipotézist az Excel khi-négyzet tesztje segítségével.

Oktatási és Tudományos Minisztérium Orosz Föderáció

Irkutszk város Szövetségi Oktatási Ügynöksége

Bajkál Állami Egyetem közgazdaságtan és jog

Informatikai és Kibernetikai Tanszék

Khi-négyzet eloszlás és alkalmazása

Kolmykova Anna Andreevna

2. éves hallgató

csoport IS-09-1

Irkutszk 2010

Bevezetés

1. Khi-négyzet eloszlás

Alkalmazás

Következtetés

Bibliográfia

Bevezetés

Hogyan hasznosulnak az életünkben a valószínűségszámítás megközelítései, ötletei és eredményei?

Az alap egy valós jelenség vagy folyamat valószínűségi modellje, azaz. olyan matematikai modell, amelyben az objektív összefüggéseket valószínűségszámítással fejezik ki. A valószínűségek elsősorban a döntéshozatal során figyelembe veendő bizonytalanságok leírására szolgálnak. Ez egyaránt vonatkozik a nemkívánatos lehetőségekre (kockázatokra) és a vonzó lehetőségekre ("szerencsés véletlen"). Néha a véletlenszerűséget szándékosan vezetik be a helyzetbe, például sorsoláskor, az ellenőrzési egységek véletlenszerű kiválasztásakor, sorsoláskor vagy fogyasztói felmérések során.

A valószínűségszámítás lehetővé teszi más valószínűségek kiszámítását, amelyek érdekesek a kutató számára.

Egy jelenség vagy folyamat valószínűségi modellje a matematikai statisztika alapja. Két párhuzamos fogalomsorozatot használnak – az elmélettel kapcsolatosakat (valószínűségi modell) és a gyakorlattal kapcsolatosakat (a megfigyelési eredmények mintája). Például az elméleti valószínűség megfelel a mintából talált gyakoriságnak. A matematikai elvárás (elméleti sorozat) megfelel a minta számtani átlagának (gyakorlati sorozat). A minta jellemzői általában az elméleti jellemzők becslései. Ugyanakkor az elméleti sorozathoz kapcsolódó mennyiségek "a kutatók fejében vannak", az eszmevilágra vonatkoznak (Platón ógörög filozófus szerint), közvetlen mérésre nem állnak rendelkezésre. A kutatók csak szelektív adatokkal rendelkeznek, amelyek segítségével egy elméleti valószínűségi modell számukra érdekes tulajdonságait próbálják megállapítani.

Miért van szükség valószínűségi modellre? A helyzet az, hogy csak a segítségével lehetséges egy adott minta elemzési eredményeivel megállapított tulajdonságokat átvinni más mintákra, valamint a teljes, úgynevezett általános sokaságra. A "populáció" kifejezést a vizsgált egységek nagy, de véges sokaságára használják. Például Oroszország összes lakosáról vagy Moszkvában az instant kávét fogyasztók összességéről. A marketing vagy szociológiai felmérések célja, hogy a több száz vagy több ezer fős mintától kapott kijelentéseket több millió fős általános populációhoz továbbítsák. A minőség-ellenőrzés során a termékek egy tétele általános populációként működik.

Ahhoz, hogy egy mintából következtetéseket vigyünk át egy nagyobb sokaságra, szükség van bizonyos feltételezésekre a minta jellemzőinek és a nagyobb sokaság jellemzőinek kapcsolatáról. Ezek a feltételezések egy megfelelő valószínűségi modellen alapulnak.

Természetesen lehetséges a mintaadatok feldolgozása egyik vagy másik valószínűségi modell használata nélkül. Például kiszámíthatja a minta számtani átlagát, kiszámíthatja bizonyos feltételek teljesítésének gyakoriságát stb. A számítások eredményei azonban csak egy adott mintára vonatkoznak, a segítségükkel kapott következtetéseket más halmazba átvinni helytelen. Ezt a tevékenységet néha „adatelemzésnek” is nevezik. A valószínűség-statisztikai módszerekkel összehasonlítva az adatelemzésnek korlátozott a kognitív értéke.

Tehát a hipotézisek mintajellemzők segítségével történő értékelésén és tesztelésén alapuló valószínűségi modellek alkalmazása a valószínűségi számítás lényege. statisztikai módszerek Döntéshozatal.

Khi-négyzet eloszlás

A normál eloszlás három olyan eloszlást határoz meg, amelyeket ma már általánosan használnak a statisztikai adatfeldolgozásban. Ezek Pearson ("chi - square"), Student és Fisher eloszlásai.

A terjesztésre koncentrálunk

("chi - négyzet"). Ezt az eloszlást először F. Helmert csillagász tanulmányozta 1876-ban. A Gauss-féle hibaelmélet kapcsán n független standard normális eloszlású valószínűségi változó négyzetösszegét vizsgálta. Karl Pearson később ezt az eloszlásfüggvényt "khi-négyzetnek" nevezte el. És most a terjesztés az ő nevét viseli.

A normál eloszlással való szoros kapcsolata miatt a χ2 eloszlás játszik fontos szerep a valószínűségszámításban és matematikai statisztika. A χ2 eloszlás és sok más, a χ2 eloszlás által meghatározott eloszlás (például a Student-féle t-eloszlás) mintaeloszlásokat ír le. különféle funkciókat normál eloszlású megfigyelésekből, és konfidenciaintervallumok és statisztikai tesztek készítésére szolgálnak.

Pearson eloszlás

(chi - négyzet) egy valószínűségi változó eloszlása, ahol X1, X2,…, Xn normális független valószínűségi változók, és várható érték mindegyik nulla, a szórása pedig egy.

Négyzetek összege

törvény által kijelölt

("chi - négyzet").

Ebben az esetben a kifejezések száma, pl. n-et a khi-négyzet eloszlás "szabadságfokainak számának" nevezzük. A szabadsági fokok számának növekedésével az eloszlás lassan megközelíti a normálisat.

Ennek az eloszlásnak a sűrűsége

Tehát a χ2 eloszlás egy n paramétertől – a szabadsági fokok számától – függ.

A χ2 eloszlásfüggvény alakja:

ha χ2≥0. (2.7.)

Az 1. ábra a valószínűségi sűrűség és a χ2 eloszlásfüggvény grafikonját mutatja különböző szabadsági fokokhoz.

1. kép A φ (x) valószínűségi sűrűség függése a χ2 (chi - négyzet) eloszlásban különböző számú szabadsági fokra.

A "khi-négyzet" eloszlás pillanatai:

A khi-négyzet eloszlást a variancia becslésére használjuk (a megbízhatósági intervallum), az egyezés, a homogenitás, a függetlenség hipotéziseinek tesztelésekor, elsősorban a véges számú értéket felvevő kvalitatív (kategorizált) változók esetében, és számos más statisztikai adatelemzési problémában.

2. "Khi-négyzet" a statisztikai adatelemzés problémáiban

Az adatelemzés statisztikai módszereit az emberi tevékenység szinte minden területén alkalmazzák. Ezeket akkor alkalmazzák, amikor valamilyen belső heterogenitású csoportról (tárgyakról vagy szubjektumokról) kapcsolatos ítéletek megszerzéséhez és alátámasztásához szükséges.

A statisztikai módszerek fejlődésének modern szakaszát 1900-tól lehet számítani, amikor az angol K. Pearson megalapította a „Biometrika” című folyóiratot. A 20. század első harmada paraméteres statisztika jele alatt ment át. A Pearson-családgörbék által leírt paraméteres eloszláscsaládok adatainak elemzésén alapuló módszereket tanulmányoztam. A legnépszerűbb a normál eloszlás volt. A hipotézisek teszteléséhez Pearson, Student és Fisher kritériumokat használtunk. Javasoltuk a maximum likelihood módszert, a varianciaanalízist, és megfogalmaztuk a kísérlet tervezésének főbb gondolatait.

A khi-négyzet eloszlás az egyik legszélesebb körben használt statisztika a statisztikai hipotézisek tesztelésére. A "khi-négyzet" eloszlás alapján megalkották az egyik legerősebb illeszkedési tesztet, a Pearson-féle "khi-négyzet" tesztet.

Az illeszkedési teszt az ismeretlen eloszlás javasolt törvényére vonatkozó hipotézis tesztelésének kritériuma.

A χ2 ("khi-négyzet") teszt a különböző eloszlások hipotézisének tesztelésére szolgál. Ez az ő érdeme.

A kritérium számítási képlete egyenlő

ahol m és m' az empirikus, illetve az elméleti gyakoriság

mérlegelés alatt álló elosztás;

n a szabadságfokok száma.

Az igazoláshoz össze kell hasonlítanunk az empirikus (megfigyelt) és az elméleti (normális eloszlás feltételezésével számolt) gyakoriságokat.

Ha az empirikus gyakoriságok teljesen egybeesnek a számított vagy várt gyakoriságokkal, akkor S (E - T) = 0 és a χ2 ismérv is nulla lesz. Ha S (E - T) nem egyenlő nullával, ez eltérést jelez a számított frekvenciák és a sorozat tapasztalati gyakoriságai között. Ilyen esetekben értékelni kell a χ2 kritérium jelentőségét, amely elméletileg nullától a végtelenig változhat. Ez úgy történik, hogy a ténylegesen kapott χ2ph értékét a kritikus értékével (χ2st) hasonlítjuk össze.A nullhipotézist, vagyis azt a feltételezést, hogy az empirikus és az elméleti vagy várható gyakoriságok közötti eltérés véletlenszerű, megcáfolódik, ha χ2ph nagyobb vagy egyenlő, mint χ2st-ig az elfogadott szignifikanciaszint (a) és a szabadságfok száma (n).

Khi-négyzet teszt - univerzális módszer a kísérlet eredményei és az alkalmazott statisztikai modell közötti egyezés ellenőrzése.

Pearson távolság X 2

Pjatnyickij A.M.

Orosz állam Orvostudományi Egyetem

Karl Pearson 1900-ban javasolt egy egyszerű, univerzális és hatékony módszer a modell-előrejelzések és a kísérleti adatok közötti egyezés ellenőrzése. Az ő "khi-négyzet tesztje" a legfontosabb és leggyakrabban használt statisztikai teszt. A modell ismeretlen paramétereinek becslésével, a modell és a kísérleti adatok egyezésének ellenőrzésével kapcsolatos problémák többsége megoldható a segítségével.

Legyen a vizsgált objektumnak vagy folyamatnak a priori („kísérleti előtti”) modellje (a statisztikában H 0 „null hipotézisről” beszélnek), és az ezzel az objektummal végzett kísérlet eredményei. El kell dönteni, hogy a modell megfelelő-e (megfelel-e a valóságnak)? A kísérlet eredményei nem mondanak-e ellent a valóság működéséről alkotott elképzeléseinknek, vagy más szóval, a H 0-t el kell utasítani? Ez a feladat gyakran redukálható bizonyos események megfigyelt (O i = Megfigyelt ) és a modell szerint várható (E i = Várható ) átlagos előfordulási gyakoriságának összehasonlítására. Úgy gondolják, hogy a megfigyelt frekvenciákat N független (!) állandó (!) körülmények között végzett megfigyelés sorozatában kaptuk. Minden megfigyelés eredményeként egy M eseményt regisztrálunk. Ezek az események nem következhetnek be egyszerre (páronként inkompatibilisek), és az egyik szükségszerűen bekövetkezik (kombinációjuk megbízható eseményt alkot). Az összes megfigyelés összessége az (O i )=(O 1 ,… O M ) gyakoriságok táblázatára (vektorára) redukálódik, amely teljes mértékben leírja a kísérlet eredményeit. Az O 2 =4 érték azt jelenti, hogy a 2. számú esemény 4 alkalommal történt. Az O 1 +… O M =N frekvenciák összege. Fontos különbséget tenni két eset között: N - rögzített, nem véletlenszerű, N - véletlenszerű érték. Egy fixen teljes szám N frekvenciakísérlet polinomiális eloszlású. Magyarázzuk meg ezt az általános sémát egyszerű példa.

A khi-négyzet teszt alkalmazása egyszerű hipotézisek tesztelésére.

Legyen a modell (null hipotézis H 0), hogy a kocka szabályos - minden lap egyformán gyakran esik ki p i =1/6, i =, M=6 valószínűséggel. Kísérletet végeztek, amely abból állt, hogy a csontot 60-szor dobták meg (N = 60 független tesztet végeztek). A modell szerint azt várjuk, hogy az összes megfigyelt O i 1,2,...6 pont előfordulási gyakorisága közel legyen az átlagos értékükhözE i =Np i =60∙(1/6)=10. H 0 szerint a középfrekvenciás vektor (E i )=(Np i )=(10, 10, 10, 10, 10, 10). (Egyszerűnek nevezzük azokat a hipotéziseket, amelyekben az átlagos frekvenciák a kísérlet megkezdése előtt teljesen ismertek.) Ha a megfigyelt vektor (O i ) egyenlő (34,0,0,0,0,26) , akkor azonnal világos, hogy a modell hibás - a csont nem lehet helyes, hiszen csak 1 és 6 esett ki 60-szor.. Egy ilyen esemény valószínűsége egy helyes kocka esetén elhanyagolható: P = (2/6) 60 =2,4*10 -29 . A modell és a tapasztalat közötti ilyen nyilvánvaló eltérések azonban kivételt képeznek. Legyen a megfigyelt frekvenciák vektora (O i ) egyenlő (5, 15, 6, 14, 4, 16). Ez megegyezik H 0-val? Tehát össze kell hasonlítanunk két frekvenciavektort (E i ) és (O i ). Ugyanakkor a várható gyakoriságok vektora (E i ) nem véletlen, hanem a megfigyelt gyakoriságok vektora (O i ) véletlenszerű - a következő kísérletben (in új sorozat 60 tekercsből) más lesz. Célszerű bevezetni a feladat geometriai értelmezését, és feltételezni, hogy a frekvenciatérben (jelen esetben 6 dimenziós) két pont adott koordinátákkal (5, 15, 6, 14, 4, 16) és (10, 10, 10, 10, 10, 10). Elég messze vannak egymástól ahhoz, hogy összeegyeztethetetlennek tekintsék a H 0 -val? Más szóval, szükségünk van:

1. megtanulják, hogyan kell mérni a frekvenciák közötti távolságokat (pontok a frekvenciatérben),
2. van kritériuma, hogy milyen távolságot kell túl nagynak („valószínűtlenül”) nagynak tekinteni, azaz nem konzisztens H 0 -val.

A szokásos euklideszi távolság négyzete a következő lenne:

X 2 Euklidész = S(O i -E i) 2 = (5-10) 2 + (15-10) 2 + (6-10) 2 + (14-10) 2 + (4-10) 2 + (16-10) 2

Ráadásul az X 2 Euclid = const felületek mindig gömbök, ha rögzítjük E i értékeit és megváltoztatjuk O i -t. Karl Pearson megjegyezte, hogy nem szabad az euklideszi távolságot használni a frekvenciatérben. Így téves azt feltételezni, hogy a pontok (O =1030 és E =1000) és (O =40 és E =10) egyenlő távolságra vannak egymástól, bár mindkét esetben az O -E =30 különbség. Hiszen minél nagyobb a várható gyakoriság, annál nagyobb eltéréseket kell lehetségesnek tekinteni. Ezért a pontokat (O =1030 és E =1000) „közel”, a pontokat (O =40 és E =10) pedig „távol” kell tekinteni. Megmutatható, hogy ha a H 0 hipotézis helyes, akkor az O i frekvencia E i-hez viszonyított ingadozása nagyságrendű. négyzetgyök(!) E i-től. Ezért Pearson azt javasolta, hogy a távolság kiszámításakor ne a különbségeket (O i -E i ), hanem a normalizált különbségeket (O i -E i )/E i 1/2 négyzetesítse. Tehát itt van a Pearson-távolság kiszámításának képlete (valójában ez a távolság négyzete):

X 2 Pearson = S((O i -E i )/E i 1/2) 2 = S(O i -E i ) 2 /E i

Példánkban:

X 2 Pearson = (5-10) 2 /10+(15-10) 2 /10 +(6-10) 2 /10+(14-10) 2 /10+(4-10) 2 /10+( 16-10) 2 /10=15,4

Egy szabályos kocka esetén minden elvárt E i frekvencia azonos, de általában eltérőek, így azokról a felületekről, amelyeken a Pearson-távolság állandó (X 2 Pearson =const), már ellipszoidoknak bizonyulnak, nem gömböknek.

Most, miután kiválasztottuk a távolságszámítási képletet, ki kell deríteni, hogy mely távolságok tekinthetők „nem túl nagynak” (a H 0-val összhangban). ? Ha egy szabályos kockával kísérleteznénk, az esetek hány százalékában (vagy milyen valószínűséggel) kapnánk 15,4-nél nagyobb távolságot? Ha ez a százalék kicsi<0.05), то H 0 надо отвергнуть. Иными словами требуется найти распределение длярасстояния Пирсона. Если все ожидаемые частоты E i не слишком малы (≥5), и верна H 0 , то нормированные разности (O i - E i )/E i 1/2 приближенно эквивалентны стандартным гауссовским случайным величинам: (O i - E i )/E i 1/2 ≈N (0,1). Это, например, означает, что в 95% случаев| (O i - E i )/E i 1/2 | < 1.96 ≈ 2 (правило “двух сигм”).

Magyarázat. Az i számú táblázat cellájába eső O i mérések száma binomiális eloszlású paraméterekkel: m =Np i =E i ,σ =(Np i (1-pi )) 1/2, ahol N a mérések száma (N " 1), p i annak a valószínűsége, hogy egy mérés ebbe a cellába esik (emlékezzünk arra, hogy a mérések függetlenek, és állandó körülmények között végzik). Ha p i kicsi, akkor: σ≈(Np i ) 1/2 =E i és a binomiális eloszlás közel van Poissonhoz, amelyben a megfigyelések átlagos száma E i =λ, a szórás pedig σ=λ 1/2 = E i 1/2. λ≥5 esetén a Poisson-eloszlás közel áll a normál N-hez (m =E i =λ, σ=E i 1/2 =λ 1/2), és a normalizált értékhez (O i - E i )/E i 1 /2 ≈ N (0 ,1).

Pearson a χ 2 n valószínűségi változót – „n szabadságfokú khi-négyzet” n független standard normál r.v. négyzetösszegeként határozta meg:

χ 2 n = T 1 2 + T 2 2 + …+ T n 2, hol van minden T i = N(0,1) - n. O. R. Val vel. V.

Próbáljuk meg vizuálisan megérteni ennek a legfontosabb valószínűségi változónak a jelentését a statisztikákban. Ehhez síkon (n = 2 esetén) vagy térben (n = 3 esetén) egy olyan pontfelhőt ábrázolunk, amelyek koordinátái függetlenek és szabványos normál eloszlásúf T (x) ~exp (-x 2 /2) ). Egy síkon a „két szigma” szabály szerint, amely mindkét koordinátára függetlenül vonatkozik, a pontok 90%-a (0,95*0,95≈0,90) egy négyzetbe (-2) van bezárva.

f χ 2 2 (a) = Сexp(-a/2) = 0,5exp(-a/2).

Kellően nagy számú n (n>30) szabadságfok esetén a khi-négyzet eloszlás megközelíti a normált: N (m = n; σ = (2n) ½). Ez a „centrális határtétel” következménye: az azonos eloszlású, véges szórással rendelkező mennyiségek összege a tagok számának növekedésével közelíti meg a normáltörvényt.

A gyakorlatban emlékezni kell arra, hogy a távolság átlagos négyzete egyenlő m (χ 2 n )=n , diszperziója pedig σ 2 (χ 2 n )=2n . Ebből könnyen megállapítható, hogy mely khi-négyzet értékeket kell túl kicsinek és túl nagynak tekinteni: az eloszlás nagy része az n -2 ∙ (2n ) ½ és n + 2 ∙ (2n ) ½ közötti tartományban van.

Tehát az n +2∙ (2n ) ½ értéket jelentősen meghaladó Pearson-távolságokat hihetetlenül nagynak kell tekinteni (nem konzisztens H 0-val). Ha az eredmény közel van n +2∙(2n) ½-hez, akkor olyan táblázatokat kell használnia, amelyekben pontosan megtudhatja, hogy az esetek hány százalékában jelenhetnek meg ilyen és nagy khi-négyzet értékek.

Fontos tudni, hogyan válasszuk ki a megfelelő értéket a szabadságfokok számához (szabadsági fokok száma, rövidítve n .d .f .). Természetesnek tűnt azt gondolni, hogy n egyszerűen egyenlő a bitek számával: n = M . Pearson ezt javasolta cikkében. A kocka példában ez azt jelentené, hogy n = 6. Néhány évvel később azonban kiderült, hogy Pearson tévedett. A szabadsági fokok száma mindig kisebb, mint a számjegyek száma, ha O i valószínűségi változók között kapcsolat van. A kocka példánál az O i összege 60, és egymástól függetlenül csak 5 frekvencia változtatható, így a helyes érték n=6-1=5. Erre az n értékre n +2∙(2n) ½ =5+2∙(10) ½ =11,3. Mivel 15,4>11,3, akkor a H 0 hipotézist - a kocka helyes, el kell vetni.

A hiba tisztázása után a meglévő χ 2 táblázatokat ki kellett egészíteni, mivel kezdetben nem volt bennük n = 1 eset, mivel a legkisebb számjegy = 2. Most kiderült, hogy előfordulhatnak olyan esetek, amikor a Pearson-távolság χ 2 n =1 eloszlású.

Példa. Egy érme 100 feldobása esetén a címerek száma O 1 = 65, a farok pedig O 2 = 35. A számjegyek száma M = 2. Ha az érme szimmetrikus, akkor a várható gyakoriságok E 1 =50, E 2 =50.

X 2 Pearson = S(O i -E i) 2 / E i \u003d (65-50) 2 / 50 + (35-50) 2 / 50 \u003d 2 * 225/50 \u003d 9.

A kapott értéket össze kell hasonlítani azokkal, amelyeket a χ 2 n =1 valószínűségi változó felvehet, a χ 2 n =1 =T 1 2 ≥ 9 standard normálérték négyzeteként definiálva. ó T 1 ≥3 vagy T 1 ≤-3. Egy ilyen esemény valószínűsége nagyon kicsi P (χ 2 n =1 ≥9) = 0,006. Ezért az érme nem tekinthető szimmetrikusnak: H 0 -t el kell utasítani. Az, hogy a szabadsági fokok száma nem lehet egyenlő a bitek számával, abból látszik, hogy a megfigyelt frekvenciák összege mindig egyenlő a várt frekvenciák összegével, például O 1 +O 2 =65 +35 = E 1 +E 2 =50+50=100. Ezért az O 1 és O 2 koordinátájú véletlenszerű pontok egy egyenes vonalon helyezkednek el: O 1 + O 2 \u003d E 1 + E 2 \u003d 100, és a középpont távolsága kisebbnek bizonyul, mintha ez a korlátozás nem lenne. ott voltak, és az egész gépen elhelyezkedtek. Valójában két független valószínűségi változó esetén, amelyek matematikai elvárásai E 1 = 50, E 2 = 50, megvalósulásuk összege nem mindig lehet egyenlő 100-zal - például az O 1 = 60, O 2 = 55 értékek elfogadható legyen.

Magyarázat. Hasonlítsuk össze a Pearson-kritérium M = 2 eredményét azzal, amit a Moivre-Laplace képlet ad, amikor egy p valószínűségű ν =K /N esemény előfordulási gyakoriságának véletlenszerű ingadozásait becsüljük N független Bernoulli-próba sorozatában ( K a sikerek száma):

χ 2 n =1 = S(O i -E i) 2 / E i \u003d (O 1 -E 1) 2 / E 1 + (O 2 -E 2) 2 / E 2 \u003d (Nν -Np) 2 / (Np) + ( N(1-ν)-N(1-p))2 /(N(1-p))=

=(Nν-Np) 2 (1/p + 1/(1-p))/N=(Nν-Np) 2 /(Np(1-p))=((K-Np)/(Npq) ½ ) 2 = T 2

A T \u003d (K -Np) / (Npq) ½ \u003d (K -m (K)) / σ (K) ≈ N (0,1) érték, ahol σ (K) \u003d (Npq) ½ ≥3. Látjuk, hogy ebben az esetben Pearson eredménye pontosan megegyezik azzal, amit a binomiális eloszlás normál közelítésével kapunk.

Eddig olyan egyszerű hipotéziseket vettünk figyelembe, amelyeknél a várható átlagos E i gyakoriságok teljesen előre ismertek. Az alábbiakban megtudhatja, hogyan kell kiválasztani a megfelelő számú szabadsági fokot összetett hipotézisekhez.

A Khi-négyzet teszt alkalmazása összetett hipotézisek tesztelésére

A megfelelő kockával és érmével ellátott példákban a kísérlet előtt(!) meg lehetett határozni a várható gyakoriságokat. Az ilyen hipotéziseket "egyszerű"-nek nevezik. A gyakorlatban az „összetett hipotézisek” gyakoribbak. Ugyanakkor a várható E i gyakoriságok megtalálásához először egy vagy több mennyiséget (modellparamétert) kell becsülni, és ez csak kísérleti adatok felhasználásával tehető meg. Ennek eredményeként a „komplex hipotézisek” esetében a várható E i gyakoriságok a megfigyelt O i gyakoriságoktól függenek, és így maguk is valószínűségi változókká válnak, amelyek a kísérlet eredményeitől függően változnak. A paraméterek illesztése során a Pearson-távolság csökken - a paramétereket úgy választják ki, hogy javítsák a modell és a kísérlet közötti egyezést. Ezért a szabadsági fokok számának csökkennie kell.

Hogyan értékeljük a modell paramétereit? Számos különböző becslési módszer létezik - „maximális valószínűség módszere”, „pillanatok módszere”, „helyettesítési módszer”. Lehetőség van azonban arra, hogy ne vonjunk be további forrásokat, és a Pearson-távolság minimalizálásával paraméterbecsléseket találjunk. A számítógép előtti korszakban ezt a megközelítést ritkán alkalmazták: kényelmetlen a kézi számításokhoz, és általában nem alkalmas analitikus megoldásra. Számítógépen történő számításkor a numerikus minimalizálás általában könnyen végrehajtható, és ennek a módszernek az előnye az univerzális. Tehát a „khi-négyzet minimalizálási módszer” szerint úgy választjuk ki az ismeretlen paraméterek értékeit, hogy a Pearson-távolság a legkisebb legyen. (Egyébként ennek a távolságnak a változásait a talált minimumhoz képest kis eltolódásokkal tanulmányozva megbecsülhető a becslés pontosságának mértéke: konfidenciaintervallumokat építeni.) Miután megtaláltuk a paramétereket és magát ezt a minimális távolságot, ismét arra a kérdésre kell válaszolni, hogy elég kicsi-e.

A műveletek általános sorrendje a következő:

1. Modellválasztás (H 0 hipotézisek).
2. A számjegyek kiválasztása és a megfigyelt frekvenciák O i vektorának meghatározása.
3. A modell ismeretlen paramétereinek becslése és konfidenciaintervallumok felépítése ezekre (például a Pearson-távolság minimumának megkeresésével).
4. A várható frekvenciák számítása E i .
5. Az X 2 Pearson-távolság talált értékének összehasonlítása a khi-négyzet χ 2 crit kritikus értékével - a legnagyobb, amely továbbra is valószínűnek tekinthető, kompatibilis H 0 -val. A χ 2 crit értéket a táblázatokból találjuk meg, megoldva az egyenletet

P (χ 2 n > χ 2 krit) = 1-α,

ahol α a „szignifikancia szintje” vagy „teszt mérete” vagy „I. típusú hibaérték” (tipikus érték α=0,05).

Általában az n szabadsági fokok számát a képlet alapján számítják ki

n = (számjegyek száma) – 1 – (becsült paraméterek száma)

Ha X 2 > χ 2 crit, akkor a H 0 hipotézist elvetjük, ellenkező esetben elfogadjuk. Az esetek α∙100%-ában (azaz elég ritkán) H 0 ellenőrzésének ez a módja „első típusú hibához” vezet: a H 0 hipotézist hibásan elutasítják.

Példa. A 10, 100 magból álló sorozat vizsgálata során megszámoltuk a zöldszemű légyfertőzések számát. Beérkezett adatok: O i =(16, 18, 11, 18, 21, 10, 20, 18, 17, 21);

Itt a várható frekvenciák vektora előre ismeretlen. Ha az adatok homogének és binomiális eloszlásra származnak, akkor egy paraméter ismeretlen - a fertőzött magvak p aránya. Vegyük észre, hogy az eredeti táblázatban valójában nem 10, hanem 20 olyan frekvencia van, amely 10 hivatkozást kielégít: 16+84=100, ... 21+79=100.

X 2 \u003d (16-100p) 2 / 100p + (84-100 (1-p)) 2 / (100 (1-p)) + ... +

(21-100p) 2 /100p +(79-100(1-p)) 2 /(100(1-p))

A kifejezéseket párban kombinálva (mint a példában egy érmével) megkapjuk a Pearson-kritérium írási formáját, amelyet általában azonnal írnak:

X 2 \u003d (16-100p) 2 / (100p (1-p)) + ... + (21-100p) 2 / (100p (1-p)).

Most, ha a minimális Pearson-távolságot használjuk p becslési módszerként, akkor meg kell találnunk egy p-t, amelyre X 2 =min. (A modell lehetőség szerint igyekszik „igazítani” a kísérleti adatokhoz.)

A Pearson-kritérium a statisztikában használt összes közül a leguniverzálisabb. Alkalmazható egydimenziós és többdimenziós adatokra, mennyiségi és minőségi jellemzőkre. Azonban éppen az egyetemesség miatt kell vigyázni, hogy ne hibázzon.

Fontos pontok

1. A rangok megválasztása.

• Ha az eloszlás diszkrét, akkor általában nincs önkényes a számjegyek megválasztása.
• Ha az eloszlás folyamatos, akkor az önkény elkerülhetetlen. Használhat statisztikailag egyenértékű blokkokat (minden O azonos, például =10). Ebben az esetben az intervallumok hossza eltérő. A kézi számításoknál igyekeztek azonossá tenni az intervallumokat. Az egydimenziós jellemző eloszlásának vizsgálatában az intervallumoknak egyenlőnek kell lenniük? Nem.
• A biteket úgy kell kombinálni, hogy a várt (nem megfigyelt!) frekvenciák ne legyenek túl kicsik (≥5). Emlékezzünk vissza, hogy X 2 kiszámításakor ők (E i ) szerepelnek a nevezőkben! Az egydimenziós jellemzők elemzésekor ezt a szabályt megsérthetjük a két szélső bitben E 1 =E max =1. Ha a bitek száma nagy és a várható frekvenciák közel vannak, akkor X 2 még E i =2 esetén is szorosan közelíti χ 2-t.

Paraméterbecslés. A „saját készítésű”, nem hatékony becslési módszerek alkalmazása a Pearson-távolság túlbecsült értékéhez vezethet.

A megfelelő számú szabadságfok kiválasztása. Ha a paraméterbecsléseket nem gyakoriságokból, hanem közvetlenül adatokból készítjük (például a számtani átlagot vesszük az átlag becsléseként), akkor az n szabadságfok pontos száma nem ismert. Csak azt tudjuk, hogy ez kielégíti az egyenlőtlenséget:

(számjegyek száma - 1 - becsült paraméterek száma)< n < (число разрядов – 1)

Ezért össze kell hasonlítani az X 2-t a χ 2 crit kritikus értékeivel, amelyeket az n teljes tartományára számítottak.

Hogyan kell értelmezni a hihetetlenül kicsi khi-négyzet értékeket? Szimmetrikusnak kell-e tekinteni egy érmét, ha 10 000 feldobás után 5 000 címere van? Korábban sok statisztikus úgy gondolta, hogy a H 0-t ebben az esetben is el kell utasítani. Most egy másik megközelítést javasolunk: elfogadni H 0 -t, de az adatokat és elemzésük módszerét további ellenőrzésnek alávetni. Két lehetőség van: vagy a túl kicsi Pearson-távolság azt jelenti, hogy a modellparaméterek számának növekedése nem járt együtt a szabadságfokok számának megfelelő csökkenésével, vagy magát az adatot hamisították meg (talán nem szándékosan igazították a várt eredményhez). ).

Példa. Két kutató A és B kiszámította a recesszív homozigóták aa arányát a második generációban egy AA * aa monohibrid keresztezésben. A Mendel-törvények szerint ez az arány 0,25. Minden kutató 5 kísérletet végzett, és minden kísérletben 100 szervezetet vizsgáltak.

Eredmények A: 25, 24, 26, 25, 24. Kutatói következtetés: Mendel törvénye érvényes (?).

B eredmények: 29, 21, 23, 30, 19. Kutatói következtetés: Mendel törvénye nem érvényes (?).

A Mendel-törvény azonban statisztikai jellegű, és az eredmények kvantitatív elemzése megfordítja a következtetéseket! Öt kísérletet egyesítve egy khi-négyzet eloszlást kapunk 5 szabadságfokkal (egy egyszerű hipotézist tesztelünk):

X 2 A = ((25-25) 2 +(24-25) 2 +(26-25) 2 +(25-25) 2 +(24-25) 2)/(100∙0,25∙0,75)=0,16

X 2 B = ((29-25) 2 +(21-25) 2 +(23-25) 2 +(30-25) 2 +(19-25) 2)/(100∙0,25∙0,75)=5,17

Átlagérték m [χ 2 n =5 ]=5, szórás σ[χ 2 n =5 ]=(2∙5) 1/2 =3,2.

Ezért a táblázatokra való hivatkozás nélkül egyértelmű, hogy X 2 B értéke jellemző, X 2 A értéke pedig hihetetlenül kicsi. A P táblázatok szerint (χ 2 n =5<0.16)<0.0001.

Ez a példa egy valós eset adaptált változata, amely az 1930-as években történt (lásd Kolmogorov „A Mendel-törvények másik bizonyítékáról”). Érdekes módon A kutató a genetika mellett volt, míg B kutató ellene volt.

Jelzészavar. Meg kell különböztetni a Pearson-távolságot, amely számítása során további megegyezéseket igényel, a valószínűségi változó khi-négyzet matematikai fogalmától. A Pearson-távolság bizonyos feltételek mellett eloszlása ​​közel van egy n szabadságfokú khi-négyzethez. Ezért kívánatos, hogy NE a Pearson-távolságot jelöljük χ 2 n -nel, hanem hasonló, de eltérő jelölést használjunk X 2-re.

A Pearson-kritérium nem mindenható. H 0-nak végtelen számú alternatívája van, amelyeket nem tud figyelembe venni. Teszteld azt a hipotézist, hogy a jellemző egyenletes eloszlású, 10 bited van, és a megfigyelt frekvenciák vektora (130,125,121,118,116,115,114,113,111,110). A Pearson-kritérium nem tudja „észrevenni”, hogy a frekvenciák monoton csökkennek, és a H 0 nem kerül elutasításra. Ha kiegészülne a sorozat kritériumával, akkor igen!

A biológiai jelenségek kvantitatív vizsgálata szükségszerűen megköveteli olyan hipotézisek felállítását, amelyekkel e jelenségeket meg lehet magyarázni. Ennek vagy annak a hipotézisnek a tesztelésére egy sor speciális kísérletet hajtanak végre, és a kapott tényleges adatokat összehasonlítják az e hipotézis szerint elméletileg várt adatokkal. Ha van egyezés, ez elegendő ok lehet a hipotézis elfogadására. Ha a kísérleti adatok rosszul egyeznek az elméletileg várttal, akkor nagy kétség merül fel a javasolt hipotézis helyességével kapcsolatban.

A tényleges adatok elvártnak (hipotetikusnak) való megfelelésének mértékét a khi-négyzet illeszkedési teszttel mérjük:

 a jellemző ténylegesen megfigyelt értéke én- játék; - egy adott csoportra vonatkozó elméletileg várható szám vagy jel (jelző), k-adatcsoportok száma.

A kritériumot K. Pearson javasolta 1900-ban, és néha Pearson-kritériumnak is nevezik.

Feladat. Az egyik szülőtől a faktort, a másiktól a faktort öröklő 164 gyermek között 46 faktoros, 50 faktoros, 68 mindkét szülő gyermeke volt. Számítsa ki a várható gyakoriságokat 1:2:1 arányban a csoportok között, és határozza meg az empirikus adatok közötti egyezés mértékét a Pearson-teszt segítségével.

Megoldás: A megfigyelt gyakoriságok aránya 46:68:50, elméletileg 41:82:41.

Állítsuk a szignifikanciaszintet 0,05-re. A Pearson-próba táblázatos értéke erre a szignifikanciaszintre a vele megegyező szabadsági fokok számával 5,99-nek bizonyult. Ezért a kísérleti adatok elméletinek való megfelelésére vonatkozó hipotézis elfogadható, mivel, .

Vegyük észre, hogy a khi-négyzet próba kiszámításakor már nem szabjuk meg az eloszlás elengedhetetlen normalitásának feltételét. A khi-négyzet tesztet bármilyen eloszlásra használhatjuk, amelyet szabadon választhatunk a feltételezéseinkben. Ebben a kritériumban van némi univerzalitás.

A Pearson-kritérium másik alkalmazása az empirikus eloszlás és a Gauss-normális eloszlás összehasonlítása. Ugyanakkor az eloszlás normalitásának ellenőrzésére szolgáló kritériumcsoporthoz köthető. Az egyetlen megkötés az a tény, hogy ennek a kritériumnak a használatakor az értékek (változatok) teljes számának elég nagynak kell lennie (legalább 40), és az egyes osztályokban (intervallumokban) az értékek számának legalább 5-nek kell lennie. Ellenkező esetben a szomszédos intervallumokat kombinálni kell. Az eloszlás normalitásának ellenőrzésekor a szabadságfokok számát a következőképpen kell kiszámítani:.

1. Fisher-kritérium.

Ez a parametrikus teszt a normál eloszlású populációk varianciáinak egyenlőségére vonatkozó nullhipotézis tesztelésére szolgál.

Vagy.

Kis mintaméretek esetén a Student-féle t-próba alkalmazása csak akkor lehet helyes, ha a szórások egyenlőek. Ezért a mintaátlagok egyenlőségének vizsgálata előtt meg kell győződni arról, hogy a Student-féle t-próba érvényes.

Ahol N 1 , N 2  mintaméretek,  1 ,  2 - ezeknek a mintáknak a szabadságfokainak száma.

Táblázatok használatakor figyelembe kell venni, hogy a nagyobb szórással rendelkező minta szabadságfokainak számát a táblázat oszlopszámaként, kisebb szórás esetén pedig a táblázat sorszámát választjuk.

A  szignifikanciaszinthez a matematikai statisztika táblázatai szerint táblázatos értéket találunk. Ha, akkor a varianciaegyenlőség hipotézisét a választott szignifikanciaszintre elvetjük.

Példa. Tanulmányozta a kobalt hatását a nyulak testsúlyára. A kísérletet két állatcsoporton végezték: kísérleti és kontrollállatokon. A tapasztalt adalékot kapott az étrendhez kobalt-klorid vizes oldata formájában. A kísérlet során a súlygyarapodás grammban volt:

	Ellenőrzés

A \(\chi^2\) teszt ("khi-négyzet", egyben "Pearson-féle illeszkedési teszt") rendkívül széles körben alkalmazható a statisztikákban. Általánosságban azt mondhatjuk, hogy egy megfigyelt valószínűségi változó egy bizonyos elméleti eloszlási törvénynek való engedelmességére vonatkozó nullhipotézis tesztelésére szolgál (további részletekért lásd például). A tesztelt hipotézis konkrét megfogalmazása esetről esetre változik.

Ebben a bejegyzésben leírom a \(\chi^2\) teszt működését egy (hipotetikus) immunológiai példa segítségével. Képzeljük el, hogy egy kísérletet végeztünk annak meghatározására, hogy egy mikrobiális betegség kialakulásának visszaszorításának hatékonysága a megfelelő antitestek szervezetbe kerülése esetén. Összesen 111 egeret vontunk be a kísérletbe, amelyeket két csoportra osztottunk, köztük 57, illetve 54 állatot. Az egerek első csoportjába patogén baktériumokat fecskendeztek be, majd e baktériumok elleni antitesteket tartalmazó vérszérumot juttattak be. A második csoportba tartozó állatok kontrollként szolgáltak - csak bakteriális injekciót kaptak. Egy ideig tartó inkubáció után kiderült, hogy 38 egér pusztult el, és 73 maradt életben. A halottak közül 13-an az első csoportba, 25-en a másodikba (kontroll) tartoztak. A kísérletben tesztelt nullhipotézis a következőképpen fogalmazható meg: az antitesteket tartalmazó szérum beadása nincs hatással az egerek túlélésére. Más szavakkal, azzal érvelünk, hogy az egerek túlélésében megfigyelt különbségek (77,2% az első csoportban és 53,7% a második csoportban) teljesen véletlenszerűek, és nem kapcsolódnak az antitestek működéséhez.

A kísérletben kapott adatokat táblázat formájában is bemutathatjuk:

			Teljes
Baktériumok + szérum
Csak baktériumok
Teljes

Az ehhez hasonló táblákat kontingenciatáblázatoknak nevezzük. Ebben a példában a táblázat mérete 2x2: az objektumoknak két osztálya van ("Baktériumok + szérum" és "Csak baktériumok"), amelyeket két kritérium szerint vizsgálunk ("Elhalt" és "Túléltek"). Ez a kontingenciatábla legegyszerűbb esete: természetesen mind a vizsgált osztályok, mind a jellemzők száma nagyobb lehet.

A fent megfogalmazott nullhipotézis teszteléséhez tudnunk kell, mi lenne a helyzet, ha az antitesteknek nem lenne igazán hatása az egerek túlélésére. Más szóval, számolni kell várható frekvenciák a kontingenciatábla megfelelő celláihoz. Hogyan kell csinálni? A kísérletben összesen 38 egér pusztult el, ami az összes érintett állatszám 34,2%-a. Ha az antitestek bejuttatása nem befolyásolja az egerek túlélését, akkor mindkét kísérleti csoportban azonos százalékos mortalitást kell megfigyelni, mégpedig 34,2%-ot. Kiszámolva, hogy mennyi az 57 és 54 34,2%-a, 19,5 és 18,5 értéket kapunk. Ezek a várható halálozási arányok kísérleti csoportjainkban. A várható túlélési arányokat hasonló módon számítják ki: mivel összesen 73 egér maradt életben, vagyis összlétszámuk 65,8%-a, a várható túlélési arány 37,5 és 35,5. Készítsünk egy új kontingencia táblázatot, most a várható gyakoriságokkal:

	halott	Túlélők	Teljes
Baktériumok + szérum
Csak baktériumok
Teljes

Amint látható, a várható gyakoriságok egészen eltérnek a megfigyeltektől, pl. úgy tűnik, hogy az antitestek beadása hatással van a kórokozóval fertőzött egerek túlélésére. Ezt a benyomást számszerűsíthetjük a Pearson-féle illeszkedési teszttel \(\chi^2\):

\[\chi^2 = \sum_()\frac((f_o - f_e)^2)(f_e),\]

ahol \(f_o\) és \(f_e\) a megfigyelt és a várt gyakoriság. Az összegzés a táblázat összes cellájára kiterjed. Tehát a vizsgált példa esetében megvan

\[\chi^2 = (13–19,5)^2/19,5 + (44–37,5)^2/37,5 + (25–18,5)^2/18,5 + (29–35,5)^2/35,5 = \]

Elég nagy a \(\chi^2\) a nullhipotézis elutasításához? A kérdés megválaszolásához meg kell találni a kritérium megfelelő kritikus értékét. A \(\chi^2\) szabadságfokainak számát a következőképpen számítjuk ki: \(df = (R - 1)(C - 1)\), ahol \(R\) és \(C\) a szám sorok és oszlopok a táblázat konjugációjában. Esetünkben \(df = (2 -1)(2 - 1) = 1\). A szabadsági fokok számának ismeretében a szabványos qchisq() R-függvény segítségével könnyen megtudhatjuk a kritikus értéket \(\chi^2\):

Így egy szabadságfok esetén a \(\chi^2\) kritérium értéke csak az esetek 5%-ában haladja meg a 3,841-et. A kapott érték, 6,79, jelentősen meghaladja ezt a kritikus értéket, ami jogot ad arra, hogy elvetjük azt a nullhipotézist, hogy nincs kapcsolat az antitestek beadása és a fertőzött egerek túlélése között. Ha ezt a hipotézist elvetjük, azt kockáztatjuk, hogy 5%-nál kisebb valószínűséggel tévedünk.

Meg kell jegyezni, hogy a \(\chi^2\) kritérium fenti képlete kissé túlbecsült értékeket ad, ha 2x2 méretű kontingenciatáblázatokkal dolgozik. Ennek az az oka, hogy maga a \(\chi^2\) kritérium eloszlása ​​folytonos, míg a bináris jellemzők ("meghaltak" / "túléltek") gyakorisága definíció szerint diszkrét. Ezzel kapcsolatban a kritérium számításánál bevezetni szokás az ún. folytonossági korrekció, vagy Yates módosítás :

\[\chi^2_Y = \sum_()\frac((|f_o - f_e| - 0,5)^2)(f_e).\]

Pearson "Khi-négyzet teszt Yates-el" folytonossági korrekciós adatok: egerek X-négyzet = 5,7923, df = 1, p-érték = 0,0161

Mint látható, R automatikusan alkalmazza a Yates-korrekciót a folytonosságra ( Pearson-khi-négyzet teszt Yates folytonossági korrekciójával). A program által kiszámított \(\chi^2\) érték 5,79213 volt. Valamivel több mint 1%-os valószínűséggel elvethetjük azt a nullhipotézist, hogy nincs ellenanyag-hatás, ha fennáll a tévedés kockázata (p-érték = 0,0161).