Vieraskielisen opetuksen arviointi peruskoulun ala-asteella
- kielenoppimisen näkökulma -

Hannes Heinilä
Jouni Paakkinen

8. TUTKIMUKSEN LUOTETTAVUUS

Tutkimuksen luotettavuutta voidaan tarkastella koko tutkimusta koskevana tai mittarikohtaisena. Tutkimuksen luotettavuuden tarkastelu liittyy siihen, kuinka pätevää, yleisluontoista ja käyttökelpoista tietoa on saatu. Mittarin luotettavuutta arvioidaan mittausvirheettömyyden eli reliaabeliuden sekä pätevyyden eli validiuden suhteen. (Soininen 1991, 43.) Tässä luvussa tarkastellaan käytettyjen mittausmenetelmien validiutta ja reliaabeliutta sekä koko tutkimuksen sisäistä ja ulkoista validiutta.

8.1 Mittareiden reliaabelius ja validius

Tutkimuksen tulosten kannalta on ensiarvoisen tärkeää, että käytetyt mittarit todella mittaavat sitä, mitä on tarkoitettu (validiusongelma) ja etteivät saadut tulokset perustu täysin sattumaan (reliaabeliusongelma) (Tähtinen & Kaljonen 1996, 138). Reliabiliteettiä kuvaavat käsitteet luotettavuus, pysyvyys, yhdenmukaisuus, ennustavuus ja paikkansapitävyys (Kerlinger 1981, 442). Mittarin reliaabeliutta heikentävät muun muassa:

  • Mittausmenetelmän tuttuus
  • Väsymys
  • Emotionaalinen rasitus
  • Mittaustilan fysiologiset tekijät
  • Koehenkilön terveydentila
  • Ihmisen muistin epävakaisuus
  • Mittauksen suorittajan kokeneisuus
  • Koehenkilön omatoimisesti hankkimat ylimääräiset tiedot
    (Tuckman 1994,180.)

Mittarin reliaabeliutta arvioidaan esimerkiksi uusinta- tai rinnakkaismittausten avulla, tutkimalla mittarin sisäistä johdonmukaisuutta tai vertaamalla kahden eri tutkijan saamia mittaustuloksia keskenään (Karma 1983, 54-55; Tähtinen & Kaljonen 1996, 139). Tässä tutkimuksessa käytettiin sekä kvantitatiivisia että kvalitatiivisia mittareita monipuolisen kuvan saamiseksi vieraskielisestä opetuksesta. Useiden mittausmenetelmien käyttö kuitenkin hankaloittaa reliaabeliuden arviointia.

Opetusta observoitaessa käytettiin sekä vapaamuotoista että systemaattista observointia. Osa oppitunneista videoitiin myöhempää tarkastelua ja varmistamista varten. Vapaamuotoisessa observoinnissa käytettiin kahta observoijaa, joka mahdollisti observointiarvioiden vertailun. Systemaattisen observoinnin tarkoituksena oli saada tarkempi kuva luokassa tapahtuvasta kommunikaatiosta, mutta kuitenkin vain suuntaa antavasti. Täten esimerkiksi rinnakkaismittausta ei nähty tarpeellisena. Jo pelkästään aineiston suppeuden vuoksi systemaattisen observoinnin tuloksista ei voida vetää minkäänlaisia yleisiä johtopäätöksiä.

Ennen suullisen kielitaidon testiä suoritettiin reliaabeliuden parantamiseksi esitestaus. Myös oppilailta kysyttiin mahdollisista vaikeuksista. Esitestauksen jälkeen mittariin tehtiin pieniä muutoksia. Mittaus suoritettiin käyttäen kahta arvioijaa, joista toinen tosin toimi myös haastattelijana. Videota käytettiin apuna arviointien varmistamisessa, sekä niiden neljän oppilaan kohdalla, joiden kielitaidon arvioijat olivat arvioineet eri tasolle. Alun perin samalle tasolle arvioitujen oppilaiden arvioinnit säilyivät videon katselun jälkeen muuttumattomina. Arviointien yhdenmukaisuuden ja otoksen pienuuden vuoksi (n=19) ei arviointien välisen korrelaation laskemista pidetty aiheellisena.

Kokemustesti suoritettiin lomaketestinä. Menetelmän valintaa on perusteltu luvussa 7.3.4. Ennen lomakkeiden jakoa pidettiin instruktio, jolloin varmistettiin, että koehenkilöt olivat motivoituneita ja ymmärsivät miten lomake täytetään. Jännitystä vähennettiin kertomalla, ettei mittauksella ole vaikutusta kouluarvosanoihin eikä vastauksia näytetä opettajille. Mittari pyrittiin pitämään kohtuullisen pituisena, ettei oppilaiden väsyminen alentaisi reliaabeliutta. Luotettavuutta pyrittiin parantamaan käyttämällä useita adjektiivipareja kussakin osiossa.

Mittarin validiutta tarkasteltaessa huomio kiinnitetään siihen, kuinka hyvin mitataan sitä mitä on tarkoitus mitata (Karma 1983, 56). Sekä suullisen kielitaidon testi että kokemusmittari pyrittiin laatimaan siten, että se soveltuisi koeryhmän kehitystasolle. Apuna teorioiden lisäksi käytettiin observoimalla hankittua tietoa oppilaiden tiedoista ja taidoista. Suullisen kielitaidon testitilanne pyrittiin tekemään mahdollisen luonnolliseksi testaustilanteeksi. Koehenkilöiden omien arvioiden mukaan tässä myös onnistuttiin. Nämä tekijät tukevat mittareiden ilmeisvaliditeettia, sillä mittarit näyttivät soveltuvan hyvin koeryhmälle ja mittaavan sitä mitä oli tarkoitettukin. (Soininen 1991, 53.) Kokemustestissä oppilaat merkitsivät nimensä lomakkeisiin. Vaikka korostettiin, ettei vastauksilla ole vaikutusta kouluarvosanoihin, on mahdollista, että oppilaiden arvioinneissa ilmenee lievää vääristymistä positiiviseen (tutkijoiden ja opettajan odotusten) suuntaan. Vaikka jännitystä ei juuri näkyvästi ilmennyt, ei sen vaikutusta suullisen kielitaidon testissä menestymiseen voida silti kokonaan poissulkea.

Suullisen kielitaidon testin teemat perustuivat opetussuunnitelmaan ja englannin oppikirjaan, sekä opetuksen seuraamisesta koottuun aineistoon. Kokemustestin osa-alueet perustuivat observoimalla saatuun tietoon vieraskielisen opetuksen keskeisistä elementeistä. Koska mittareiden sisällöt on koottu itemeistä, joiden osaamista mitataan, voidaan mittareiden olettaa olevan sisältövalideja. Mittarin ollessa sisältövalidi se edustaa sitä (oppikurssia tai oppimäärää) mitä se on tarkoitettu mittaamaan. (Karma 1983, 57; Soininen 1991, 53.)

Tutkimuksen teoriaosassa perehdyttiin huolellisesti taustateorioihin. Tutkimusongelmiin pyrittiin saamaan vastauksia käyttämällä useita eri menetelmiä. Mittareiden laadinnassa tukeuduttiin vahvasti teoriataustaan sekä käytettiin pohjana aikaisempia valideja ja luotettavia testejä (Yli-Renko 1989b ja Ilpola-Häni 1995), joten mittareita voidaan pitää käsitevalideina.

8.2 Tutkimuksen validius

Tutkimus oli tapaustutkimus ja aineisto melko suppea. Vaikka tutkimuksessa käytettyjä mittareita voidaan pitää luotettavina, ei tutkimus näin ollen ole yleistettävissä eli sen ulkoinen validius on alhainen. Opetusta seuraamalla kerätty aineisto oli rajallista ja se edusti sen hetkistä tilannetta tutkimuskohteena olleessa luokassa. Vaikka yhteneväisyyksiä teoriataustaan oli runsaasti, ei opetuksesta kerättyä tietoa voi yhdistää vieraskieliseen opetukseen yleisesti. Oppilaiden kommunikatiivisesta englannin kielen taidosta saatiin melko luotettava käsitys. Vaikka tuloksia ei kaikkiin kieliluokkiin voikaan yleistää eikä kontrolliryhmää käytetty, tutkimus antaa selkeitä viitteitä vieraskielisen opetuksen vaikutuksesta oppilaiden kommunikatiiviseen kielitaitoon. Useimmat oppilaat ovat hyvin kiinnostuneita englannin kielestä ja ovat näin ollen kielen kanssa tekemisissä myös koulun ulkopuolella (internet ym.), mikä osaltaan vaikuttaa kielitaitoa edistävästi. Kokemustesti antoi käsityksen yksittäisen luokan vieraskielisestä opetuksesta saamista kokemuksista, vaikka oppilaiden ikätason vuoksi valitun neliportaisen asteikon erottelukyky olikin vähäinen.

Tutkijat perehtyivät aiheeseen ja metodeihin perusteellisesti, mutta olivat kuitenkin melko kokemattomia testaajia. Tutkimus sujui ilman merkittäviä ongelmia, vaikka erityisesti suullisen kielitaidon testi vaati paljon haastattelijalta. Tutkijoiden vähäinen koulutus tutkimus-menetelmien käytännön toteuttamisessa on saattanut heikentää tutkimuksen luotettavuutta. Tutkimuskohteena olleen luokan oppilaat on valittu luokalle, joten oppilasaines on verbaalisten taitojen suhteen jossain määrin valikoitunutta. Oppilaiden kokemustausta vieraskielisen opetuksen suhteen on varsin yhtenäinen, sillä yhtä oppilasta lukuunottamatta oppilaat ovat olleet kieliluokalla vähintään kaksi vuotta. Tutkimuksen sisäistä validiteettia parantaa myös se, että oppilaille annettiin selkeät ohjeet ja testi suoritettiin tutussa ympäristössä. Testit suoritettiin pääosin aamupäivisin, jolloin oppilaat olivat vireitä. Myös testien kestot vaikuttivat sopivilta eikä väsymistä ilmennyt. Oppilaat kokivat omien sanojensa mukaan käytetyt testit mielekkäiksi ja tiesivät mitä heidän piti tehdä. Tyhjiä vastauksia kokemuslomakkeessa ei ollut, mutta muutama varmistus (3 kpl) rastin tarkoitetusta paikasta jouduttiin tekemään.

Edellinen luku Seuraava luku
Sisältö