PSİKOMETRİK ÖZELLİKLER

IVO-ODS araç setinin standardizasyonu sürecinde yapılan psikometrik analizler sonucunda elde edilen geçerlik ve güvenirlik bilgileri aşağıda sunulmuştur. Güvenirlik, bireylerin test maddelerine verdikleri tepkiler olarak tanımlanabileceği belirtilmiştir (Büyüköztürk, 2010). Güvenirlik, testin ölçmeyi hedeflediği özelliği ne derece doğru olarak ölçtüğü ile ilgili bir kavram olup bir ölçme aracının güvenirliği için iki temel ölçüt söz konusudur. Ölçme aracı farklı zamanlarda uygulandığında tutarlı sonuçları veriyorsa zaman boyutunda, tek bir uygulamadaki yanıtlayıcıların tepkileri birbiriyle tutarlıysa kendi içindeki tutarlı yani güvenilir bir ölçmeden söz edilebilir. Güvenirlikle geçerlik arasında yakın bir ilişki olduğu, güvenirliğin yapısal geçerliğin bir yönünü oluşturduğu, güvenirliğin geçerliğin ön koşulu olduğu ancak tek başına bir bilimsel araştırmada yeterli olmayacağı ve geçerlik çalışmalarının da yapılması gerektiği ifade edilmiştir (Şencan, 2005).
GEÇERLİK:
Bir testin bireyin ölçülmek istenen özelliğini ne derece doğru ölçtüğüyle ilgili bir kavramdır. Bu bağlamda kullanılan ölçüm aracının ölçülmek istenen özelliğe uygun olması, verilerin ölçülmek istenen özelliğin niteliğini tam olarak yansıtması ve aynı zamanda verilerin amaca yönelik olarak yararlı olmasıdır. Bu nedenle geçerlik kısaca "test puanlarının sonuç çıkartmak için uygun, anlamlı ve yararlı olması" biçiminde tanımlanmıştır (Şencan, 2005). Bir testin geçerliğini belirlemede değişik sınıflandırmalar olduğu bu sınıflandırmalar içerisinde en çok Kapsam Geçerliği, Ölçüt-bağımlı Geçerlik ve Yapı Geçerliği sınıflandırmasının tercih edildiği belirtilmektedir (Büyüköztürk, 2010).
IVO-ODS’DE YER ALAN ARAÇLARA İLİŞKİN GÜVENİRLİK BULGULARI
U-ODKL:
İç Tutarlılık: U-ODKL’nin iç tutarlık katsayısını hesaplamak için Kuder-Richardson-21 tekniği kullanılmıştır. KR-21 katsayısı ilk 42 madde için .89 düzeyinde bulunmuştur. Alt faktörler için; ilk 42 madde içerisinde belirlenen birinci faktör olan “sosyal sınırlıklar” için; .86, ikinci faktör olan problem/yineleyen davranışlar için ise; .81 olarak görülmüştür. Konuşma maddeleri içinse, .68 sonucuna ulaşılmıştır.
Madde Ayırt Edicilikleri: İlk 42 madde ve son yedi madde için ayrı ayrı yapılan nokta çift serili korelasyon analizi sonuçları bütün maddelerin toplam puanlar ile anlamlı korelasyonlar içerisinde olduğunu göstermiştir (p<.05). Maddelerin, toplam puan ile korelasyon katsayıları Tablo 1 ve Tablo 2’de verilmiştir.
Kararlılık Katsayısı: Analiz sonucunda madde toplam puanları üzerinden test-tekrar test sonucu Pearson korelasyon katsayısı ile değerlendirilmiş ve r=.82, (p<.01) düzeyinde görülmüştür. Bu bulgu aynı araç ile iki farklı zamanlarda yapılan ölçümler arasında yüksek düzeyde anlamlı bir ilişkiyi göstermektedir.
Kesme Puanlarının Belirlenmesi
Aracın OSB’yi değerlendirmede kullanılacak kesme puanları, normal dağılımda ortalamanın iki standart sapma altına denk gelen %2.25’lik dilimin belirlenmesi ile oluşturulmuştur. Sonrasında ise DSM V ile beraber kullanılabilecek, puan-destek karşılıkları belirlenmiştir. Konuşmayan çocuklar için (n=599) belirlenen kesme puanları Tablo 3’de sunulmuştur. Konuşan çocuklar için (n=370) için belirlenen kesme puanları ise Tablo 4’de sunulmuştur.
SEDA:
Gözlemciler arası güvenirlik:SEDA 48 gözlemden oluşmaktadır. Bu gözlemler öğrencinin davranışına ve gözlemin yapıldığı aralığa göre 12 alt hücrede sınıflandırılmaktadır. Sınıflandırmanın yapıldığı hücreler iki gözlemci üzerinden karşılaştırılmıştır. Gözlem numarası ve hücre yeri iki gözlemcide de aynı ise o madde "1" ile puanlanırken, gözlem numarasının iki gözlemci tarafından farklı hücrelerde sınıflandırılması durumunda o gözlem "0" ile puanlanmıştır. Bu puanlama tablosu üzerinden 48 maddelik bir ölçek elde edilmiş ve gözlemciler arası güvenirlik KR-21 formülü ile hesaplanmıştır. 32 denek üzerinden iki gözlemcinin değerlendirmesi sonucunda yapılan puanlamanın KR-21 ile yapılan gözlemciler arası güvenirlik katsayısı 0.83 olarak bulunmuştur (r32=.83).
VODA:
İç tutarlık:İki yarı test güvenirliği için katılımcıların VODA' dan elde ettikleri Otistik Konuşma Puanı üzerinden test A ve test B olarak test ikiye bölünmüş ve iki yarı arasındaki ilişkiden testin güvenirliği hesaplanmıştır. Sonuçlar r (169) = .86, p < .01 şeklindedir. Bu değer testin yarısı için hesaplanan güvenirlik katsayısıdır. Testin tamamının Spearman-Brown formülü kullanılarak yapılan güvenirlik katsayısı hesaplanması için sonuç r (169) = .92, p < .01 olarak bulunmuştur. VODA'nın iç tutarlığı için hesaplanan Cronbach alfa katsayısı α = .92' dir. Otistik konuşma puanını oluşturan dört maddenin, madde toplam korelasyon değerleri tekrarlayıcı .78, iletişimsel olmayan .87, anlaşılmaz .85 ve agulama .79 olarak hesaplanmıştır.
Kararlılık katsayısı: Testin kararlılık katsayısı için test-tekrar test yöntemi ile 33 katılımcıdan 2 hafta arayla elde edilen veriler üzerinden Pearson korelasyon katsayısı kullanılarak hesaplanmıştır. Her bir kategori için elde edilen test-tekrar test korelasyon katsayıları,Otistik konuşma kategorisi; Tekrarlayıcı .86, İletişimsel olmayan .94, Anlaşılmaz .80, Agulama .82, OtistikKonuşma Toplam Puan, .96’dır.Toplam konuşma puanı kategorisinde ise; İlk kullanım .82, İletişimsel .93, Anlaşılır .90 Konuşma toplam .96 olarak bulunmuştur.
Değerlendiriciler arası güvenirlik: Değerlendiriciler arası güvenirlik verisi için 16 uygulamada uygulamacılarla birlikte veri toplanmış ve çeşitlilik, işlev ve artikülasyon boyutlarında iki kaydın örtüşme yüzdelerine bakılmıştır. Değerlendiriciler arası güvenirlik hesaplama formülü olan [Görüş Birliği / (Görüş Birliği + Görüş Ayrılığı) X 100]kullanılarak yapılmıştır. Çeşitlilik ve İşlev boyutunda gözlemciler arası güvenirlik %88, Artikülasyon boyutunda %90 ve Ortalamada %89 bulunmuştur.
EDA:
Karalılık katsayısı: Kararlılık katsayısı için test-tekrar test yöntemi ile 31 katılımcıdan 2 hafta arayla elde edilen veriler üzerinden Pearson korelasyon katsayısı hesaplanmıştır. Her bir kategori için elde edilen test-tekrar test korelasyon katsayıları şu şekildedir: Alıcı Dil, r = .91 p < .01, İfade Edici Dil, r = .91 p < .01, Beden Kavramı r = .91 p < .01, Konuşma Taklidi r = .93 p < .01 ve Eğitimsel Toplam Puan r = .98 p < .01'dir.
İç tutarlık: EDA'nın iç tutarlığı için hesaplanan Cronbach Alfa katsayısı α = .87'dir. Eğitsel değerlendirme toplam puanını oluşturan dört maddenin, madde toplam korelasyon değerleri Alıcı Dil .72, İfade Edici Dil .66, Beden Kavramı .79 ve Konuşma Taklidi .80 olarak hesaplanmıştır.
IVO-ODS’DE YER ALAN ARAÇLARA İLİŞKİN GÜVENİRLİK BULGULARI
U-ODKL:
Faktör analizleri: Faktör analizi için öncelikle, veri seti yapısının uygunluğunu test eden Kaiser-Meyer-Olkin istatistiği uygulanmıştır. Analiz sonucunda .93 düzeyinde görülen bu ölçüt, alt sınır olarak belirtilen .60 düzeyinin üstünde, mükemmel düzeyde yeterlik sağlamaktadır. Faktör analizi sonucunda iki faktör yapısı altında kalan 42 madde yük değerleri ve binişiklik koşullarını sağlayarak araçta kalmış, sekiz madde (maddeler: 2, 8, 19, 20, 21, 23, 26, 30) ise bu koşulları sağlayamadığından dolayı araçtan elenmiştir. Araçta kalan maddeler ağırlıklandırılmamış en küçük kareler analizi ile faktör analizine tabi tutulmuştur. Döndürme işlemi için ise, faktörlerin birbiri ile ilişkili olduğu varsayımıyla direkt oblimin döndürme yöntemi kullanılmıştır. Yapılan açımlayıcı faktör analizi sonucunda iki faktörlü bir yapıya ulaşılmıştır. Belirlenen iki faktörün varyansın %40,8’ni açıkladığı görülmüştür. İki faktör arasındaki korelasyon ise, r= .46 düzeyindedir.
Açımlayıcı faktör analizi doğrultusunda belirlenen iki faktörün yapısının doğrulanması için doğrulayıcı faktör analizi yapılmıştır. Analiz sonucunda
- İyilik Uyum İndeksi (Goodness of Fit Index, GFI)= 0.95
- Yaklaşık Hataların Ortalama Karekökü (Root Mean Square Error of Approximation, RMSEA) = 0.055
- Karşılaştırmalı Uyum İndeksi (Comparative Fit Index, CFI) = 0.98
- Artık Ortalamaların Karekökü (Root Mean Square Residual, RMR) = 0.014
düzeylerinde görülmüştür. Elde edilen sonuçlar aracın iki faktörlü yapı ile uyumlu olduğunu göstermektedir.
Ayırt Edici Geçerlik:
Gruplar arası karşılaştırma. Farklı grupların ODKL’den aldıkları puan ortalamaları, otizm grubu için (=21.29), atipik otizm grubu için (
=13.34) ve zihinsel yetersizlik grubu için (
=7.82) düzeylerindedir. Bu puanlar arasındaki farklılıkların anlamlı olup olmadığını değerlendirmek için, otizm (n=866), atipik otizm (n=103) ve zihinsel yetersizlik (n=164) grupları Kruskall Wallis H analizi ile karşılaştırılmıştır. Bulgular Tablo 5’de sunulmuştur.
Tablo K’daki sonuçlara göre gruplar arasındaki farklılıklar istatistiksel olarak anlamlıdır (χ2(2)=283.92, η2= .25, p<.01).
ROC analizi.Yapılan ROC analizleri doğrultusunda elde edilen 13 kesme puanının OSB ve zihinsel yetersizlik gruplarını ayırmada optimum duyarlılık ve özgüllük değerlerini sağladığı görülmüştür. 13 puan karşılığında aşağıdaki değerler elde edilmiştir.
· Duyarlılık: 86.59
· Özgüllük: 81.71
· ROC Eğrisi Altında Kalan Alan (AUC): .90
· Youden index J: .68
Elde edilen bu değerler, OSB ve zihinsel yetersizlik durumlarının araç tarafından yüksek düzeyde duyarlılık ve özgüllük değerleri ile ayırt edilebildiğini göstermektedir. 13 kesme puanı için oluşturulan ROC eğrisi Şekil 12’de sunulmuştur.
Diğer yakın kesme puanları için belirlenen duyarlılık ve özgüllük düzeyleri Tablo 6’da sunulmuştur.
Ölçüt Bağımlı Geçerlik: OSB tanısı almış 50 çocuk hem ODKL hem de GOBDÖ-2-TV ile değerlendirilmiş, alınan puanların korelasyonları analiz edilmiştir. Gruplar normal dağılım gösterdiğinden, Pearson katsayısına göre yapılan korelasyon analizi sonucunda iki araç arasında yüksek düzeyde ilişki görülmüştür (r=.73 p<.01).
SEDA:
Yapı geçerliği: SEDA’nın yapı geçerliği boyutunda SEDA’da tanımlanmış davranış kategorilerine göre OSB'li ve OSB’li olmayan çocukları anlamlı düzeyde ayırt edebilme derecesi bağımsız örneklemler t-testi analizi yoluyla incelenmiştir. Analiz sonuçları Tablo 7'de verilmiştir.
Analiz sonuçları incelendiğinde etkileşim ve tepkisizlik boyutlarında OSB'li çocuklar ile OSB olmayan çocukların puan ortalamaları arasında manidar bir fark vardır. Yapıcı bağımsız oyun ve negatif agresif boyutlarında OSB'li çocukların puan ortalamaları ile OSB olmayan çocukların puan ortalamaları arasında manidar bir farkın olmadığı görülmüştür. Bulgular SEDA’nın etkileşim ve tepkisizlik kategorilerinde OSB'li ve OSB olmayan çocukları anlamlı bir biçimde ayırt edebildiğini ancak bağımsız oyun ve negatif agresif davranış kategorileri boyutunda anlamlı bir farkın oluşmadığını ortaya koymaktadır.
Bu bulgulara paralel olarak tanımlanmış dört davranış kategorisi arasındaki ilişkileri incelemek üzere yapılan korelasyon analizinde tepkisizlik kategorisiyle etkileşim kategorisi arasında negatif yönde anlamlı bir korelasyon olduğu görülmektedir r = -.66 p < .01. Benzer olarak tepkisizlik kategorisiyle yapıcı bağımsız oyun kategorisi arasında da negatif yönde anlamlı bir korelasyon olduğu görülmüştür r = -.58 p < .01. OSB tanılama kriterleri düşünüldüğünde sosyal etkileşimde sınırlılıklar OSB'yi diğer yetersizlik gruplarından ayıran en önemli özellik olarak karşımıza çıkmaktadır. Bulgular, aracın temel tanı ölçütleri üzerinden OSB' li çocukları ayırt edebildiğini göstermektedir.
VODA:
Yapı geçerliği: Yapı geçerliği boyutunda testin otistik konuşma puanının hesaplanmasında kullanılan tekrarlayıcı, iletişimsel olmayan, anlaşılmaz ve agulama puanları arasındaki korelasyonlar Pearson korelasyon katsayısı kullanılarak hesaplanmıştır. SVBRF-TV' nin otistik konuşma puanının oluşturan maddeler için maddeler arası korelasyon katsayıları Tablo 8'de verilmiştir.
VODA’nın OSB'li ve OSB’li olmayan çocukları ayırt edebilme derecesi bağımsız örneklemler t-testi kullanılarak incelenmiştir. T-testi sonucu t(159) = 19.2, p < .01’dir. T-test sonuçları incelendiğinde OSB'li çocukların VODA' dan aldıkları otistik konuşma puanlarının ortalaması ile OSB’li olmayan çocukların puanlarının ortalaması arasındaki farkın istatistiksel olarak manidar olduğu görülmektedir.
Ölçüt bağımlı geçerlik: TEDİL ve VODA araçlarının birlikte uygulandığı 31 çocuktan elde edilen veriler üzerinden yapılan incelemede VODA’nın toplam konuşma puanları ile TEDİL alıcı dil puanı arasında korelasyon katsayısı .71'dir. VODA’nın toplam konuşma puanları ile TEDİL ifade edici dil puanı arasında korelasyon katsayısı .79'dur. Elde edilen değerler p < .01 düzeyinde anlamlıdır.GOBDÖ-2-TV ve VODA’nın birlikte uygulandığı 61 çocuktan elde edilen veriler üzerinden yapılan incelemede VODA’nın otistik konuşma puanları ile GOBDÖ-2-TV'nin iletişim alt ölçeği puanı arasında korelasyon katsayısı .70, sosyal etkileşim alt ölçeği puanı arasında korelasyon katsayısı .49, stereotip davranışlar alt ölçeği puanı arasında korelasyon katsayısı .50 olarak hesaplanmıştır. Elde edilen değerler p < .01 düzeyinde anlamlıdır.
EDA:
Ölçüt bağımlı geçerlik: EDA'dan elde edilen puanların ölçüt bağımlı geçerliğini incelemek amacıyla TEDİL aracı uygulanan çocukların bu araçlardan aldıkları puanlarla EDA'ın alt boyutlarından aldıkları puanlar arasındaki ilişkiye Pearson korelasyon katsayısı hesaplanarak bakılmıştır. TEDİL ve EDA araçlarının birlikte uygulandığı 31 çocuktan elde edilen veriler üzerinden yapılan incelemede TEDİL alıcı ve ifade edici dil puanları ile EDA'nın alt boyutları arasındaki korelasyon değerleri sırasıyla şu şekildedir: TEDİL Alıcı Dil puanı ile EDA Alıcı Dil r = .72 p < .01, EDA İfade Edici Dil r = .49 p < .01, EDA Beden Kavramı r = .51 p < .01, EDA Konuşma Taklidi r = .55 p < .01, ve EDA Eğitsel Değerlendirme toplam puanı r = .62 p < .01. TEDİL İfade Edici Dil puanı ile EDA Alıcı Dil r = .54 p < .01, EDA İfade Edici Dil r = .74 p < .01, EDA Beden Kavramı r = .53 p < .01, EDA Konuşma Taklidi r = .61 p < .01 ve EDA Eğitsel Değerlendirme toplam puanı r = .66 p < .01.
Yapı geçerliği:
Alt gruplar arası farklılık. EDA'nın yapı geçerliği boyutunda özgün ölçekte de olduğu gibi EDA'nın tanımlanmış davranış kategorilerine göre OSB olan ve ZY tanısı olan çocukları anlamlı düzeyde ayırt edebilme derecesi bağımsız örneklemler t-testi analizi yoluyla incelenmiştir. T-testi sonuçları alıcı dil, t (121) = 6.24, p < .01, ifade edici dil, t (121) = 5.86, p < .01, beden kavramı, t (121) = 7.02, p < .01, konuşma taklidi, t (121) = 7.28, p < .01 ve eğitsel değerlendirme toplam puanı için t (121) = 8.56, p < .01 şeklindedir. T-testi bulguları, OSB olan çocukların ZY tanısı olan çocuklara göre daha düşük alıcı dil becerisine (X(OSB) = 6.44, X(ZY) = 9.26), daha düşük ifade edici dil becerisine (X(OSB) = 3.21, X(ZY) = 7.47), daha düşük beden kavramına (X(OSB) = 5.49, X(ZY) = 9.65) ve daha düşük konuşma taklidi becerisine (X(OSB) = 4.36, X(ZY) = 8.94) ve daha düşük eğitsel değerlendirme toplam puanına (X(OSB) = 30.71, X(ZY) = 47.22) sahip olduklarını göstermektedir.
Alt testler arası korelasyonlar.EDA'nın alt testleri arasındaki korelasyon katsayıları şu şekildedir. Alıcı Dil alt testi; İfade Edici Dil ile r = .47 p < .01, Beden Kavramı ile r = .74 p < .01, Konuşma Taklidi ile r = .71 p < .01, Eğitsel Değerlendirme toplam puanı ile r = .85 p < .01’dir. İfade Edici Dil alt testi; Beden Kavramı ile r = .62 p < .01, Konuşma Taklidi ile r = .65 p < .01, Eğitsel Değerlendirme toplam puanı ile r = .60 p < .01’dir. Beden Kavramı alt testi; Konuşma Taklidi ile r = .71 p < .01, Eğitsel Değerlendirme toplam puanı ile r = .86 p < .01’dir. Konuşma Taklidi ile Eğitsel Değerlendirme toplam puanı r = .92 p < .01’dir.
Kaynakça:
· Aksoy, V. & Diken, İ. H. (2016). Identification of psychometric characteristics of sample of vocal behaviour and interaction assessment record forms. International Journal of Early Childhood Special Education ( INT- JECSE), 8(2), 165-183. DOI: 10.20489/intjecse.284660
· Aksoy, V. & Diken, İ. H. (2017). Otizm Spektrum Bozukluğu gösteren çocuklar için eğitsel değerlendirme ve öğrenme hızı öngörüsü kayıt formlarının psikometrik niteliklerinin belirlenmesi. İlköğretim Online, 16(1), 60-77. doi: http://dx.doi.org/10.17051/io.2017.33950
· Büyüköztürk, Ş. (2010). Sosyal bilimler için veri analizi el kitabı (12. Baskı). Ankara: Pegem Akademi.
· Özdemir, O. (2014). Otizm Davranış Kontrol Listesi Türkçe Versiyonu Geçerlik ve Güvenirlik Çalışmaları.Yayınlanmamış doktora tezi. Anadolu Üniversitesi, Eğitim Bilimleri Enstitüsü: Eskişehir.
· Şencan, H. (2005). Sosyal ve davranışsal ölçümlerde güvenilirlik ve geçerlik. Ankara: Seçkin Yayıncılık.