11.11 DOKUZUNCU ADIM: DEĞERLENDİRİN VE İYİLEŞTİRİN

Öğrenme ve öğretme sürecinin son ‘temel’ unsuru, değerlendirme ve iyileştirmedir. Yani ne yapıldığının değerlendirilmesi ve sonrasında nasıl iyileştirileceği.

11.11.1 Değerlendirme niçin önemlidir?

Eğer ders veriyorsanız, akademik olarak yükselmek için yaptığınız öğretim faaliyetinin başarılı olduğunu kanıtlamanız gerekir. Her gün öğretimle ilgili yeni bir yaklaşımla veya yeni bir araçla karşılaşıyoruz. Bu araçlar ve yaklaşımlar ufak deneyler yaparak sonuçların iyileşip iyileşmediğini görmemizi sağlıyor; bunu yaptığımızda ise, yeni bir aracın veya ders tasarımının kullanımının etkisini değerlendirmek zorunda kalıyoruz. Çünkü profesyonel insanlar bunu yapar. Ama bunun ardındaki asıl sebep, öğretmenliğin golf oynamak gibi olmasıdır. Golfte de mükemmelliğe ulaşmak isteriz ama hiçbir zaman başaramayız. Her zaman daha iyiye gitmek mümkündür. Bunun en iyi yöntemlerinden biri de, geçmiş deneyimlerin sistematik bir analizi yoluyla bunu yapmaktır.

11.11.2 Neyi değerlendireceğiz: sonuç değerlendirme

Birinci Adım’da kaliteyi çok kısaca şöyle tanımlamıştım:

öğrencilerin dijital çağda ihtiyaç duyacakları bilgi ve becerileri geliştirmelerine başarıyla yardımcı olacak öğretim yöntemleri.

Bu kitabı okudukça gördüğünüz gibi, bu hedeflere ulaşabilmek için çoğu dersi ve programı yeniden tasarlamak gerekecektir. Dolayısıyla, yeniden tasarlanan bu derslerin ‘eski’ derslerden daha etkili olup olmadığını bilmek önemli olacaktır.

Bu yeni dersleri değerlendirmenin bir yolu, eski derslerle karşılaştırmak olacaktır. Örneğin;

• dersten geçme oranının, ders(ler)in yeni halinde en azından eski derslerdeki kadar yüksek olması gerekir.
• öğrenme ölçümlerinin (notlar), ders(ler)in yeni halinde en azından eski derslerdeki kadar yüksek olması gerekir.

Sayısal olarak baktığımızda, ilk iki ölçütün ölçülmesinin oldukça kolay olduğunu görebiliriz. Öncelikle en azından yüzde 85’lik bir tamamlama oranını hedeflemeliyiz. Yani derse başlayan 100 öğrencinin 85’inin dönem sonundaki değerlendirmeyi başarıyla geçmesinden bahsediyorum. Ne yazık ki, birçok derste bu oran sağlanamamaktadır; ancak eğer iyi bir öğretimden bahsediyorsak, mümkün olan en fazla sayıda öğrenciyi belirlenen standartlar düzeyine çıkarmaya çalışıyor olmalıyız.

İkinci ölçüt, notların karşılaştırılmasıdır. Bir yandan aynı (yüksek) standartları veya daha üstünü sağlarken, diğer yandan da eski derste olduğu kadar çok sayıda A’lar ve B’ler görmeyi beklemeliyiz.

Ancak, değerlendirmenin geçerli olabilmesi için, dijital çağın gerektirdiklerine yanıt verecek bilgi ve becerilerin ders içerisinde tanımlanıp, öğretimin bu hedefe ulaşmada ne kadar etkin olduğunu ölçmek gerekecektir. Dolayısıyla, üçüncü ölçütümüz de şu olacaktır:

• yeni tasarım(lar), dijital çağın gereksinimlerine daha yakın, yeni ve farklı öğrenme çıktılarına yönlendirmelidir.

Bu üçüncü ölçütü yerine getirmek daha güçtür, çünkü dersin ya da programın öğrenme amaçlarında değişiklik yapılmasını gerektirir. Bu değişiklik kapsamında öğrencilerin iletişim becerilerinin yeni medya türleriyle değerlendirilmeye başlanması veya konu alan içerisinde bilgiye erişim, değerlendirme, çözümleme ve uygulama becerilerinin (bilgi yönetimi) değerlendirilmesi gerekebilir. Bunu yapabilmek için hangi öğrenme amaçlarının daha önemli olduğuna ilişkin nitel bir yargılamaya ihtiyaç olacaktır. Dolayısıyla, bölümün öğretim programı komisyonunun, hatta dışarıdan bir akreditasyon biriminin onayı veya desteği gerekebilir.

Yeni bir tasarım ve yeni öğrenme çıktılarıyla, bu standartlara hemen ulaşmak mümkün olmayabilir; ancak iki ya da üç sene içerisinde beklenen hedefe ulaşılacaktır.

11.11.3 Neyi değerlendireceğiz: süreç değerlendirme

Bununla birlikte, bu üç ölçütü kullanarak dersi değerlendirsek bile derste neyin çalışıp neyin çalışmadığını tam olarak bilemeyeceğiz. Bunun için, öğrencilerin öğrenme becerilerini etkilemiş olabilecek faktörlere daha yakından bakmamız gerekir. Bu faktörlerden bazılarını, birinci adımdan sekizinci adıma kadar konuştuk. Yanıt almak isteyebileceğiniz sorulardan bazılarını da aşağıdaki gibi sıralayabiliriz:

• Öğrenme çıktıları veya hedefleri öğrenciler için açık ve anlaşılır mıydı?
• Öğrenciler en fazla hangi öğrenme çıktılarında zorlandılar?
• Öğretim materyalleri anlaşılır mıydı ve iyi yapılandırılmış mıydı?
• Öğrenciler öğrenme materyallerine ve araçlarına kolaylıkla ve 7×24 erişebiliyorlar mıydı?
• Hangi konular tartışma ortamı yarattı? Hangileri yaratmadı?
• Öğrenciler tartışma forumlarında veya ödevlerde ders materyallerini doğru şekilde kullandılar mı?
• Öğrenciler kendilerine uygun kaynakları kendi çabalarıyla bulup tartışmalarda, ödevlerde ve diğer öğrenci etkinliklerinde etkili bir şekilde kullandılar mı?
• Hangi öğrenci etkinlikleri iyi sonuç verdi, hangileri kötü sonuçlandı? Niçin?
• Öğrenciler kendilerine verilen öğrenme materyallerinden hangilerini en çok, hangilerini en az kullandılar?
• Ödevler, dersin öğretmek istediği bilgi ve becerileri yeterli düzeyde ölçebildi mi?
• Öğrencilerin iş yükü çok muydu?
• Öğretmen olarak benim iş yüküm çok muydu?
• Benim (veya öğrencilerimin) iş yükünü kaliteyi kaybetmeden nasıl daha iyi yönetebilirim?
• Öğrenciler dersten ne kadar memnun kaldılar?
• Ben dersten ne kadar memnun kaldım?

Şimdi, iş yükünü çok artırmadan bu sorulara nasıl yanıt verebileceğimiz konusunda önerilerde bulunacağım.

11.11.4 Öğrenmeyi etkileyen faktörleri nasıl değerlendiririz?

Bunu yaparken aşağıdaki gibi birçok kaynaktan faydalanabilirsiniz. Aslına bakarsanız, geleneksel bir yüz yüze dersi değerlendirmede kullanacağınız kaynaktan çok daha fazlasından… Çünkü çevrimiçi öğrenme, takip edebileceğiniz dijital izler bırakır:

• öğrencilerin aldığı notlar,
• öğrencilerin çevrimiçi etkinliklere katılma oranları (kendi kendini değerlendirme soruları, tartışma forumları, ses dosyaları gibi),
• tartışma forumlarının nitel analizi (yorumların niteliği ve kapsamı, derinliği, düşünce düzeyi gibi),
• öğrencilerin elektronik portfolyoları, ödevler ve sınavları,
• öğrenci anketleri,
• odak grup çalışmaları.

Bununla birlikte, başlamadan önce, daha önceki kısımda yaptığımız gibi bir soru listesi hazırlayıp sorulara yanıt bulmada hangi kaynakların bize yardım edeceğini ortaya koymak daha faydalı olacaktır.

Genellikle bir ders bittiğinde öğrencilerin aldıkları notlara bakıp, hangi öğrencilerin iyi bir performans gösterdiğine ve hangilerinin güçlü yaşadığına bakarım. Tabii ki, sınıftaki öğrenci sayısına bağlı olarak. Sınıf mevcudunun çok olduğu derslerde, notlara göre örneklem alıp öyle çalışırım. Daha sonra dersin en başına geri dönüp, çevrimiçi etkinliklere katılımlarına bakarım. Bir öğrenme yönetim sistemi kullanıyorsanız bunu rahatça yapabilirsiniz, ancak elbette öğrenme analitikleri sayesinde artık çok daha kolaylaştı. Bu değerlendirmeyle bazı faktörlerin öğrenciye göre değiştiğini (örneğin herkesle iletişim kuran girişken bir öğrenci gibi) bazılarının da derse özel (öğrenme amaçlarıyla veya içeriği öğrencilere nasıl verdiğimle alakalı) olduğunu görüyorum. Bu nitel yaklaşım, gelecekte ya içerikte ya da öğrencilerle etkileşim yöntemimde değişiklik yapmam gerektiğini gösteriyor. Belki de, tartışmaları tekeline alan öğrencileri daha iyi yönetmem gerektiği de bu değerlendirmeden sonra ortaya çıkabilir.

Birçok okulun, her ders için dönemin sonunda kullandığı ‘standart’ bir öğrenci raporlama sistemi vardır. Bu sistemler, çevrimiçi boyutu olan dersleri değerlendirmede fazla etkili değillerdir. Bu tür sistemlerde yer alan soruların, ders verme biçimine göre uyarlanması gerekir. Bununla birlikte, bu tür anketler çapraz değerlendirme fırsatı da verdiğinden, bu değerlendirme formlarını kullanan kişiler çevrimiçi öğretim için farklı bir sürüm kullanmada isteksizdir. İkinci olarak, bu anketler dönem bittikten sonra öğrenciler tarafından gönüllü olarak doldurulduğu için, anketlerin geri dönüş oranı oldukça düşüktür (yüzde 20’den bile az). Yanıt oranlarının düşüklüğü nedeniyle alınan sonuçlar en iyi ihtimalle yanlış yönlendirecektir. Dersi bırakan veya dersten kalan öğrenciler, çoğu zaman ankete bakmayacaklardır bile… Yanıt oranlarının düşüklüğü, başarılı öğrenciler nezdinde taraflı olacaktır. Halbuki, asıl görüşlerine ihtiyaç duyduklarımız derste güçlük yaşayan, dersi bırakan veya dersten kalan öğrencilerdir.

Bu nedenle, öğrenci anketlerinden ziyade küçük odak grup toplantılarını daha çok seviyorum. Bu toplantıları yüz yüze veya Blackboard Collaborate gibi eş zamanlı video konferans yazılımlarını kullanarak yapıyorum. Başarı notlarına göre (FF’den A’ya kadar) herkesi temsil edecek 7-8 öğrenci seçiyorum ve dersle ilgili belli sorular etrafında tartıştığımız bir saatlik bir görüşme yapıyorum. Seçtiğim öğrencilerden biri katılmak istemezse, aynı kategoriden bir başkasını buluyorum. Eğer zamanınız varsa, böyle iki veya üç odak grup toplantısı ile çok değerli geri bildirimler ya da dönütler elde edebilirsiniz.

11.11.5 Yenilenme ve iyileştirme

Yeniden tasarladığım bir dersin sonunda dersi değerlendirmek ve bir sonraki sene için değişiklikler yapmaya önemli bir zaman ayırıyorum. Bu çalışmayı, genellikle bir öğretim tasarımcısıyla birlikte yapıyorum. Bundan sonra, öğrencilerin derse devam oranları ve hedeflediğim standartlarda notlar almalarını sağlamaya yoğunlaşıyorum.

Dersi üçüncü veya dördüncü verişimden sonra, dersi iyileştirme ve yenileme yollarını aramaya başlıyorum. Bu değişimin arka planında yeni bir yazılım (e-portfolyo yazılımı gibi) veya yeni süreçler (örneğin öğrencinin cep telefonu veya fotoğraf makinesi kullanarak içerik geliştirmesi gibi) ve benzeri yeni dışsal faktörler olabilir. Bu yenilikler, dersi ‘tazeleyecek’ ve daha ilginç olmasını sağlayacaktır. Bununla birlikte, kısmen iş yükünden kaynaklanan nedenlerde de olsa, derste yapacağım değişikliği tek bir kapsamlı değişiklikle sınırlıyorum; çünkü böylece, değişimin etkisini ölçmek çok daha kolay bir hal alıyor.

Öğretmenlik yapacağımız en iyi zaman diliminde yaşadığımızı düşünüyorum. Özellikle de WordPress gibi Web 2.0 araçları, Canvas gibi ‘hafif’ öğrenme yönetim sistemleri, açık eğitim kaynakları, mobil öğrenme, tabletler ve iPad’ler, elektronik yayıncılık ve KAÇD’ler gibi araçlar, öğrenme ortamlarının iyileştirilmesi için önemli fırsatlar sunuyor. Bu araçların bir kısmı var olan öğrenme yönetim sistemine veya ders yapısına eklenebildiği gibi, daha radikal tasarımlar yapmak da mümkündür. Bölüm 3, Bölüm 4 ve Bölüm 5’de farklı tasarım modellerinden bahsedilmektedir.

Önemli olan, asıl amacın öğrencilerin etkili bir şekilde öğrenmesini sağlamak olduğunu hatırlamaktır. Standart öğrenme yönetim sistemleri üzerinde ‘güvenli’ ve etkili öğrenme ortamları tasarlayacak yeterli bilgi ve beceriye sahibiz. Yeni Web 2.0 araçlarının birçoğunun yükseköğretim düzeyinde kullanılıp kullanılamayacağı tam olarak değerlendirilmemiştir. Ayrıca yeni araç veya yaklaşımların bazılarının, çevrimiçi öğrenmeye daha eski yaklaşımlardan daha etkili olmadığı da açıktır. Yeni olan, her zaman daha iyi olan anlamına gelmez. Bu sebeple, çevrimiçi öğrenmeye yeni başlayan öğretmenlere her zaman dikkatli olmalarını öneririm. Daha önceden deneyimlenmiş rotayı takip edin, daha sonra deneyim kazandıkça aşamalı olarak yeni öğrenme yaklaşımlarını ve yeni araçları deneyebilirsiniz.

Son olarak, dersinizde ilgi çekici bir yenilik yaparsanız, bu yeniliği yukarıda önerildiği şekilde değerlendirmeyi ve bulgularınızı meslektaşlarınızla paylaşmayı ihmal etmeyin. Meslektaşlarınız bu yeniliği kendi derslerinde kullanabilecekleri gibi, üzerinde bir takım değişiklikler yaparak yeniliği daha da iyi bir hale getirebilirler. Böylece, birbirimizden öğrenebiliriz.

Kaynakça ve ek okumalar

Gunawardena, C., Lowe, C. & Carabajal, K. (2000). Evaluating Online Learning: models and methods. In D. Willis et al. (Eds.), PROCEEDINGS OF SOCIETY FOR INFORMATION TECHNOLOGY & TEACHER EDUCATION INTERNATIONAL CONFERENCE 2000 (pp. 1677-1684). Chesapeake, VA: AACE.

Page-Bucci, H. (2002) Developing an Evaluation Model for a Virtual Learning Environment: accessed at http://www.hkadesigns.co.uk/websites/msc/eval/index.htm