FİNANSAL EĞİTİM PROGRAMLARININ DEĞERLENDİRİLMESİNE YÖNELİK INFE ÜST DÜZEY İLKELERİ

Transkript

1 Ocak 2012 FİNANSAL EĞİTİM PROGRAMLARININ DEĞERLENDİRİLMESİNE YÖNELİK INFE ÜST DÜZEY İLKELERİ Bu Üst Düzey İlkeler, Rusya/Dünya Bankası/OECD Finansal Okuryazarlık Vakıf Fonu nun finansal desteğiyle OECD Uluslararası Finansal Eğitim Ağı (INFE) tarafından hazırlanmış ve 2011 yılında OECD Finansal Piyasalar Komitesi (CMF) ve OECD Sigortacılık ve Bireysel Emeklilik Komitesi (IPPC) tarafından onaylanmıştır. Daha detaylı bilgi için: Ms. Flore-Anne Messy [Tel: ; Fax: ; E-posta: flore-anne.messy@oecd.org] or Ms. Adele Atkinson [Tel: ; Fax: ; E-posta: adele.atkinson@oecd.org]

2 GİRİŞ 2003 yılında OECD, OECD Finansal Piyasalar Komitesi (CMF) ve OECD Sigortacılık ve Bireysel Emeklilik Komitesi (IPPC) nin himayesinde, uluslararası bir finansal eğitim programı 1 başlattı. Programın ilk kilometre taşlarından biri, OECD Konseyi tarafından Finansal Eğitim ve Farkındalıkla İlgili İlkeler ve İyi Uygulamalara Dair Tavsiye Kararı nın benimsenmesi oldu (OECD, 2005). Finansal Eğitim ve Farkındalıkla İlgili İlkeler ve İyi Uygulamalara Dair OECD Tavsiye Kararı nda, etkin finansal eğitim programları geliştirmenin önemi vurgulanmakta ve Mevcut finansal eğitim programlarını değerlendirmeye yönelik yöntemlerin geliştirilmesi teşvik edilmelidir (OECD, 2005) denilmektedir. Ayrıca CMF, IPPC ve OECD Uluslararası Finansal Eğitim Ağı (INFE) 2 programların izlenmesi ve değerlendirilmesine yönelik ilkelerin geliştirilmesi işini en büyük öncelik olarak tanımlamıştır. Bu doğrultuda, politika yapıcıların finansal eğitim programlarını değerlendirmenin önemini anlamalarını ve değerlendirme uygulamalarını artırmalarını sağlamak amacıyla INFE, küresel düzeyde Finansal Eğitim Programlarının Değerlendirilmesi konusunda uzmanlardan oluşan bir alt grup topladı. Bir programın etkili olduğundan emin olmak, iyileştirilmesi gereken alanları tespit etmek ve girişimin kaynakları iyi kullanıp kullanmadığını kontrol edebilmek için programı n i z l e n m e s i 3 ve değerlendirilmesi 4 çok önemlidir. Değerlendirme neticesinde ulaşılan bulgular, en etkin programları tespit etmesi ve gelecekteki kaynak sağlama kararlarını etkilemesi dolayısıyla, ulusal finansal eğitim stratejileri için de bilgi sağlayabilir. Dahası, bu değerlendirme bulguları toplumun daha geniş bir kesimine hitap edecek şekilde genelleştirildiğinde, programın toplam etkisi hakkında çok daha geniş ölçekli tahminde bulunmak ve iyi tanımlanmış politika hedefleri belirlemek mümkün olabilir. Değerlendirme verileri, ulusal veya uluslararası düzeyde gerçekleştirilecek finansal okuryazarlık ölçümleriyle de tamamlanabilir. Finansal okuryazarlıkla ilgili bir ulusal anket, programı hazırlayanların finansal eğitim programlarınca işlenmesi gereken konuları tespit etmelerine ve programın maksat ve amaçlarını yazarken uygun hedefleri belirlemelerine yardımcı olabilir. Tekrarlayan anketlerle de, zaman içinde finansal okuryazarlık seviyelerinde meydana gelen değişiklikleri tespit etmek ve bu değişiklikleri geniş ölçekli finansal eğitim programlarının uygulanmasıyla ilişkilendirmek mümkün olabilir. Ancak, ulusal ölçekteki anketler program değerlendirmelerine alternatif olarak görülmemelidir; çünkü anketler bu programların sağladığı yararların detaylı şekilde analiz edilmesine imkân tanımaz ve söz konusu programların maksat ve amaçlarına göre tasarlanmaz. 1 Finansal eğitim, finansal tüketicilerin/yatırımcıların finansal ürünler ve kavramları kavrayışlarını artırdıkları; bilgi, talimat ve/veya tarafsız tavsiyeler aracılığıyla, daha bilinçli tercihler yapmak adına finansal risk ve fırsatların iyice farkına varma, yardım için nereye başvuracaklarını bilme ve finansal refahlarını ve bunu korumanın yollarını artırmaya yönelik diğer etkili önlemleri alma becerilerini ve güvenini tesis ettikleri süreci tanımlar. 2 OECD, INFE ağını 2008 yılında, dünyanın dört bir yanındaki finansal eğitim meseleleri konusunda politika yapıcılar ve diğer paydaşlar arasında uluslararası işbirliğini teşvik etmek ve kolaylaştırmak amacıyla kurmuştur. Şu anda 90 dan fazla ülkeden 200 den fazla kamu kuruluşu bu ağa katılmış durumdadır. 3 Düzenli ve rutin girdi-çıktı takibi kastedilmektedir. 4 Programa atfedilebilecek değişimlerin değerlendirilmesi kastedilmektedir. 2

3 Bu bilgilere dayanarak ve çeşitli OECD ve INFE makalelerinin (OECD (2010), OECD/INFE (2010a), OECD/INFE (2010b)) rehberliğinde, bu metin finansal eğitim programlarının değerlendirilmesine yönelik INFE üst düzey ilkelerini (bundan sonra metnin geri kalanında üst düzey ilkeler şeklinde anılacaktır) içermektedir ve metnin 2005 tarihli OECD Tavsiye Kararı nı tamamlayıcı nitelikte olması amaçlanmıştır. Üst düzey ilkeler politika yapıcıları, finansal eğitim programı hazırlayanları ve diğer paydaşları değerlendirme yapmanın önemi hakkında daha da bilgilendirmek üzere hazırlanmıştır. İlkeler, münferit kurslar ve seminerlerden büyük ölçekli programlar ve medya kampanyalarına kadar çok çeşitli finansal eğitim hizmetinin izlenmesi ve değerlendirilmesine yöneliktir. Ulusal stratejilerin değerlendirilmesi, stratejiyi oluşturan bileşenlerin değerlendirilmesini gerektirmektedir; bu yüzden bu üst düzey ilkeler, ulusal bir finansal okuryazarlık stratejisi olsun olmasın, tüm ülkeleri ilgilendirmektedir. Okul programlarının değerlendirilmesi bu üst düzey ilkelerin kapsamı dışında olup OECD ve bünyesindeki INFE ağı, okullarda finansal eğitimin verilmesi ve değerlendirilmesi konusuna yönelik ayrıca özel bir çalışma gerçekleştirmiştir 5. SÜREÇ Bu üst düzey ilkeler OECD INFE tarafından Aralık 2010 da hazırlanıp onaylanmıştır. Daha sonra, finansal eğitimden sorumlu OECD Komitelerine [Finansal Piyasalar Komitesi (CMF) ve Sigortacılık ve Bireysel Emeklilik Komitesi (IPPC)] iletilmiş ve kamuoyu görüşüne açılmak üzere onaylanmıştır. Bunun akabinde metin Ağustos/Eylül 2011 de OECD Genel Ağ sitesi ve OECD Uluslararası Finansal Eğitim Ağı 6 üzerinden kamuoyu görüşüne açılmıştır. Bu süreçte ufak tefek yorumlar alınmış ve bu yorumlar gözden geçirilmiştir. Başarılı bir görüş sürecinin ardından, metin INFE tarafından INFE üst düzey ilkeleri olarak kabul edilip onaylanmıştır. 5 Bu çalışmanın sonuçları 2012 yılının ilk yarısında yayınlanacaktır

4 FİNANSAL EĞİTİM PROGRAMLARININ DEĞERLENDİRİLMESİNE YÖNELİK INFE ÜST DÜZEY İLKELERİ 1. Değerlendirme: finansal eğitim programlarının vazgeçilmez unsuru Yeni programlar değerlendirilmelidir Değerlendirme sonrası elde edilen verilerden maksimum fayda sağlayabilmek için, yeni finansal eğitim programlarının yanı sıra bir izleme ve değerlendirme stratejisi de geliştirilmelidir. Değerlendirme aşamasına, programın diğer aşamalarıyla aynı derecede önem verilmelidir. Yapılacak değerlendirmenin maksat ve amaçları ile uygulanma yöntemi konusunda herkesin aynı görüşte olduğundan emin olunabilmesi için programı hazırlayanlar, uygulayanlar ve değerlendirenler arasındaki diyalog ve işbirliği (mümkün olduğunca) güçlendirilmelidir. Paydaşların beklentilerinin uyumlulaştırılmasına ve değerlendirmenin paydaşlara yararlı bilgiler sağlıyor olmasına dikkat edilmelidir. Mevcut programlar mümkün olduğu ölçüde değerlendirilmelidir En ideali programların değerlendirmeye tabii olacağı düşüncesiyle tasarlanması olsa da, programın etkinliği hakkında kanıtlar sunmak ve gelecekte alınacak politika kararlarına temel sağlamak için hâlihazırdaki girişimleri değerlendirmenin de yolları vardır. Mükerrer çalışmalardan kaçınmak için, mevcut programlar değerlendirilirken devam eden tüm izleme süreçleri ve mevcut veri kaynakları tespit edilmeli ve gerektiğinde kullanılmalıdır. Bu tür kaynakların mevcut olmadığı durumlarda, izleme ve değerlendirme süreçleri aynı anda uygulanmalıdır. Yapılacak değerlendirmenin maksat ve amaçları ile uygulanma yöntemi konusunda tüm paydaşların aynı görüşte olduğundan emin olunabilmesi için, yeni programlarda olduğu gibi mevcut programların değerlendirilmesine yönelik süreçte de işbirliği esas olmalıdır. Değerlendirmenin neden yapıldığının paydaşlara açıklanmasına ve paydaşlarla tam bir işbirliğinin sağlanmasına öncelik verilmelidir. 2. Değerlendirme için ayrılacak bütçe Değerlendirme süreci için bir bütçe belirlenmelidir. Bütçe dâhilinde programın bütün aşamalarının değerlendirilmesinin mümkün olmadığı durumlarda paydaşlar, programın temel amaçlarını da göz önüne alarak programın hangi boyutlarının öncelikli olarak değerlendirilmesi gerektiğini belirleme konusunda cesaretlendirilmelidir. Değerlendirme için ayrılan para miktarı, programın toplam maliyetiyle orantılı olmalıdır. Değerlendirmenin maliyetini düşürebilecek OECD/INFE (2010a), OECD/INFE (2010b) değerlendirme rehberlerini de içeren mevcut değerlendirme materyalleri, kaynakları ya da çerçeveleri gibi hâlihazırda mevcut kaynakların tespit edilmesine özellikle dikkat edilmelidir. Ölçütleri belirlemek için mevcut anket verileri kullanılabilir, testler ya da anket araçları değerlendirmede kullanılacak şekilde değiştirilebilir ve zaman içinde meydana gelen değişiklikleri tespit etmek için işverenlerin emeklilik fonlarına yatırdığı paraların kayıtları gibi veriler kullanılabilir. 4

5 Mümkün olduğunca, uygun bütçeyi ayırabilmek ya da gerektiğinde ek fon kaynaklarını tespit edebilmek amacıyla, finansal eğitim programları için yapılacak fonlamayı nihai olarak belirlemeden önce değerlendirme maliyetleri hakkında doğru bir tahmin elde edilmeye çalışılmalıdır. Bazı durumlarda, değerlendirme bulgularının uzun vadede sağladığı fayda, değerlendirme sürecinin başlangıç aşamalarında karşılaşılan yüksek maliyeti makul hale getirmektedir. Özellikle, yeni bir büyük ölçekli finansal eğitim programının potansiyel faydasını değerlendirmek için özel olarak tasarlanmış pilot çalışmalarda durum tam da böyledir. 3. Harici değerlendirme uzmanları: güvenilirlik, beceri ve bağımsızlığı artırmak Kaynaklar el verdiği ölçüde harici değerlendirme uzmanlarının kullanımı teşvik edilmelidir. Başarılı değerlendirme uzmanları, sağlam değerlendirme stratejilerinin oluşturulmasını sağlayacakları gibi normalde erişilmesi zor bilgilere erişilmesi için gerekli irtibatlara sahiptirler ve değerlendirme sürecinde ortaya çıkabilecek zorlukların üstesinden gelinmesini sağlayacak deneyimleri vardır. Değerlendirme yapan kişilerin bağımsız olması, katılımcıların sorulara daha açık cevap vermelerini de teşvik edecektir. Harici bir değerlendirme uzmanı seçerken, seçilen kişinin programın konusu, aktarma yöntemi ve hedef kitle de dâhil olmak üzere programın her bir unsuru hakkında yeterli düzeyde bilgisi olup olmadığına dikkat edilmelidir. Seçilecek kişiler yeterli beceri ve deneyime sahip olmalı, değerlendirme sonuçlarını erişime açık şekilde rapor haline getirme becerisine de haiz olmalıdırlar. Harici bir değerlendirme uzmanının değerlendirmede üstleneceği pay, değerlendirmenin kendine has özelliklerine göre belirlenmelidir. Örneğin, bir değerlendirme büyük ölçüde verilerin izlenmesinden ibaret olduğunda, değerlendirme uzmanı, verileri ve bunlara ilişkin analizleri gözden geçirerek yansız raporlama yapılıp yapılmadığını kontrol eder ve onaylar. Harici değerlendirme uzmanı sayısını artırmak için doktora öğrencileri ve akademik camianın, finansal okur-yazarlık programlarının değerlendirilmesi alanında çalışmaya teşvik edilmesi gerekmektedir. 4. Uygun değerlendirme yönteminin tasarlanması Değerlendirme planı tasarlanırken programın amaçları, büyüklüğü ve uzunluğu, hedef kitle ve programın iletişim yöntemi göz önünde bulundurulmalıdır. Değerlendirme, değerlendirme sonuçlarını gelecek programlara yansıtmakla yükümlü kişiler de dâhil olmak üzere tüm paydaşlara uygun olmalıdır. Hedef kitlede gözlemlenen değişikliklerin programa katılıma dayalı olup olmadığını ölçmeye yönelik bir değerlendirme planına öncelik verilmelidir 7. İyi Tanımlanmış Program Hedefleriyle Uyum Değerlendirme, programın belirlenen hedef ve amaçları ne ölçüde karşıladığını ve genel hedeflere ulaşılıp ulaşılmadığını ölçmelidir. Bunun için değerlendirme planının program hedefleriyle uyumlu olacak şekilde yapılması gerekmektedir. 7 Uygun değerlendirme planının seçimine ilişkin ilave kılavuz bilgileri için OECD (2010), OECD/INFE (2010a), ve OECD/INFE (2010b) belgelerinden yararlanılabilir. 5

6 Finansal farkındalık ve bilgilendirme programları, her biri farklı bir değerlendirme planı gerektiren üç farklı türde hedef içerebilir: Birinci tip programın amacı tüketicinin bilgilendirilmesi olup, hedef genellikle mümkün olduğu kadar çok kişiye ulaşmaktır. Bu tip programlarda, programın hedeflerine ulaşıp ulaşmadığının kontrolü için verilerin izlenmesi yeterlidir. Diğer programların amacı bilgi veya becerilerin geliştirilmesidir. Bu programlarda, öğrenmenin gerçekleşip gerçekleşmediğinin anlaşılabilmesi için program başlamadan önce ve bittikten sonra testler dağıtılmalıdır. Bilgi veya becerinin hangi ölçüde kazanıldığının araştırılması amacıyla daha ileri düzey takip çalışmaları yapılabilir. Üçüncü tip programın amacı, yeni davranışlar geliştirilmesini veya var olan bir davranışın değiştirilmesini sağlamaktır. Değerlendirme uzmanları, davranış değişikliğinin derecesini değerlendirebilmek için daha uzun vadeli izleme ve değerlendirme süreçleri kullanmalıdırlar. Programlar genellikle yukarıda sayılan hedeflerden birden fazlasını içerdiğinden değerlendirme planı da birden fazla yöntemi içerecek şekilde yapılmalıdır. Finansal eğitim programının iyi tanımlanmış hedefleri olmadığı durumlarda değerlendirme uzmanları dışarıdan kaynak kullanarak (örneğin başka yerlerde yürütülen benzer programların performansları gibi) programı değerlendirmelidirler. Bu uygulama, özellikle program tasarımı sırasında programın değerlendirileceği göz önüne alınmadığı durumlarda gerekli olacaktır. Programın büyüklüğü ve uzunluğuna uygunluk Finansal eğitim programları, büyüklüklerine bakılmaksızın değerlendirilmelidir, ancak daha büyük ölçekli programlar kullanılacak yöntemler açısından daha fazla seçenek sunmaktadır ve büyük programlar için tüm seçenekler göz önünde bulundurulmalıdır. Küçük ölçekli programlar için değerlendirme planı yapılırken bütçe kısıtları ve arasından örneklem seçilecek katılımcı sayısının az olacağı göz önüne alınmalıdır. Bazı finansal eğitim programları birden fazla oturumda gerçekleştirilirken, bazıları tek oturumda tamamlanmaktadır. Katılımcılardan beklenen girdi miktarı, verilen bilgi düzeyiyle orantılı olmalıdır. Birden fazla oturumda gerçekleştirilen finansal eğitim programlarında katılımcıların sürekliliği sağlanmalı ve değerlendirme süreci zaman içinde gerçekleşecek değişiklikleri tespit edebilecek şekilde planlanmalıdır. Hedef kitlenin ve iletişim yönteminin dikkate alınması Tüm topluma ulaşması hedeflenen bir programın değerlendirilmesi sırasında finansal okuryazarlık anketleri ya da toplulaştırılmış ekonomik göstergeler gibi ulusal verilerin kullanılmasına öncelik verilmelidir. Bu tür programlar için, veri toplamaya ilişkin maliyetleri düşürecek ve izleme ve değerlendirme süreçlerini otomatikleştirecek değerlendirme tasarımlarının kullanılması düşünülebilir. Toplumun belirli bir kesimini hedef alan programların değerlendirme planları tasarlanırken ekonomik durum, eğitim düzeyi, okuryazarlık, matematiksel beceri ve finansal eğitimin verildiği dil gibi katılımcıların değerlendirmeye yapacakları katkıyı etkileyecek farklılıklar göz önüne alınmalıdır. Hedef kitlenin geçiciliği ya da dezavantajlı oluşu da değerlendirme planına dâhil edilmelidir. 6

7 Değerlendirme planı, maliyetlerin azaltılması ve güvenilir veri sağlanabilmesi amacıyla bilgilerin iletişim yöntemiyle uyumlu olmalıdır. Örneğin, internet üzerinden verilen eğitime katılan katılımcılarla yüz yüze değerlendirme yapmak coğrafi olarak çok zor olabilir, ancak bu kişilere telefon, e-posta veya internet üzerinden gönderilecek anketlerle ulaşmak çok daha kolay olacaktır. Gözlenen değişikliklerin programa atfedilmesi Değerlendirmeler, paydaşlara bilgi, davranış ve tutumlarda gözlemlenen değişiklik düzeyini (sonuçların, programın hedefleriyle uyumlu olup olmadığını) göstermelidir. Tüm değerlendirme planları, uygulanan finansal eğitim programlarıyla gözlemlenen sonuçlar arasında bir neden-sonuç ilişkisi yaratmayabilir; ancak ideal olarak bu tür bir ilişkinin kurulmasına yarayacak değerlendirme planlarına öncelik verilmelidir. Nedensel bir ilişki kurulabilmesi için en doğru yöntem, programa katılmamış bir grupla (seçilme şekline göre kontrol grubu ya da karşılaştırma grubu) paralel bir çalışma yürütmektir. Eğer programa katılan grupta, paralel çalışmada ortaya çıkmayan bazı değişiklikler gözleniyorsa, bu değişiklikleri programa mal etmek doğru olacaktır. İyi tasarlanmış bir niceliksel çalışma, gözlemlenen değişiklikleri açıklayan ilave unsurlara yönelik çok değerli katkılar sağlayabilir, bu nedenle değişimin nasıl gerçekleştiğini sorgulayan değerlendirme çalışmalarının önemli bir parçası olarak düşünülmelidir. Bunlara derinlemesine görüşme tekniği, vaka çalışmaları ve odak grubu çalışmaları da dâhil edilebilir. Bilgi ve beceri düzeylerinin programa mal edilmesi ve gelişmelerin tespit edilmesi amacıyla, değerlendirme çalışmasının programdan önce ve programdan sonra uygulanacak bir bilgi veya beceri ölçeğine sahip olması gerekir. Uzun vadeli çalışmalarda, katılımcılar tekrar tekrar değerlendirmeye alınarak zaman içinde gerçekleşen değişim ve bu değişimin ne ölçüde kalıcı olduğu araştırılmalıdır. 5. Raporlama Politika belirleyiciler, mümkün olduğunca değerlendirmelerden edinilen bulguların rapor haline getirilmesini teşvik etmelidir. Raporlarda, gelecekteki programların oluşturulmasına kaynaklık etmek üzere hem olumlu hem de olumsuz bulgulara yer verilmelidir. Değerlendirmeler, insanlar bu değerlendirmelerden yararlanabildiği ölçüde değerlidir; neyin işe yarayıp neyin yaramadığı görülmelidir. Değerlendirmeler tarafsız bir şekilde rapor haline getirildiğinde, sunulan finansal eğitimin geliştirilmesi ve yapılan maliyetli hataların gelecekte tekrarlanmaması için programı tasarlayan kişilere ve diğer ilgili görevlilere rehber olurlar. Bulguların paylaşılması, üçüncü kişilerin kendi programlarına bir ölçüt oluşturmaları ve hedef belirlemeleri açısından faydalı olacaktır. Paydaşlar, raporlama ihtiyaçlarını, değerlendirme planının tasarımı aşamasında belirlemelidirler. Değerlendirme tasarımının karmaşıklığına bağlı olarak veri toplama aşamasıyla nihai raporlama aşaması arasındaki süreç aylar sürebilir. Bu süreçte, zaman içinde yeni gelen verilerle birlikte ulaşılan bulguların değişebileceği gerçeği göz ardı edilmeden ara raporlama yapılmasının faydalı olabileceği akılda tutulmalıdır. 7

8 KAYNAKÇA OECD (2005a) Increasing Financial Literacy: Analysis of Issues and Policies. Paris: OECD OECD (2005b) Recommendation on Principles and Good Practices for Financial Education and Awareness OECD (2010) A framework for the evaluation of financial education programmes in Proceedings: OECD-Bank of Italy International Symposium on Financial Literacy. Paris: OECD INFE (2010a) Guide to evaluating financial education programmes INFE (2010b) Detailed guide to evaluating financial education programmes 8