OTOMATİK METEOROLOJİK GÖZLEM İSTASYONLARI İÇİN VERİ KALİTE KONTROL SİSTEMİ TASARIMI

Transkript

1 OTOMATİK METEOROLOJİK GÖZLEM İSTASYONLARI İÇİN VERİ KALİTE KONTROL SİSTEMİ TASARIMI Doç. Dr. İbrahim SÖNMEZ Ondokuz Mayıs Üniversitesi Havacılık ve Uzay Bilimleri Fakültesi Meteoroloji Mühendisliği Bölümü 1

2 İçerik Neden Kalite Kontrol? Meteoroloji Genel Müdürlüğü (MGM) ölçüm sistemi Otomatik Meteorolojik Gözlem İstasyonu (OMGİ) MGM de çalıştırılan Kalite Kontrol Sistemi(KKS) Uygulanan kalite kontrol testleri Veri bayraklama sistemi Örnek uygulama Araştırma Sonuç/Özet 2

3 Neden Kalite Kontrol? Farklı düzeylerde günlük hayatımızın içindedir. 3

4 MGM Hizmetleri 4

5 MGM Gözlem Sistemi 5

6 Gözlem Sistemi Son Durum Toplam 1444 adet gözlem noktasında ölçüm yapmakta OMGİ 68 Havaalanı OMGİ 78 Deniz OMGİ 1383 OMGİ 16 Radar ( 13 Adet C-Band 1 Adet Mobil X-Band 2 Adet Deniz Radarı) 35 Yıldırım Tespit ve Takip Sistemi 10 Yüksek Atmosfer Gözlem Sistemi (9 Adet sabit 1 Adet Mobil) 1444 Gözlem 6 Sistemi

7 OMGİ Ölçüm Parametreleri Periyot 1 Dakika Parametre sck1dk nem1dk rzgyon1dk rzghiz1dk ygs1dk gunsur1dk gunsidgl1dk gunsiddr1dk gunsiddf1dk 7

8 OMGİ Ölçüm Parametreleri Periyot Parametre Parametre Anlık Sıcaklık 5 cm Toprak Sıcaklığı (anlık) Maksimum Sıcaklık 10 cm Toprak Sıcaklığı (anlık) Minimum Sıcaklık 20 cm Toprak Sıcaklığı (anlık) Toprak Üstü Min. Sıcaklığı (5 cm) 50 cm Toprak Sıcaklığı (anlık) Anlık İşba 100 cm Toprak Sıcaklığı (anlık) 10 Dakikalık Anlık Nem 20 cm Toprak Nemi (anlık) Anlık Buhar Basıncı Toplam Güneşlenme Süresi Anlık Basınç Toplam Global Güneşlenme Şiddeti Toplam Yağış Toplam Direk Güneşlenme Şiddeti Vektörel Rüzgar Yönü Toplam Difizyon Güneşlenme Şiddeti Ortalama Rüzgar Hızı 1 m deki Açık Siper Sıcaklığı (anlık) Maksimum Rüzgarın Yönü 2 m deki Açık Siper Sıcaklığı (anlık) Maksimum Rüzgar Hızı 1 m deki Açık Siper Nem (anlık) Maksimum Rüzgarın Saati 2 m deki Açık Siper Nem (anlık) 8

9 Veri yoğunluğu & trafiği Toplam 1305 istasyon (OMGİ + H-OMGİ) için, Parametreler : 1 dk periyotlu : 9 parametre 10 dk periyotlu : 12 parametre 1 Dakikalık ve 10 dakikalık ölçümleri dikkate alınırsa, toplam ölçüm sayısı: 1 dakika : dakika : dakika : saat : saat : saat : gün :

10 Veri Kalite Kontrol Ölçüm hataları (Alaka ve Levis, 1967) Sistematik hatalar Rastgele hatalar Veri kalite kontrol 2 farklı şekilde ele alınabilir: 1. Ölçüm sistemine/parametresine 2. Ölçüm başına Hatalı veri, Ölçüm aleti, rasatçı veya veri taşıma kaynaklı olabilir Kaynağı önemsenmeksizin, miktarı/hangi ölçüm olduğu önemlidir Hatalı ölçümün VEYA hata miktarının belirlenmesi, kalite kontrol sisteminin(kks) temel amacıdır. 10

11 Literatür araştırması Wolfson vd(1978): Anlık sinoptik rasat kalite kontrolu. Mantıksal ve Aralık testleri uygulandı. Wade(1987): Basınç, sıcaklık, RH ve rüzgar verilerinin kalite kontrolünü Barnes tekniğini yardımıyla tanımladı. Meek ve Hatfield(1994): Bir tek istasyon için, Limit, Değişim ve Varyans testi uyguladı. Gandin(1998): Sabit basınç yüzeyleri yükseklik ve sıcaklık değerleri için kalite kontrol testleri önerdi. Vejen vd. (2002): İskandinav ülkeleri için kalite kontrol raporu. Aralık, Tutarlılık ve Alansal testler tanımlandı. Shafer ve diğerleri (1999): Oklahoma Mesonet için, Aralık, Basamak, Benzer Alet, Israrlılık ve Alansal testleri tanımladı. Sönmez ve Doggett (2003), Sönmez vd. (2005,207), : Batı Texas Mesonet için, Aralık, Basamak, Benzer Alet, Israrlılık ve 11 Alansal testleri tanımladı.

12 Oklahoma & Batı Texas Mesonet New Mexico Oklahoma Arkansas Texas 12

13 Nasıl bir Kalite Kontrol Sistemi? Kalite kontrol sisteminin temel özellikleri: Kontrollerin ölçüm bazında yapılması, Bağımsız testlerin tanımlanması & her bir ölçüm için çalıştırılması, Test eşik değerlerinin istasyon bazlı ve aylık kullanılması Ölçümün sıhhat derecesini tanımlayan bayrakların üretilmesi & orijinal ölçüm değerlerinin değiştirilmemesi. Bayrak Kodu Tanım Açıklama N Çalıştırılmadı Test henüz çalıştırılmadı I İyi Ölçüm testi geçti S Şüpheli Ölçüm hakkında şüphe var K Kötü Ölçüm hatalı Y Uygulanamadı Test uygulanamadı 13

14 Kalite Kontrol Testleri 1-) MANTIK TESTİ Ölçümün kendi içinde VEYA ilgili parametreler ile tutarlılığını kontrol eder. Kriterlerin tanımlanması: Bilirkişi Aletsel özellikler Literatür Ölçümlerin bayraklanması: EĞER Ölçüm Kontrol Şartını sağlıyor İSE Ölçüm : İyi EĞER Ölçüm Çapraz Kontrol Şartını sağlamıyor İSE Ölçümler : Kötü 14

15 1-) Mantık Testi Uygulaması Parametre Test Kriteri Çapraz Mantık Kontrolü rzgyon1dk rzgyon1dk=0 İSE rzghiz1dk=0 X ygs1dk gunsur1dk sck10dk ygs1dk :çift sayı olmalı gunsur1dk=0 (gece saatleri için) sck10dk <= sckmax10dk sck10dk >= sckmin10dk sck10dk >=işba10dk rzgyon10dkort rzgyon10dkort=0 İSE rzghiz10dk=0 X rzghiz10dkort rzghiz10ort <=rzghiz10dkmax X rzgyon10dkmax rzgyon10dkmax =0 İSE rzghiz10dkmax=0 Ölçümlerin bayraklanması: EĞER Ölçüm Kontrol Şartını sağlıyor İSE Ölçüm : İyi 15 EĞER Ölçüm Çapraz Kontrol Şartını sağlamıyor İSE Ölçümler : Kötü X X

16 Kalite Kontrol Testleri 2-) ARALIK TESTİ Ölçümlerin klimatolojik ve aletsel sınırlar içerisinde olup olmadığını kontrol eder Sınır değerlerin elde edilmesi: Klimatolojik gözlemler Alet bilgileri Genel Temayül: * Aletsel Alt Limit Klimatolojik Alt Limit Ölçüm Klimatolojik Üst Limit Aletsel Üst Limit 16

17 2-) Aralık Testi Uygulaması * Alt Limit-Delta Alt Limit Ölçüm Üst Limit Üst Limit+Delta Klimatolojik Alt-Üst Limitlerin belirlenmesi : EBİM veri tabanındaki Klima ve OMGİ ölçümleri kullanıldı. Analiz ara yüz programından yararlanıldı Her bir istasyon için aylık elde edildi 59 * 12* 206 (parametre * ay * istasyon) 17

18 2-) Aralık Testi Uygulaması * Alt Limit-Delta Alt Limit Ölçüm Üst Limit Üst Limit+Delta İstasyon : DATÇA Parametre : Toprak üstü minimum sıcaklığı 18

19 2-) Aralık Testi Uygulaması * Alt Limit-Delta Alt Limit Ölçüm Üst Limit Üst Limit+Delta (Ankara) İstasyon Ay Alt Limit ( o C) Üst Limit ( o C) ,9 16, ,2 20, ,2 26, ,2 31, ,6 34, ,8 37, ,5 40, ,5 40, ,5 35, ,8 33, ,5 24, ,3 20,4 (Bodrum) İstasyon Ay Alt Limit ( o C) Üst Limit ( o C) ,0 23, ,5 24, ,8 28, ,8 31, ,4 40, ,6 41, ,5 44, ,6 45, ,8 40, ,1 38, ,6 31, ,8 23,1

20 2-) Aralık Testi Uygulaması Periyot Parametre -Delta +Delta Mutlak Min Mutlak Max Dakikalık * Alt Limit-Delta Alt Limit Ölçüm Üst Limit Üst Limit+Delta Delta ve Mutlak min-max tayini: Klimatoloji ve bilirkişi sck1dk -3,5 3,5-60,0 60,0 nem1dk rzgyon1dk rzghiz1dk ygs1dk gunsur1dk gunsiddr1dk

21 2-) Aralık Testi Uygulaması * Alt Limit-Delta Alt Limit Ölçüm Üst Limit Üst Limit+Delta Ölçümlerin bayraklanması: Kontrol Bayraklama EĞER Limit Alt Gözlemk, t LimitÜst İSE Ölçüm : İyi EĞER Limit Limit Üst Alt Gözlem Limit Delta VEYA k, t k t Üst Delta Gözlem, Limit İSE Alt Ölçüm : Şüpheli EĞER Gözlemk, t Limit DeltaVEYA Üst Gözlemk, t Limit Alt Delta İSE Ölçüm : Kötü 21

22 Kalite Kontrol Testleri 3-) BASAMAK TESTİ Birbirini takip eden iki gözlem arasındaki ardışık farkın makul sınırlar içinde olup olmadığını kontrol eder. Maksimum basamak miktarının elde edilmesi: Bilirkişi tecrübesi Ölçümlerin istatistiksel incelenmesi Aletsel özellikler Genel Temayül: Gözlem k, t Gözlemk, t 1 Farkmax Delta 22

23 3-) Basamak Testi Uygulaması Gözlem k, t Gözlemk, t 1 Farkmax Delta Fark max değerlerinin belirlenmesi: k parametresi, m istasyonu & p ayı için; m istasyonu için p ayına ait tüm ölçümleri dikkate al Aralık testine göre tüm Kötü ölçümlerin ayıkla Geriye kalan ölçümlerin ardışık mutlak farkları hesapla Elde edilen matrisin histogramı (sınıf aralığı ve frekanslarını) hesapla Sınıf aralığının fonksiyonu olarak kümülatif histogram parametrelerini elde et Kümülatif frekans değerinin %99 olduğu sınıf aralık değerini eşik değeri olarak ata İşlemi her bir istasyon ve ay için tekrarla 23

24 3-) Basamak Testi Uygulaması Gözlem k, t Gözlemk, t 1 Farkmax Delta Fark max değerlerinin belirlenmesi: 24

25 (Zonguldak) (Bartın) 3-) Basamak Testi Uygulaması Gözlem k, t Gözlemk, t 1 Farkmax Delta Parametre: sıcaklık1dk Parametre: nem1dk İstasyon Ay Fark max ( o C) Delta( o C) İstasyon Ay Fark max (%) Delta( % ) ,5 0, ,5 0, ,7 0, ,7 0, ,6 0, ,3 0, ,5 0, ,4 0, ,4 0, ,4 0, ,7 0, ,7 0,

26 3-) Basamak Testi Uygulaması Gözlem k, t Gözlemk, t 1 Farkmax Delta Ölçümlerin bayraklanması: EĞER Gözlem Kontrol Gözlemk, t 1 Farkmax Delta k, t İSE Bayraklama Gözlem k, t ve Gözlem k, t 1 : Kötü EĞER Gözlem k, t Gözlemk, t 1 Farkmax İSE Gözlem k, t ve Gözlem k, t 1 : Şüpheli EĞER Gözlem k, t Gözlemk, t 1 Farkmax İSE Gözlem k, t ve Gözlem k, t 1 : İyi 26

27 Kalite Kontrol Testleri 4. ISRARLILIK TESTİ Arızalı ve/veya takılı kalan ölçüm aletini tespit için kullanılır Gözlem i pencere aralığındaki ölçümler olmak üzere; Genel Temayül: min{ Gözlem i} max{ Gözlemi } 0 sağlayan max max hesabı : Aylık ve parametre bazında histogram yardımıyla hesaplandı. 27

28 4-) Israrlılık Testi Uygulaması AYLAR Parametre sck1dk nem1dk rzgyon1dk rzghiz1dk ygs1dk gunsidgl1dk gunsiddr1dk sck10dk

29 4-) Israrlılık Testi Uygulaması Ölçümlerin bayraklanması: Gözlem i pencere aralığındaki veriler olmak üzere; Kontrol Bayraklama EĞER > max Gözlem i : Kötü (i=1:n ) EĞER < max Gözlem i : İyi (i=1:n ) 29

30 Kalite Kontrol Testleri 5. BENZER ALET TESTİ Benzer parametre VEYA farklı seviyelerdeki aynı parametre ölçümleri kiıyaslamak için kullanılır. u ve v parametre & t zaman değişkenini göstermek üzere, Genel Temayül: Gözlem u, t Gözlemv, t Farkmax 30

31 5-) Benzer Alet Testi Uygulaması Gözlem u, t Gözlemv, t Farkmax Benzer Alet testi uygulanan parametre çiftleri: 1) Hava Sıcaklığı 1 m. Açık Siper Sıcaklığı 2) Hava Sıcaklığı 2 m. Açık siper Sıcaklığı 3) 1 m. Açık Siper Sıcaklığı 2 m. Açık Siper Sıcaklığı 4) Hava Nemi 1 m. Açık Siper Nemi 5) Hava Nemi 2 m. Açık siper Nemi 6) 1 m. Açık Siper Nemi 2m. Açık Siper Nemi 7) 5 cm Toprak Sıcaklığı 10 cm Toprak Sıcaklığı 8) 10 cm Toprak Sıcaklığı 20 cm Toprak Sıcaklığı 9) 20 cm Toprak Sıcaklığı 50 cm Toprak Sıcaklığı 10) 50 cm Toprak Sıcaklığı 100 cm Toprak Sıcaklığı 31

32 5-) Benzer Alet Testi Uygulaması Gözlem u, t Gözlemv, t Farkmax AYLAR Parametre çifti sck10dk & acsp1msck10dk 8,0 8,0 8,0 8,0 8,0 8,0 8,0 8,0 8,0 8,0 8,0 8,0 sck10dk & acsp2msck10dk 5,0 5,0 5,0 5,0 5,0 5,0 5,0 5,0 5,0 5,0 5,0 5,0 acsp1msck10dk & acsp2msck10dk 3,0 3,0 3,0 3,0 3,0 3,0 3,0 3,0 3,0 3,0 3,0 3,0 nem10dk & acsp1mnem10dk 4,0 4,0 4,0 4,0 4,0 4,0 4,0 4,0 4,0 4,0 4,0 4,0 nem10dk & acsp2mnem10dk 3,0 3,0 3,0 3,0 3,0 3,0 3,0 3,0 3,0 3,0 3,0 3,0 acsp1mnem10dk & acsp1mnem10dk 4,0 4,0 4,0 4,0 4,0 4,0 4,0 4,0 4,0 4,0 4,0 4,0 tpsck5cm10dk & tpsck10cm10dk 12,0 12,0 12,0 20,0 20,0 20,0 20,0 20,0 20,0 12,0 12,0 12,0 tpsck10cm10dk & tpsck20cm10dk 7,5 7,5 7,5 12,5 12,5 12,5 12,5 12,5 12,5 7,5 7,5 7,5 tpsck20cm10dk & tpsck50cm10dk 10,0 10,0 10,0 10,0 10,0 10,0 10,0 10,0 10,0 10,0 10,0 10,0 tpsck50cm10dk & tpsck100cm10dk 8,0 8,0 8,0 8,0 8,0 8,0 8,0 8,0 8,0 8,0 8,0 8,0 32

33 5-) Benzer Alet Testi Uygulaması Gözlem u, t Gözlemv, t Farkmax Ölçümlerin bayraklanması: EĞER EĞER Gözlem Gözlem Kontrol u, t Gözlemv, t Farkmax u, t Gözlemv, t Farkmax İSE İSE Bayraklama Ölçüm, ve u t Ölçüm, : Kötü Ölçüm, ve u t v t Ölçüm, : İyi v t 33

34 6-) ALANSAL TEST (literatüre) Tarama yöntemi:barnes(1964) : Shafer ve diğerleri (1999): Oklahoma Mesonet Z e Z o Z Z e o :Estimated value : Observed value :Variance of m obser. di R w(d Z e i ) m i 1 m w(d i 1 e w 4 i i )z i d i R 2 Krigging yöntemi: Vejen ve diğerleri (2002): İskandinav ülkeleri Z(x)=M(x)+e(x) M = trend, e= salınım 34 M(x,y,h,l,s) = a 0 + a 1 x + a 2 y + a 3 x2+ a 4 y2+ a 5 xy + a 6 h + a 7 s

35 Kalite Kontrol Testleri 6. ALANSAL (UZAYSAL) TEST Sıcaklık ve basınç parametreleri için uygulanmıştır Her bir istasyon için aynı mikro klima içinde olacak şekilde 3 er komşu tayin edilmiştir. Komşu listesi her parametre için ayrı yapıldı Merkez istasyon ölçümü, komşu 3 istasyon ölçümü ile kıyaslanmıştır. 35

36 6-) Alan Testi Uygulaması B C A D Fark min ve Fark max değerleri önceden tanımlandığı şekilde elde edilmiştir Fark min ve Fark max değerleri her bir istasyon ve ay için hesaplanmıştır. 36

37 6-) Alan Testi Uygulaması 17022(Zonguldak) için komşu basınç Fark min & Fark min değerleri: Zonguldak (Ereğli) (Devrek) (Çaycuma) İST Ay Komşu1 Fark1 min Fark1 max Komşu2 Fark2 min Fark2 max Komşu3 Fark3 min Fark3 max

38 6-) Alan Testi Uygulaması Ölçümlerin bayraklanması: u parametre değişkenini, t ölçüm anını ve x,y ve z merkez istasyon civarında bulunan komşu istasyonları göstermek üzere; 38

39 Veri akışı ve KKS uygulaması İstasyon (MGM) (MGM) Arşivleme Veritabanı Sunum Veritabanı Veri Talebi Data Bayrak Kalite Kontrol Programı Aralık Testi İstasyon Numarası/Numaraları Başlangıç ve/veya Bitiş Tarihleri Parametre Numarası/Numaraları Test Numarası/Numaraları Ana Program Basamak Testi Israrlılık Testi Benzer Alet Testi Mantık Testi Alansal Testi 39

40 Mantık Aralık Basamak Israrlılık Benzer Alet Alan Bayrak sunumu Parametre Ölçüm Sıcaklık 12.8 Basınç Nem Bayrak Değeri Bayrak Tanımı Bayrak Açıklaması Test çalıştırılmadı 0 İyi Gözlem testi geçti 1 Şüpheli Gözlem hakkında şüphe var 2 Kötü Gözlem hatalı Test uygulanamadı 40

41 Örnek Uygulama İstatistikleri 41

42 Örnek Uygulama İstatistikleri 42

43 Aylık bazda, MGM - Operasyonel Veri tabanına veri akarımı tamamlanmakta KKS testleri uygulanmakta(tanımlı bayraklar üretilmekte) KKS bayrak bilgileri veri satışı/sunumu için kullanılmakta Şüpheli/Kötü bayraklara sahip veriler uzman kişiler tarafından incelenmekte. Bu ölçümlerin yeni eşik değeri mi işaret ettiği yoksa gerçekten hatalı kayıt mı olduğu değerlendirilmekte Değerlendirme sonucuna göre, Test eşik değerleri (-Gerek duyulursa )güncellenmekte Kalite kontrol sistemi yeniden çalıştırmakta Testlerdeki muhtemel iyileştirme için geri besleme sağlanmakta 43

44 Aralık Basamak Israrlılık Benzer Alet Alan Bayrak bilgisi dinamiktir Mantık Bayraklama sisteminin faydaları Yenilenen test kriterleri/eşik değerlerine göre yeniden çalıştırılarak güncellenmeye müsaittir. Veri sunumu/satışı açısından, belirlenecek kriterlere göre verinin süzgeçlenmesini mümkün kılar Bakım çalışmalarının yönetilmesi için yol göstericidir. Özellikle bazı testler(aralık,ısrarlılık gibi) arızalı sensörün doğrudan tespitini mümkün kılar. Parametrelere ait bayrakların zamansal değişimleri izlenerek bakıma ihtiyacı olan sensörler kolayca 44 tespit edilebilir.

45 Occurrence Frequency Araştırma (Sönmez vd., 2005) WS2m & WS10m Saçılma diagramı Günlere göre dağılım J. Day : 337,338, J. Day : 357, J. Day : 30, Julian Day 45

46 Occurance frequency Araştırma (Sönmez vd., 2005) 1000 İstasyonlara göre dağılım İstasyonların Uzaysal Dağılımı 900 FLOY OLTO ABER AMHE RALL ROAR HART SILV WHIT Sites 46

47 WS at 10m (m/s) Temperature ( O C) WS2m-WS10m (m/s) WS at 2m (m/s) Relative Humidity (%) Araştırma (Sönmez vd., 2005) İstasyon: FLOY 2 Aralık, 19:20 6 Aralık, 18:20, Dec 3 Dec 4 Dec 5 Dec Dec 3 Dec 4 Dec 5 Dec Dec 3 Dec 4 Dec 5 Dec Temp at 1.5m Temp at 9m Dec 3 Dec 4 Dec 5 Dec 6-10 Dec 3 Dec 4 Dec 5 Dec 6 47

48 Sonuçlar/Özet Ölçüm bir milli servettir, dolayısıyla bakımı ve muhafazası özenle yapılmalıdır. KKS için, orijinal ölçümler korunarak bağımsız testler yardımıyla ölçüm sıhhatinin derecelendirilmesi temel prensiptir. Sunulan bayraklama sistemi birçok açıdan kullanışlıdır Dinamik olması Veri sunum noktasında esneklik sağlar Sensör bakımlarının daha etkin planlanmasına yardımcı olur. 48

49 Sorular / Öneriler / Yorumlar 49