BAĞLAMDAN BAĞIMSIZ (CONTEXT-FREE) GRAMERLER (CFG) VE DİLLER (CFL)

Transkript

1 BAĞLAMDAN BAĞIMSIZ (CONTEXT-FREE) GRAMERLER (CFG) VE DİLLER (CFL) Dil tanıyıcı cihaz bir dile ait geçerli string leri kabul eder. Dil üreteci cihaz bir dile ait string leri oluşturur. Dil üreteci cihazlar bir başlangıç işaretiyle bir string oluşturmaya başlarlar ve belirlenmiş kuralları kullanarak string oluştururlar. Düzenli ifadeler (regular expressions) birer dil üreteci olarak kabul edilirler. a(a * b * )b düzenli ifadesi ile önce bir a üretilir. Ardından iki durumdan birisine göre devam edilir. İstenen sayıda a üretilir veya b üretilir. Son olarakta bir b üretilir. Bağlamdan bağımsız gramerler çok daha karmaşık dilleri üretebilir. a(a * b * )b düzenli ifadesi ön kısım, orta kısım ve son kısım olarak ayrıştırılabilir. S dilde bir string ve M ise orta kısım olmak üzere S amb şeklinde bir kural yazılabilir. Burada M, a lardan veya b lerden oluşturulabilir. M A ve M B yeni iki kural, A ve B dile ait stringlerdir. 1 Doç.Dr.Hacer KARACAN

2 A e, A aa ve B e, B bb a(a * b * )b düzenli ifadesi tarafından oluşturulan dil bu kurallarla oluşturulabilir. aaab string i aşağıdaki gibi oluşturulur; S amb, S aab (M A) S aaab (A aa) S aaaab (A aa) S aaab (A e) Kurallarla değiştirme işlemi, sadece değişecek sembol üzerinde yapılır ve önündeki ve ardındaki kısımlara bakılmaz. Bu yüzden bağlamdan bağımsız (context-free) olarak adlandırılır. S, A, B, M nonterminal, a, b, e terminal olarak adlandırılır. Tüm string ler sadece terminallerden oluşabilir. Kuralların uygulanması ve yeni bir string elde edilmesi düzenli ifadelerde yeni bir string elde edilmesi gibidir. Tanım: Bir Bağlamdan bağımsız gramer G = ( V,, R, S ) şeklinde tanımlanır. V alfabe (terminal ve nonterminaller) terminaller ( V ) R kurallar ( V ) x V * S başlangıç sembolü ( S ( V )) 2 Doç.Dr.Hacer KARACAN

3 A V ve u V * için (A, u) R ise A G u yazabiliriz. u, v V * için u G v yazabiliriz sadece ve sadece x, y V * ve A V ve u= xay ve v= xv y ve A G v ise * G, G ilişkisinin reflexive, transitive, closure udur. G grammar i tarafından oluşturulan dil L(G) = {w * : S * G w} şeklindedir. Kurallar uygulanarak dile ait tüm string ler elde edilebilir. Oluşturulan L(G) dili context-free language olarak adlandırılır. A G u ve u G v yerine A u ve u v yazılabilir. w 0 G w 1 G... G w n derivation (türetme) olarak adlandırılır. w n string i w 0 dan türetilmiştir. w 0,...,w n V * olabilir. n derivation length (türetme uzunluğu) olarak adlandırılır. G = (V,, R, S) grameri şu şekilde tanımlanıyor: V = {S, a, b}, ={a, b} ve R = {S asb, S e } Örnek bir derivation aşağıdaki gibi olabilir: S asb aasbb aabb İlk iki adımda S asb ve son olarak S e uygulanmıştır. 3 Doç.Dr.Hacer KARACAN

4 Oluşturulan dil L(G) = {a n b n : n 0} olmuştur. BM312 DERS NOTLARI Bazı bağlamdan bağımsız (context-free) diller düzenli (regular) değildir, ancak tüm düzenli diller bağlamdan bağımsız dildir. G = ( W,, R, S ) grameri şu şekilde tanımlanıyor: W = { S, A, N, V, P }, = { Jim, big, green, cheese, ate }, R = { P N, S = sentence P AP, A = adjective S PVP, V = verb A big, N = noun A green, P = phrase N cheese, N Jim, V ate } L(G) deki grammar olarak doğru bazı string ler aşağıdadır; Jim ate cheese big Jim ate green cheese big cheese ate Jim 4 Doç.Dr.Hacer KARACAN

5 Bazı string ler anlamsız olabilir; big cheese ate green green big green big cheese green Jim ate green big Jim Herhangi bir bilgisayar programlama diliyle yazılmış bilgisayar programının, yazımının doğru olabilmesi için katı kurallara uyması gerekir. Konuşma dillerindekinin tersine birçok programlama dilinin yazımının doğruluğunu kontrol etmek için Bağlamdan bağımsız gramerler kullanılabilir. Özellikle programların syntax analizinde parse edilmesi aşamasında çok faydalıdır. Bir programlama dilinde bazı kısımlar düzenli ifadelerle gösterilebilir, program yapısı veya blok yapıları bağlamdan bağımsız gramerler tarafından ifade edilebilir. Bütün programlama dillerindeki ortak bir kısmı oluşturan bir dil tanımlayalım. Bu dil doğru yazılmış aritmetik ifadeleri göstersin. id * (id * id + id) yazımı doğru ancak * id + ( ve + * id yanlıştır. (id =değişken) G = (V,, R, E) V = {+, *, (, ), id, T, F, E }, = {+, *, (, ), id}, 5 Doç.Dr.Hacer KARACAN

6 R = { E E + T, (R1) E = expression E T, (R2) T = term T T * F, (R3) F = factor T F, (R4) F (E), (R5) F id } (R6) G grameri (id * id + id) * (id + id) string ini aşağıdaki gibi oluşturur; E T (R2) T * F (R3) T * (E) (R5) T * (E + T) (R1) T * (T + T) (R2) T * (F + T) (R4) T * (id + T) (R6) T * (id + F) (R4) T * (id + id) (R6) F * (id + id) (R4) (E) * (id + id) (R5) (E + T) * (id + id) (R1) (E + F) * (id + id) (R4) (E + id) * (id + id) (R6) (T + id) * (id + id) (R2) (T * F + id) * (id + id) (R3) (F * F + id) * (id + id) (R4) (F * id + id) * (id + id) (R6) (id * id + id) * (id + id) (R6) Düzgün dağılımlı sağ ve sol parantezleri üreten bir grammar oluşturalım. G = ( V,, R, S ) V = { S, (, ) }, 6 Doç.Dr.Hacer KARACAN

7 = { (, ) }, R = { S e, S SS S (S)} Aşağıdaki türetmeleri G grameri oluşturur; S SS S(S) S((S)) S(( )) ( )(( )) S SS (S)S ( )S ( )(S) ( )(( )) Bir DFA M = (K,,, s, F ) tarafından tanınan düzenli dil L(M), G(M)=(V,,R,S) grameri tarafından oluşturulabilir. Burada, V = K, S = s, R = { q ap : (q, a) = p} {q e : q F} Nonterminaller otomatın durumları ve a girişi için yapılan q dan p ye geçiş R içinde q ap şeklinde bir kural olarak alınır. S a a b b a b A Yandaki otomat için oluşturulan kurallar; S as, S ba, A ba, A ab, B as, B ba, B e. B 7 Doç.Dr.Hacer KARACAN

8 Düzenli (regular) olan ve {a} basit context-free dillerdir. Kuralı olmayan ve sadece S a şeklinde kuralı olan dillerdir. Context-free diller union, concatenation ve Kleene star işlemleri için kapalıdır. Context-free diller pushdown otomatlar tarafından tanınır. Pushdown otomatlar sonlu otomatların genelleştirilmiş şeklidir. Her sonlu otomat basit yapıdaki pushdown otomat olarak düşünülür. G bağlamdan bağımsız gramer ise bu gramer ile bir string in oluşturulması farklı şekillerde olabilir. Dengeli parantez üreten bir context-free dil aşağıdaki farklı şekillerde aynı string i üretir. S SS S(S) (S)(S) (S)( ) ( )( ) S SS (S)S ( )S ( )(S) ( )( ) İki türetmede aşağıdaki şekilde gösterilebilir. Bu şekil parse tree olarak adlandırılır. Her node V içinde bir nonterminal semboldür. Yapraklar (leaves) terminallerdir ve Σ içinde bir semboldür. Yapraklar soldan sağa concatenate edildiğinde oluşan string üretilir. 8 Doç.Dr.Hacer KARACAN

9 Parse Trees and Derivations Bir bağlamdan bağımsız gramer G = ( V,, R, S ) için parse tree, roots, leaves aşağıdaki gibi tanımlanır. 1. a Her a için bu bir parse tree dir. Tek node hem kök (root) hemde yapraktır (leaves) ve a oluşturur. 2. A e A e, R içinde bir kural ise bu bir parse tree dir. A root ve e yapraktır. Sadece e üretir. 3. A 1 A 2... A n T 1 y 1 T 2 y 2 T n y n Hepsi parse tree dir. n 1 için A 1,, A n root ve y 1,, y n üretilir. A A 1,,A n, R içinde kural ise aşağıdaki parse tree dir. Üretilen string y 1 y n olur. A A 1 A 2... A n T 1 y 1 T 2 y 2 T n y n 4. Bunların dışında hiçbir şey parse tree değildir. 9 Doç.Dr.Hacer KARACAN

10 Aritmetik ifadeleri oluşturan gramerin id * (id + id) için oluşturduğu parse tree aşağıdaki gibidir. Bir bağlamdan bağımsız gramer G = ( V,, R, S ) için D = x 1 x 2... x n ve D = x 1 x 2... x n iki farklı türetmedir. Burada x i, x i V * ve x 1, x 1 V ve x n, x n * dir. İki türetmede bir nonterminalden terminal string leri türetilir. 10 Doç.Dr.Hacer KARACAN

11 D türetmesi D türetmesinden öncedir ve D ܐ D şeklinde gösterilir eğer; n > 2 için 1 < k < n olacak şekilde bir k değeri varsa ve; 1. Tüm i k için x i = x i 2. x k-1 = x k-1 = uavbw ( u, v, w V * ve A, B V ) 3. x k = uyvbw, (A y R) 4. x k = uavzw, (B z R) 5. x k+1 = x k+1 = uyvzw En soldaki nonterminali değiştiren türetme diğerinden önce gelir. Herhangi bir grammar için aşağıdaki üç türetmenin önceliklerini çıkaralım. D 1 = S SS (S)S ((S))S (( ))S (( ))(S) (( ))( ) D 2 = S SS (S)S ((S))S ((S))(S) (( ))(S) (( ))( ) D 3 = S SS (S)S ((S))S ((S))(S) ((S))( ) (( ))( ) Burada D 1 ܐ D 2 ve D 2 ܐ D 3 olur. D 1 ܐ D 3 olamaz çünkü birden fazla ara string te farklılık vardır. Bütün türetmeler aynı parse tree ye sahiptir. D 4 = S SS (S)S (S)(S) ((S))(S) (( ))(S) (( ))( ) D 5 = S SS (S)S (S)(S) ((S))(S) ((S))( ) (( ))( ) D 6 = S SS (S)S (S)(S) (S)( ) ((S))( ) (( ))( ) D 7 = S SS S(S) (S)(S) ((S))(S) (( ))(S) (( ))( ) 11 Doç.Dr.Hacer KARACAN

12 D 8 = S SS S(S) (S)(S) ((S))(S) ((S))( ) (( ))( ) D 9 = S SS S(S) (S)(S) (S)( ) ((S))( ) (( ))( ) D 10 = S SS S(S) S( ) (S)( ) ((S))( ) (( ))( ) Buradaki tüm öncelik ilişkileri aşağıdaki şekille gösterilebilir. Bir parse tree üzerinde leftmost derivation ve rightmost derivation elde edilebilir. Leftmost derivation için ağacın root node undan başlanır ve sürekli ensoldaki nonterminal değiştirilir. Rightmost derivation için ağacın root node undan başlanır ve sürekli ensağdaki nonterminal değiştirilir. Önceki örnekte D 1 leftmost D 10 ise rightmost derivation yapar. Leftmost derivation için x L y ve rightmost derivation için x R y kullanılır. 12 Doç.Dr.Hacer KARACAN

13 x L y yazabiliriz eğer sadece ve sadece x = waβ, y = wαβ, ise ve w * ve α, β V * ve A V ve A α kuralı gramerde varsa. x 1 L x 2 L... L x n tüm leftmost türetme sırasını ifade eder. 13 Doç.Dr.Hacer KARACAN