Bölüm Özeti. Algoritmalar. Fonksiyonların Büyümesi. Algoritmaların Karmaşıklığı. Örnek Algoritmalar Algoritmik Paradigmalar

Transkript

1 Bölüm 3

2 Bölüm Özeti Algoritmalar Örnek Algoritmalar Algoritmik Paradigmalar Fonksiyonların Büyümesi Büyük-O ve diğer gösterimler Algoritmaların Karmaşıklığı

3 Bölüm 3.1

4 Bölüm Özet Algoritmaların Özellikleri Sıralama ve Arama Algoritmaları Aç Gözlü Algoritmalar

5 Problemler ve Algoritmalar Birçok alanda, belirli girişler için belirli çıkışları veren genel problemler vardır. Çözümün ilk adımı problemi detaylıca tanımlamaktır. Bunu yaparken, giriş ve çıkışlar için uygun yapıları seçmek gerekir. Daha sonra, geçerli girişleri alan ve istenen çıkışları veren bir prosedürün adımlarını tanımlayarak problemi çözeriz. Bu prosedüre algoritma denir.

6 Algoritmalar Abu Ja far Mohammed Ibin Musa Al-Khowarizmi ( ) Tanım: Bir algoritma, bir problemin çözümü için oluşturulmuş olan sonlu ve doğru adımların kümesidir. Örnek: Sonlu bir tamsayı dizisindeki en büyük elemanı bulan bir algoritma tanımlayınız. Çözüm: Aşağıdaki adımları yapınız: 1. Dizideki ilk elemanı geçici olarak en büyük kabul edin. 2. Bir sonraki tam sayıyı bu geçici değer ile kıyaslayın. Eğer kıyasladığınız değer, geçici en büyük değerden daha büyükse, yeni en büyük değer olarak bu sayıyı saklayın. 3. Tam sayılar bitmediyse bir önceki adımı tekrarlayın. Bitmişse durun. 4. Algoritma sonlandığında, geçici en büyük değer, dizideki en büyük tamsayıdır..

7 Algoritmaları Yazmak Algoritmalar değişik şekillerde yazılabilir. Türkçe ifadelerle yazılabileceği gibi sözde kod (Pseudocode) olarak da yazılabilir. Sözde kod, Türkçe ile programlama dili arasındaki bir geçiş dilidir. Sözde kod, C++ gibi popüler dillerdeki yapıları kullanabilir. Programcılar, programları herhangi bir programlama dilinde kodlamak için sözde kod oluştururlar. Sözde kodlar, gerçek bir programlama dilinden bağımsız olarak bir algoritmanın bir problemi çözmesi için gereken zamanın analizinde kullanılabilir.

8 Algoritmaların Özellikleri Giriş: Bir algoritma, belirli bir küme içerisinden değerler alır. Çıkış: Giriş değerlerinden, belirli bir kümeye ait olan çıkış değerlerini üretir. Doğruluk: Bir algoritma, her bir giriş değeri için doğru çıkışları vermelidir. Sonluluk: Bir algoritma, herhangi bir giriş için sonlu bir adım sayısı sonunda çıkış vermelidir. Etkinlik: Her bir adımı düzgün yapmalı ve belirli bir süre içerisinde bitmelidir. Genellik: Gereken biçimde hazırlanmış herhangi bir problemi çözebilmelidir.

9 Bir Dizideki En Büyük Elemanı Bulan Algoritma Sözde kodu: procedure max(a 1, a 2,., a n : integers) max := a 1 for i := 2 to n if max < a i then max := a i return max{max is the largest element}

10 Bazı Örnek Algoritma Problemleri Bu bölümde 3 problemle ilgileneceğiz 1. Arama Problemleri: bir listedeki belirli bir elemanın yerini bulmak. 2. Sıralama Problemleri: bir listedeki elemanları artan/azalan sıralı hale getirmek. 3. Optimizasyon Problemleri: Bütün olası girişler içinden belirli bir kısmının optimal değerlerini (maksimum ya da minimum) bulmak.

11 Arama Problemleri Tanım: Bir x elemanının a 1,a 2,...,a n, gibi bir listenin içerisindeki konumunu bulmak.

12 Doğrusal Arama Algoritması procedure linear search(x:integer, a 1, a 2,,a n : distinct integers) i := 1 while (i n and x a i ) i := i + 1 if i n then location := i else location := 0 return location{location is the subscript of the term that equals x, or is 0 if x is not found}

13 İkili Arama Algoritması Girişlerin artan sırada olduğunu varsayalım. Ortadaki elemandan başla. Eğer ortadaki eleman daha küçükse, dizinin üst yarısına geç. Eğer ortadaki eleman daha büyükse, dizinin alt yarısına geç. Liste, 1 eleman uzunluğuna ulaşana kadar devam et. Aradığın elemanı bulduysan, elemanın konumu al. Bulamadıysan, bulamadığına dair bir değer (-1 gibi) üret.

14 İkili Arama procedure binary search(x: integer, a 1,a 2,, a n : increasing integers) i := 1 {i is the left endpoint of interval} j := n {j is right endpoint of interval} while i < j m := (i + j)/2 if x > a m then i := m + 1 else j := m if x = a i then location := i else location := 0 return location{location is the subscript i of the term a i equal to x, or 0 if x is not found}

15 İkili Arama Örnek: 19 sayısını listede bul: eleman var. 8. pozisyondaki 10 sayısı ile kıyasla. Dizinin üst yarısına geç pozisyondaki 16 sayısı ortadaki eleman. Kıyasla ve dizinin üst yarısına geç pozisyondaki 19 sayısı ortadaki eleman. Kıyasla ve dizinin alt yarısına geç pozisyondaki 18 sayısı ortadaki eleman. Kıyasla ve dizinin üst yarısına geç Listede 1 eleman kaldı. 19=19 olduğu için 16. konumu al.

16 Sıralama Sıralama önemli. Veritabanı örneği. Birçok sıralama algoritması var. Birbirlerine göre avantaj ve dezavantajları var.

17 Kabarcık Sıralama procedure bubblesort(a 1,,a n : real numbers with n 2) for i := 1 to n 1 for j := 1 to n i if a j >a j+1 then interchange a j and a j+1 {a 1,, a n is now in increasing order}

18 Kabarcık Sıralama Örnek: dizisi için kabarcık sıralama adımlarını gösterin.

19 Araya Sokma Sıralama 2. elemandan başla. Bir elemanı al. Kendinden öncekilerle kıyasla ve uygun yere yerleştir. procedure insertion sort (a 1,,a n : real numbers with n 2) for j := 2 to n i := 1 while a j > a i i := i + 1 m := a j for k := 0 to j i 1 a j-k := a j-k-1 a i := m {Now a 1,,a n is in increasing order}

20 Araya Sokma Sıralama Örnek: dizisi için bütün adımları gösterin i (ilk iki pozisyon değişti) ii. iii (3. eleman yerinde kaldı) (4. eleman en başa yerleşti) iv (5. eleman yerinde kaldı)

21 Aç Gözlü (Greedy) Algoritmalar Optimizasyon problemleri, girişler için belirli parametreleri minimize etme ya da maksimize etme temeline dayanır. Birçok optimizasyon problemi var. İki şehir arasındaki en kısa yolun bulunması. Bir mesajı en az sayıda bit kullanarak kodlama. İki ağ cihazını birbirine bağlamak için gerekli olan en az fiber kablo uzunluğunu bulma. Optimizasyon problemleri, Aç Gözlü yaklaşımlar ile çözülebilir. Aç gözlü yaklaşımlar her adımda en iyi seçimi yapar. Her bir adım için en iyi seçimi yapmak, problemin tamamı için her zaman en iyi sonucu vermez. Ama çoğu zaman işe yarar. Aç Gözlü problem çözümü yaklaşımı, Algoritmik Paradigmalar için bir örnektir.

22 Aç Gözlü Algoritmalar: Para bozma örneği Örnek: n kuruşluk bir miktar parayı bozmak için bir aç gözlü algoritma tasarlayınız. Algoritma şu paraları kullanabilir: çeyrek (25 kuruş), onluk (10 kuruş), beşlik (5 kuruş), ve birlik (1 kuruş). Mümkün olan en az miktar demir para kullanarak bozma işini yapınız. Fikir: Her bir adımda, bozulması gereken para miktarını geçmeyen en büyük madeni parayı seç. 1. n = 67 kuruş olsun. İlk adımda 1 çeyreklik seç = 42 kuruş. Yine 1 çeyreklik seç = 17 kuruş 2. 1 onluk seç = 7 kuruş beşlik seç kuruş birlik seç. Bir kuruş kaldı. 1 birlik daha seç. Bozulması gereken para kalmadı.

23 Aç Gözlü Algoritmalar: Para bozma örneği Çözüm: n kuruşu bozan algoritma. Algoritmanın kullandığı madeni paralar c 1, c 2,,c r ile gösterilsin. procedure change(c 1, c 2,, c r : values of coins, where c 1 > c 2 > > c r ; n: a positive integer) for i := 1 to r d i := 0 [d i counts the coins of denomination c i ] while n c i d i := d i + 1 [add a coin of denomination c i ] n = n - c i [d i counts the coins c i ]

24 Aç Gözlü Algoritmalar: Para bozma örneği Optimallik, kullanılabilecek madeni paraların çeşidine bağlı. 50 kuruş ve 100 kuruşluk madeni paraları da kullanırsak yine optimallik bozulmaz. Ancak yalnızca çeyrek (25 kuruş), onluk (10 kuruş), ve birlik (1 kuruş) varsa, bu durumda algoritma minimum sayıda madeni para kullanarak para bozma işini yapamaz. Ör: 31 kuruş bozalım. Optimal değer 4. 3 onluk ve 1 birlik. Algoritma ne çıkış verir?

25 Bölüm 3.2

26 Bölüm Özeti Büyük-O Gösterimi Donald E. Knuth (Born 1938) Önemli bazı fonksiyonların Büyük-O değerleri Büyük-Omega ve Büyük-Theta Gösterimleri Edmund Landau ( ) Paul Gustav Heinrich Bachmann ( )

27 Fonksiyonların Büyümesi Bilgisayar Biliminde ve Matematikte bir fonksiyonun nasıl büyüdüğü önemli bir konudur. Bilgisayar Biliminde, girişlerin artması ile bir algoritmanın çözüm hızı arasındaki ilişkiyi bulmak isteriz. Böylece algoritmaları kıyaslayabiliriz. Bir algoritmanın bir problem için uygun olup olmadığını söyleyebiliriz.

28 Büyük-O Gösterimi Tanım: f ve g tam sayılardan reel sayılara ya da reel sayılardan reel sayılara iki fonksiyon olsun. Eğer aşağıdaki şartı sağlayan C ve k sayıları varsa, f(x) O(g(x)) tir diyebiliriz. burada x > k. (sonraki slaytta görseli var.) f(x) g(x) in Büyük-O sudur ya da g asimtotik olarak f yi sınırlar (baskılar) şeklinde okunur. C ve k sabit değerlerine, f(x) O(g(x)) tir ilişkisinin şahitleri denir. Yalnızca bir çift şahit yeterlidir.

29 Büyük-O Gösteriminin Görseli f(x) is O(g(x))

30 Büyük-O Gösterimi İle İlgili Bazı Önemli Noktalar Eğer bir çift şahit bulunabilirse, sonsuz sayıda bulunabilir. Her durumda şu eşitsizliği sağlamaları gerekir.. C ve k, burada C < C ve k < k çiftleri de kullanılabilir. f(x) = O(g(x)) ile f(x) is O(g(x)). aynı şeydir. Özünde bir eşitsizlik olduğu için bu gösterim kafa karıştırıcı olabilir. f(x) O(g(x)), gösterimi daha uygundur. Çünkü O(g(x)) aslında, O(g(x)) fonksiyonlarının bir kümesini ifade eder. Genelde pozitif değerler alan fonksiyonlar ile uğraştığımız için çoğu zaman mutlak değer işaretlerini kullanmayız.

31 Büyük-O Gösterimini Kullanmak Örnek: in olduğunu gösterin. Çözüm: x > 1, x < x 2 ve 1 < x 2 olduğu için C = 4 ve k = 1 şahitler oldular. (çizimi sonraki slaytta) Alternatif olarak, x > 2 olduğunda, 2x x 2 ve 1 < x 2. Böylece, x > 2 olduğu zaman. C = 3 ve k = 2 de şahitler olarak alınabilir.

32 Büyük-O Gösteriminin Görseli is

33 Büyük-O Gösterimini Kullanmak Örnek: 7x 2 nin O(x 3 ) olduğunu gösterin. Çözüm: x > 7 durumunda, 7x 2 < x 3. C =1 ve k = 7 şahitleri ile 7x 2 is O(x 3 ) olur (C = 7 ve k = 1 işe yarar mı?)

34 Polinomlar İçin Büyük-O Kestirimleri Örnek: burada reel sayılardır. a n 0. Böylece f(x) O(x n ) olur. İspat: f(x) = a n x n + a n-1 x n a 1 x 1 + a 1 a n x n + a n-1 x n a 1 x 1 + a 1 x > 1 olsun = x n ( a n + a n-1 /x + + a 1 /x n-1 + a 1 / x n ) x n ( a n + a n a 1 + a 1 ) C = a n + a n a 1 + a 1 alınır ve k = 1 olursa f(x) O(x n ) olur. Polinomların liderlik eden terimi a n x n, polinomun büyümesini baskılar.

35 Fonksiyonların Büyümesinin Gösterimi

36 Büyük-Omega Gösterimi Tanım: f ve g tam sayılardan reel sayılara ya da reel sayılardan reel sayılara iki fonksiyon olsun. Eğer aşağıdaki şartı sağlayan C ve k sayıları varsa diyebiliriz Ω, Yunan harfi ω nın büyüğüdür. burada x > k. f(x) g(x) in Büyük-Omega sıdır şeklinde okunur. Büyük-O, bir fonksiyon için büyümenin üst sınırını verir. Büyük-Omega alt sınırını verir. f(x) Ω(g(x)) tir ancak ve ancak g(x) O(f(x)) ise.

37 Büyük-Omega Gösterimi Örnek: için olduğunu gösteriniz. Burada. Çözüm reel x sayıları için Bütün pozitif

38 Büyük-Theta Gösterimi Θ, Yunan harfi θ nin büyüğüdür. Tanım: : f ve g tam sayılardan reel sayılara ya da reel sayılardan reel sayılara iki fonksiyon olsun. olur, eğer ve ise.

39 Büyük-Theta Gösterimi Örnek: İlk n pozitif tamsayının toplamının Θ(n 2 ) olduğunu gösterin. Çözüm: f(n) = n olsun. f(n) nin O(n 2 ) olduğunu biliyoruz. f(n) nin Ω(n 2 ) olduğunu göstermek için, f(n) > Cn 2 eşitsizliğini sağlayan C sabitine ihtiyacımız var. n/2 den büyük terimleri toplarsak eşitsizliği elde ederiz n n/2 + ( n/2 + 1) + + n n/2 + n/2 + + n/2 = (n n/2 + 1 ) n/2 (n/2)(n/2) = n 2 /4 bütün pozitif n tamsayıları için C = ¼, f(n) > Cn 2 alınırsa, f(n) Ω(n 2 ) olur, ve sonuç olarak f(n) Θ(n 2 ) olur.

40 Büyük-Theta Gösterimi Örnek: f(x) = 3x 2 + 8x log x için Θ(x 2 ) olduğunu gösterin. Çözüm: x > 1 için 3x 2 + 8x log x 11x 2 olur. çünkü 0 8x log x 8x 2. Böylece, 3x 2 + 8x log x, O(x 2 ) dir. x 2 açık bir şekilde O(3x 2 + 8x log x) dir. Böylece, 3x 2 + 8x log x için Θ(x 2 ) olur.

41 Polinomlar İçin Büyük-Theta Kestirimleri Teorem: burada reel sayılar ve a n 0. f(x) Θ(x n ) dir. (İspatı alıştırma olsun.) Örnek: Θ(x 5 ) dir. Θ(x 199 ) dur.

42 Bölüm 3.3

43 Bölüm Özeti Zaman Karmaşıklığı En Kötü Durum Karmaşıklığı Algoritmaların Karmaşıklığını Anlamak

44 Algoritmaların Karmaşıklığı Bir algoritmanın etkinliğine karar verebilmek için aşağıdakileri sormamız gerekir: Bu algoritma bir problemi çözmek için ne kadar zamana ihtiyaç duyar? Bu algoritma bir problemi çözmek için ne kadar hafızaya ihtiyaç duyar? Ne kadar süreye ihtiyaç duyduğunu bulmak için zaman karmaşıklığını hesaplarız. Ne kadar hafızaya ihtiyaç duyduğunu bulmak için alan karmaşıklığını hesaplarız.

45 Algoritmaların Karmaşıklığı Zaman karmaşıklığının bir ölçütü olarak Büyük-O ve Büyük-Theta kullanacağız. Algoritmanın nasıl gerçekleştirileceği ile ilgili detayları (kullanılan veri yapısı, donanım ve yazılım platformları gibi) göz ardı etmemiz gerekli. Diğer türlü işler fazla karmaşıklaşır.

46 Zaman Karmaşıklığı Zaman karmaşıklığı analizi için algoritmanın gerçekleştirdiği ifadelerin sayısı hesaplanır. Algoritmanın önişlem kısımları göz ardı edilir. Algoritmaların en kötü durum analizine odaklanırız. Bu da çalışma zamanının üst sınırını verir. Bir algoritmanın ortalama çalışma zamanını hesaplamak kolay değildir.

47 Algoritmaların Karmaşıklık Analizi Örnek: Bir dizi içerisindeki en büyük elemanı bulan algoritma. procedure max(a 1, a 2,., a n : integers) max := a 1 for i := 2 to n if max < a i then max := a i return max{max is the largest element} Çözüm: Karşılaştırmaları say. max < a i karşılaştırması n 2 defa yapılır. i değişkeninin arttığı her adımda, i n karşılaştırması yapılır i > n. Durumu için son bir karşılaştırma yapılır. Tam olarak 2(n 1) + 1 = 2n 1 karşılaştırma gerçekleştirilir.. Dolayısıyla bu algoritmanın zaman karmaşıklığı Θ(n) olur.

48 Doğrusal Aramanın Zaman Karmaşıklığı Örnek: Doğrusal arama algoritmasının zaman karmaşıklığını hesaplayın. procedure linear search(x:integer, a 1, a 2,,a n : distinct integers) i := 1 while (i n and x a i ) i := i + 1 if i n then location := i else location := 0 return location{location is the subscript of the term that equals x, or is 0 if x is not found} Çözüm: Karşılaştırmaları say. Her adımda şu iki karşılaştırma yapılır: i n ve x a i. Döngüyü sonlandırmak için son olarak i n karşılaştırması yapılır. Döngüden sonra bir kez daha i n karşılaştırması yapılır. eğer x = a i ise 2i + 1 karşılaştırma yapılmış olur. Eğer x listede yoksa, 2n + 1 karşılaştırma ve çıkış işlemleri için gereken diğer karşılaştırmalar yapılır. Sonuç olarak en kötü durumda 2n + 2 karşılaştırma yapılır. Böylece algoritmik karmaşıklık Θ(n) olur.

49 İkili Aramanın Zaman Karmaşıklığı Örnek: İkili aramanın zaman karmaşıklığını, yapılan karşılaştırmalar sayısı olarak ifade edin. procedure binary search(x: integer, a 1,a 2,, a n : increasing integers) i := 1 {i is the left endpoint of interval} j := n {j is right endpoint of interval} while i < j m := (i + j)/2 if x > a m then i := m + 1 else j := m if x = a i then location := i else location := 0 return location{location is the subscript i of the term a i equal to x, or 0 if x is not found} Çözüm: n = 2 k eleman olduğunu varsayalım. k = log n. her adımda şu iki karşılaştırma yapılır: i < j, and x > a m. İlk iterasyonda liste uzunluğu 2 k kadardır ve ilk iterasyondan sonra 2 k-1 olur. Bir sonraki adımda 2 k-2 ve 2 1 = 2 olana kadar gider. Son adımdaki listenin uzunluğu 2 0 = 1 olur. Böylece en fazla 2k + 2 = 2 log n + 2 karşılaştırma yapılır. Sonuç olarak zaman karmaşıklığı Θ (log n),olur ve bu da doğrusal aramadan iyidir.

50 Kabarcık Sıralamanın Zaman Karmaşıklığı Örnek: Kabarcık sıralama algoritmasının en kötü durum zaman karmaşıklığı, gerçekleştirilen karşılaştırmaların sayısı cinsinden nedir? procedure bubblesort(a 1,,a n : real numbers with n 2) for i := 1 to n 1 for j := 1 to n i if a j >a j+1 then interchange a j and a j+1 {a 1,, a n is now in increasing order} Çözüm: Bizi üzerinden n 1 kez geçilir. Her geçişte n i karşılaştırma yapılır. Kabarcık sıralamanın en kötü durum zaman karmaşıklığı Θ(n 2 ) olur. Çünkü eder.

51 Matris Zinciri Çarpımı A 1 A 2 A n şeklindeki bir matris zincirini nasıl çarpalım ki en az sayıda işlem yapılsın? A 1, A 2,, A n matrisleri m 1 xm 2, m 2 xm 3, m n x m n+1 tamsayı matrisleridir. Örnek: A 1 30x20, A 2 20x40, A 3 40x10 matrisler olsun Çözüm: İki yol var. A 1 (A 2 A 3 ): A 2 A = 8000 çarpım gerektirir. Daha sonra A 1 matrisi ile bu 20x0 matrisin çarpımı (A 2 A 3) = 6000 çarpım gerektirir. Toplamda = 14,000 çarpım gerekir. (A 1 A 2 )A 3 : A 1 A = 24,000 çarpım gerektirir. Daha sonra 30x40 olan bu matrisin (A 1 A 2 ) A 3 matrisi ile çarpımı = 12,000 çarpım gerektirir. Toplamda 24, ,000 = 36,000 çarpım gerekir. Sonuç: ilk yol daha iyi.

52 Brute-Force Kaba Kuvvet Algortimaları Bir kaba kuvvet algoritması, düz mantık ile bir problemin çözümüne odaklanır ve hiçbir ön bilgiyi işin içine katmaz. Sıralı arama, kabarcık sıralama gibi algoritmalar kaba kuvvet yaklaşımını kullanırlar.

53 Algoritmik Karmaşıklıklar için kullanılan ortak terimler