ÇOKLUORTAM VERİLERİNİN TEMELLERİ

Transkript

1 ÇOKLUORTAM VERİLERİNİN TEMELLERİ Çokluortam sistemleri Verilerin üretimi, Verilerin manipülasyonu, Depolanması, Sunulması ve Bilginin iletilmesi işlemlerini gerçekleştirmek zorundadır. 1

2 Discrete and Continuous Media All data must be in the form of digital information. The data may be in a variety of formats: text, graphics, images, audio, video. Synchronisation A majority of this data is large and the different media may need synchronisation: The data will usually have temporal relationships as an integral property. 2

3 Static and Continuous Media Static or Discrete Media Some media is time independent: Normal data, text, single images, graphics are examples. Continuous Media Time dependent Media: Video, animation and audio are examples. 3

4 Analog and Digital Signals Analog Signal An analog or analogue signal is any continuous signal for which the time varying feature (variable) of the signal is a representation of some other time varying quantity, i.e., analogous to another time varying signal. Digital Signal A digital signal is a physical signal that is a representation of a sequence of discrete values (a quantified discretetime signal), for example of an arbitrary bit stream, or of a digitized (sampled and analog-to-digital converted) analog signal. 4

5 Analog and Digital Signal Conversion The world we sense is full of analog signals. Electrical sensors convert the medium they sense into electrical signals E.g. transducers, thermocouples, microphones. Analog: continuous signals must be converted or digitized for computer processing. Digital: discrete digital signals that computer can readily deal with. 5

6 Analog-to-Digital Converter (ADC) Special hardware devices : Analog-to-Digital converters Take analog signals from analog sensor (e.g. microphone) and digitally sample data. 6

7 Digital-to-Analog Converter (DAC) Playback a converse operation to Analog-to-Digital Takes digital signal, possible after modification by computer (e.g. volume change, equalization) Outputs an analog signal that may be played by analog output device (e.g. loudspeaker, CRT display) 7

8 Analog-to-Digital-to-Analog Pipeline (1) Begins at the conversion from the analog input and ends at the conversion from the output of the processing system to the analog output as shown below: 8

9 Analog-to-Digital-to-Analog Pipeline (2) Moire (hareli kumaş) deseni, bir nesne veya olay fotoğraflanırken sensör çözünürlüğünü aşan tekrarlayan detaylar olduğunda (çizgiler, noktalar gibi) ortaya çıkar. Bunun sonucu olarak, fotoğraf makinesi yandaki gibi garip görünümlü dalgalanmalar üretir. 9

10 Analog-to-Digital-to-Analog Pipeline (2) Anti Aliasing (AA) filtrelerin görevi ise bu istenmeyen görüntülerin oluşmaması için görüntüyü yumuşatarak sensöre iletmektir. AA filtre ile yapılan bu yumuşatma moire etkisini ciddi olarak azaltsa da fotoğraflardaki keskinliği azaltmaktadır. Yani bu filtreler köşelerin keskinliğini azaltarak, görüntü bozukluğunun daha yumuşak görünmelerini sağlarlar. 10

11 Analog-to-Digital-to-Analog Pipeline (2) Anti-aliasing filters (major part of Analog Conditioning) are needed at the input to remove frequencies above the sampling limit that would result in aliasing. The anti-aliasing filter at the output removes the aliases that result from the sampling theorem. After the anti-aliasing filter, the analog/digital converter (ADC) quantizes the continuous input into discrete levels. After digital processing, the output of the system is given to a digital/analog converter (DAC) which converts the discrete levels into continuous voltages or currents. This output must also be filtered with a low pass filter to remove the aliases from the sampling. Subsequent processing can include further filtering, mixing or other operations. 11

12 Multimedia Data: Input and format How to capture and store each Media format? Note that text and graphics (and some images) are mainly generated directly by computer/device (e.g. drawing/painting programs) and do not require digitizing: They are generated directly in some (usually binary) format. Printed text and some handwritten text can be scanned via Optical Character Recognition Handwritten text could also be digitized by electronic pen sensing Printed imagery/graphics can be flatbed scanned directly to image formats. 12

13 İnsan Duyma Sistemi (1) Kulak (auris), işitme işlevini gören ve denge organını içinde bulunduran anatomik yapıdır. Üç kısımda incelenir: Dış kulak, Orta kulak, İç kulak. 13

14 İnsan Duyma Sistemi (2) Dış Kulak : İki kısımdan oluşur. Dışa doğru çıkıntı yapan kısmına kulak kepçesi adı verilir. Kulak kepçesi sesin yönünün belirlenmesinde işlev görür. Burayı orta kulağa bağlayan kanal ikinci kısmı yapar ve dış kulak yolu adını alır. Dış kulak yolunun sonunda yarı saydam olan sedef renginde kulak zarı bulunur. Kulak zarı; dış kulak ile orta kulağı birbirinden ayırır. 14

15 İnsan Duyma Sistemi (3) Orta Kulak: Sahip olduğu çekiç, örs ve üzengi kemikçikleri zar ile iç kulağın bağlantısını sağlar. Bu üç kemikçik vücudun en küçük kemikçikleri olup zara gelen titreşimi takriben kat arttırırlar ve iç kulağın perilenf sıvısına iletirler. Çekiç kemiği zara yapışıktır. Örs, ortada ve üzengi ise iç duvarda yapışıktır. Üzengi kemiğinin yapıştığı nokta oval pencere adını alır ve iç kulağa titreşimlerin iletimi buradan olur. 15

16 İnsan Duyma Sistemi (4) İç Kulak: Çok karışık yapılardan oluşan ve önemli fonksiyonlar üstlenen kısımdır. Hepsi de temporal kemik içerisinde yer alan, birbirinden ayrı üç kemik boşluktan meydana gelir. Bu kemik boşluklara kemik labirent (labyrinthus osseus) adı verilir. Kemik labirent üç bölümden oluşur: Oval pencerenin açıldığı kısma vestibulum (dalız) Cochlea (salyangoz kabuğu) ve Semisirküler kanallar (canalis semisircularis osseus, kemik yarım daire kanalları)'dır. 16

17 İnsan Duyma Sistemi (5) Kulak kepçesi tarafından yakalanan akustik dalga dış kulaktaki kulak zarı tarafından orta kulaktaki örs, çekiç ve üzengi kemikleri aracılığı ile iç kulaktaki salyangoz organına aktarılır. Salyangoz akustik dalgayı beynin yorumlayabileceği elektriksel işarete dönüştürmekle görevlidir. Bu aktarma ve elektriksel işarete çevirme işlemleri, insan duyma sisteminin karakteristik özelliklerinin ana belirleyicisidir. 17

18 İnsan Duyma Sistemi (6) Sesin bir ortamda yayılma hızı, ortamın sabit hacimdeki ve sabit basınçtaki öz ısılarına, sıcaklığına ve yoğunluğuna bağlıdır. Bazı ortamlar için sesin yaklaşık yayılma hızları, saniyede metre olarak şöyledir: Kuru havada: 340 m Hidrojen gazında:1307 m Suda: 1500 m Camda ve çelikte: 5000 m Sesin fizyolojik özellikleri: 1. Yükseklik: Sesin frekansıdır. İnsan kulağı frekansı yaklaşık 20 ile hz. olan sesleri işitebilir. Sesin frekansına bağlı olarak yüksekliği tarif edilir. İnce seslerin frekansları büyük, kalın seslerin ise frekansları küçük değerlerdedir. Frekansları, 20 den küçük olan seslere İnfrasonik, den büyük olanlara ise Ultrasonik denir. Sesin frekansı kaynağın hareketine bağlı olarak kayma gösterir. (Bkz. Doppler Olayı, Uçağın sesini algılayışımız ) 18

19 İnsan Duyma Sistemi (7) 2. Şiddet: Ses dalgalarının bir santimetrekarelik yüzeydeki güçlerine denir. Birimi watt/cm 2 dir. Ses şiddeti, dalganın frekansına ve dalga genliğinin karesine bağlıdır. Şiddet sebebiyle ses kuvvetli veya zayıf olarak duyulur. İnsan kulağı 1016 watt/cm 2 ile 104 watt/cm 2 şiddet değerleri arasındaki sesleri duyabilir. Duyma şiddeti desibel birimiyle bilinir. Duyulan ses şiddeti alt limite giderken, duyma şiddeti de sıfır desibele gider. Duyulan ses şiddeti üst limite giderken, duyma şiddeti 120 desibele gider. Yani duyma şiddeti, duyulan sesin şiddetinin logaritması ile orantılıdır. Normal insan sesinin duyma şiddeti 70 desibel civarındadır. Ses şiddeti kaynaktan uzaklaştıkça azalır, düşer. İşitmenin alt limitinde kulak zarının titreşim hareketinin genliği yaklaşık 3, cm dir. Bu mesafe, bir hidrojen atomunun çapının ancak binde 36 sıdır. Yani, kulak zarı en güçsüz sesi işitirken inanılmaz derecede küçük bir genlikle titreşmektedir. Bu ise kulağın ne kadar hassas yaratıldığını göstermektedir. 19 birimi: watt/cm 2 A: ses dalgalarının genliği, P: basınç genliği, v: sesin hızı, d: ortamın yoğunluğu, f: frekans

20 İnsan Duyma Sistemi (8) 3. Tını ve harmonikler: Ses kaynakları, genellikle ana ses denilen (en kalın) sesle birlikte, frekansları ana sesin frekansının tam katları olan tali sesler çıkarırlar. Bu tali seslere ana sesin harmonikleri denir. Bu sesler etrafa ana sesle birleşmiş olarak yayılırlar. Tını, bir sesin kulağa tesiridir. Farklı kaynaklardan çıkan sesler aynı yükseklik ve şiddette olsalar da tınıları farklıdır. İşitsel çoklu ortamların gizli haberleşme aracı olarak kullanılması durumunda neler dikkate alınmalıdır? (Üzerine düşünmeye değer bir konu) 20

21 İnsan Duyma Sistemi (9) Ses dalgaları da kırılma, yansıma ve girişim özelliklerini gösterirler. Kırılma olayı ortam değişikliğiyle olur. Havanın sıcaklık, yoğunluk durumuna göre sesin yayılma hızı değişir. 21 Soğuk havada ses hızı azalır. Ses sıcak havadan soğuk havaya geçerken yayılma doğrultusunu değiştirir. Yayılan ses dalgaları duvar, kayalık gibi sert düz yüzeylere çarpınca doğrultularını değiştirirler. Bu olay yansımadır. Yansıma olayında sesin özellikleri değişmez. Yansımış dalgalar tekrar geriye dönerse ikinci bir ses meydana gelir. Bu sese yankı denir. Yankı ilk sesten yaklaşık 0,1 sn den daha az bir zamanda gelirse kulak bu sesi, ikinci sesin devamı gibi işitir, buna çınlama denir. İlk ses ile yankı arasındaki zaman farkından yansıtıcı engelin uzaklığı hesap edilebilir. Gemicilikte deniz derinlikleri bu yolla ölçülmektedir. Yarasalar da etraflarındaki engelleri ses dalgaları ile fark ederler. Yansıtıcı yüzeylerde aynı zamanda yutulma da olur. Yutulma veya yansıma maksada göre yüzeyin yapısındaki değişiklikle ayarlanabilir. Camilerde, konferans salonlarında bu işle ilgili hesaplamalar yapılır. Mantar kumaş gibi gözenekli yüzeylerde yutulma fazla olmaktadır. (Bkz. Akustik)

22 İnsan Duyma Sistemi (10) Ses dalgaları girişimle birbirini kuvvetlendirip, zayıflatabilirler. Girişim yapan dalgalar arasındaki yol farkının, dalga boyunun yarısına eşit olması şartını sağlayan yerlerde yok edici girişim olur, böyle yerlerde ses işitilmez. Vuru (Batman) olayı: Genlikleri hemen hemen eşit ve frekansları biraz farklı olan iki kaynağın verdiği ses dalgalarının üst üste binmesi neticesinde, frekansı iki frekansın farkına eşit olan ses yükselmeleri meydana gelmesidir. Vuru olayında ses periyodik olarak azalıp, çoğalır. Şok dalgaları: Hareketli ses kaynağının hızı, sesin yayılma hızını geçince, ses, patlama sesi olarak duyulur. Bu durumda dalga ışın gibi konik bir alana yayılır ve şok dalgaları olarak isimlendirilir. Böyle durumlarda sesin yayılma hızının kaynağın yayılma hızına oranına Mach sayısı denir. (şok dalgaları.flv) 22

23 İnsan Görme Sistemi (1) The human eye consists of the sclera, the cornea, ocular muscles, the choroid, the retina, the iris, the muscular tissue, the lens and the pupil. After the light enters the pupil, it directly falls onto the lens of the eye where it is improved before passing through to the retina. The lens is a biconvex composition that is encased in a thin transparent layer. It not only refracts but also focuses the incoming light onto the retina for optic processing. 23

24 İnsan Görme Sistemi (2) There are two main types of bulk photoreceptors in the human retina, named as rods and cones. The formers are responsible for vision at especially low light levels. They do not provide color vision and have almost no effect on spatial perception. Unlike the rods, the latters are active at higher light levels, responsible for color vision and spatial perception. The fovea part of the human eye hosts the cones and rods. There are approximately 150,000 cones/mm 2 (7 million) and 200,000 rods/mm 2 (120 million) in the fovea. The rods are extremely sensitive to the light. On the other hand, the cones supply the eye's color sensitivity. 24

25 İnsan Görme Sistemi (3) Measured density curves for the rod and cone photo-receptors show a huge density of cones in the fovea centrals that is related to both color vision and the highest visual perception. Visual inspection of a small detail associated with focusing light from that detail onto the fovea centrals. On the other hand, there are no rods on the macula. At a few degrees apart from macula, the rods' density increases extremely and spreads over a large part of the fovea. These rods make easy the night vision, motion detection and peripheral vision. 25

26 İnsan Görme Sistemi (4) Cone and Rode Density calculation: C W = 7,000,000 / (120,000, ,000,000) = R W = 120,000,000 / (120,000, ,000,000) = Buradan çıkarılacak sonuç nedir? Görsel çoklu ortamların gizli haberleşme aracı olarak kullanılması durumunda yukarıdaki durum nasıl dikkate alınmalıdır? (Biraz beyin jimnastiği ile yeni görüşler ortaya çıkabilir.) 26