Memory. Amac. Baslangictan beri programcilar unlimited hizli memory ler hayal etmisler 1972, PDP-11/20. Oku H&P sections 7.1, 7.2

Transkript

1 Memory Oku H&P sections 7.1, 7. Baslangictan beri programcilar unlimited hizli memory ler hayal etmisler 197, PDP-11/0 64 K lik memory. 600 satirlik Fortran code u ve 16 bit lik 13,000 integer lik veri alani 1/3/004 Bilgisayar Mimarisi 0.1 1/3/004 Bilgisayar Mimarisi 0. Amac Soru: Hizli ve unlimited buyuklukte bellek hayali nasil gerceklenebilir Cevap: memory hierarchy olusturarak IR Opcode R1 CPU data path with control lines Select Take Ta R R3 Ta ALU Take Tb Tb Take Mem PCtoMem Incr PC PC MAR M U X M MEM Take IR M U X R General Registers Take Regs Take MAR 1/3/004 Bilgisayar Mimarisi 0.3 MuxRSel Not Reality, can t access in a cycle 1/3/004 Bilgisayar Mimarisi 0.4

2 Review addressing pages & items Page Location 3 Memory 4 pages 8 items per page Page 0 8 items, numbered 0-7 Page 1 Page Page 3 8 items, numbered 0-7 Linear Address /3/004 Bilgisayar Mimarisi 0.5 program locality prinsiplerini kullanmak Zamanda locality (temporal locality): eger bir instruction a veya data ya reference etmissek, ayni seye yakin bir zamanda buyuk bir ihtimalle tekrar reference edecegiz Uzayda locality (spatial locality): eger bir instructiona veya data ya erismisssek, yakin zamanda erisilen seyin komsulugundaki data/instruction a da buyuk bir ihtimalle erisecegiz 1/3/004 Bilgisayar Mimarisi 0.6 RAM = Random Access Memory Random Access: Access zamani erisilen alandan bagimsiz ve her alana ayni derecede kolaylikla erisilebilinir Fakat gercek random access lere ihtiyac duymayiz (localite den dolayi) Sinirlanmis bir bolgeye hizli bir erisime ihtiyac duyariz Reads & Writes Bunlar iki bmemory operation laridir Write lar islemlerin yaklasik %13 unu teskil eder Read, hem data okuma hem de instruction okuma anlamina gelir Read/write istatistikleri cache in calisma seklinde onemli rol oynarlar 1/3/004 Bilgisayar Mimarisi 0.7 1/3/004 Bilgisayar Mimarisi 0.8

3 Memory yapi blocklari CPU cycle time 1 nsec Static RAM: 5 nsec, $50 per Mbyte Dynamic RAM: 50 nsec, $5 per Mbyte Hard disk: 10 msec, 10 cents per Mbyte Human-scale times CPU cycle time: 1 second Static RAM: 5 sec Dynamic RAM: 1 minute Hard disk: 1 semester! 1/3/004 Bilgisayar Mimarisi 0.9 1/3/004 Bilgisayar Mimarisi 0.10 memory hierarchy Disklerin farkli yapiya sahip olmadiklarini kabul et (gercekte is boyle degil) Diskler yavas, buyuk ve ucuz memory lerdir. Diskler random access ozelligi yoktur. Burst access ozelligine sahiptirler, bu ozellik onlarin locality prensibine uygun sekilde calismalarina olanak saglar Her bir level alttaki level in subsetidir Ornegin: Level 1 deki data ayni zamanda Level de de bulunur Memory Hierarchy CPU Lev 1 Level Level N Size of Memory at each level Increasing distance from CPU in access time 1/3/004 Bilgisayar Mimarisi /3/004 Bilgisayar Mimarisi 0.1

4 Memory Hierarchy Operation sadece komsu iki level arasinda kopyalanir CPU Lev 1 Level Veri transfer birimi block dur. Block size (block boyu) nin belirlenmesi memory hierarchy design inin bir parcasidir Memory Hierarchy Operation CPU data yi en yuksek level da bulmaya calisir. Eger basarili olunursa hit olarak adlandirilir. Eger islem basarisiz ise miss olarak adlandirilir CPU Lev 1 Level Block, hit veya miss e sebep olabilen minimum uzunluklu data blogudur. Level N Level N 1/3/004 Bilgisayar Mimarisi /3/004 Bilgisayar Mimarisi 0.14 Memory Hierarchy Operation Eger miss olursa, daha sonraki dusuk seviyeye CPU erisilir ve block bir ustteki level a kopyalanir Lev 1 Level rate (%) performansin belirlenmesinde rol oynar Memory Hierarchy Operation rate performansi belirlemede rol oynar time: Eger erisilen level da block bulunmussa, ne kadar sure sonra kullanilacak hale gelir CPU Lev 1 Level Miss penalty: erisilen level da bulunamayan block un nekar sure zarfinda bir sonraki level dan CPU getirilecegini belirleyen sure Level N Level N 1/3/004 Bilgisayar Mimarisi /3/004 Bilgisayar Mimarisi 0.16

5 Memory hierarchy operation Bilgisayar performansi icin onemlidir Programciya ve assmbly code a tranparent dir Programci bunun farkinda olmaz Hardware implementation Amac: ilgili data yi mumkun oldugunca en yukseklevel a tasi En hizli bir sekilde erisilebilinsin Cache nedir? Iki memory layeri i birlestirme mekanizmasi Usteki level alttaki level in cache i olur En yuksek seviyedeki cache CPU nun icindedir Register 1/3/004 Bilgisayar Mimarisi /3/004 Bilgisayar Mimarisi 0.18 CPU ile memory arasinda bulunur DRAM deki data nin bir subset ini depolar Bir tag ve bir de data alanina sahip memory address idir address deki data nin bir kopyasi Temel Cache Memory /3/004 Bilgisayar Mimarisi CPU address leri saglar. Match icin tag lara bakilir Eger match varsa, HIT olusur ve data okunur Eger match yoksa MISS olusur. data icin memory e gidilir, data ve address (TAG) cache konur Cache Read Memory /3/004 Bilgisayar Mimarisi

6 Cache Operations Start IX Read 1110 (miss) Mem Addr: Block IX M(1110) 11 Read 0000 (miss) IX M(0000) M(1110) Cache Direct-mapped cache Dusuk level daki her bir item icin cache de konulabilecek sadece bir location var Read 1010 (miss) IX M(0000) M(1010) 11 Read 1010 (hit) IX M(0000) M(1010) 11 1/3/004 Bilgisayar Mimarisi /3/004 Memory Bilgisayar Mimarisi Cache Direct Mapping Ornek: Cache de 8 block var block = 1 word Memaddr is modulo 8 1/3/004 Memory Bilgisayar Mimarisi 0.3 CPU data yi cache de arar CPU memory address saglar Cache memory deki data nin sadece bir kismini tutabilir nin cache de oldugunu nasil anlariz? Eger cache oldugunu anlarsak nasil bulabiliriz? Eger data cache degilse daha dusuk seviyeden cache nasil getirilebilir? 1/3/004 Bilgisayar Mimarisi 0.4

7 dd ess (s o g b t pos t o s) Valid Byte Direct-mapped Cache Block size = 1 word Cache line (block) neler icerir? Gercek data Valid bit Block daki verinin gecerli olup olmadigini gosterir Bloktaki verinin daha dusuk leveldaki memory den getirildigini gosterir Verinin blok da aranmasi sirasinda karsilastirma islemi icin kullanilir Bunlar alt level daki veri cache e getirildiginda guncellenirler 1/3/004 Bilgisayar Mimarisi 0.5 1/3/004 Bilgisayar Mimarisi Byte Byte Valid Memorydeki word un 3-bit address i Valid Byte lari address leyen LSB ler goz onune alinmaz. 10 bit cache deki 104 block dan birini secmek icin kullanilir (Cache index) 0-bit tag alani addressin 0 MSB leri gosterir /3/004 Bilgisayar Mimarisi 0.7 1/3/004 Bilgisayar Mimarisi 0.8

8 Byte 0 10 Cache den okuma Read -- istenilen sey Valid Indekslenen cache block un tag i gelen address in tag ile ayni ise (match olursa) ve Valid bit 1 (set edilmis ise) ise hit olusur. Daha sonra CPUdata yi okur Read Miss -- CPU yu stall et (gecici calismasini askiya al), memory den block u fetch et, block u cache e getir ve CPU yu kaldigi yerden devam ettir 1/3/004 Bilgisayar Mimarisi 0.9 1/3/004 Bilgisayar Mimarisi 0.30 Cache yazma Write : iki secenek var Write-through: yi hem cache hem de memory de update et (guncelle). Cache ve memory birbiriyle tutarli (cache consistency) Write-back: yi sadece cache de guncelle. daha sonra memory den gelen baska data ile yerdegistirildigin (replace), meory deki kopyayi guncelle (Herhangi bir anda memory deki data ile cache deki kopyasi farkli olabilir) Write Miss: block u cache getir. Daha sonra isleme devam et. Miss rate (Miss orani) leri dusuktur Genel olarak bir programlarad data miss rate instruction miss rate inden buyuktur 1/3/004 Bilgisayar Mimarisi /3/004 Bilgisayar Mimarisi 0.3

9 Cache Block size (cache blok boyu) Dusuk level daki memory yuksek seviyedeki cache den cok daha yavas Instruction lar ve data locality ozelligine sahip Bir kac instruction I veya data yi birlikte fetch et 1/3/004 Bilgisayar Mimarisi 0.33 Line: cache bir defa da yazilan memory uzunlugu. Block olarak da adlandirilir. 3 byte uzunluk lu line lar yaygindir. Line size Arttikca missler azabilir (localiteden dolayi), access time penalty artar (gereginden fazla data ya erisim) Cache Lines Memory /3/ Bilgisayar Mimarisi Byte 1 Block New division of 3-bit address bits 18 bits V 16 1 Byte Block 16 bits 18 bits V 4K entries K entries Mux Cache with a four-word line Mux 3 H&P: block size is 4 words, 16 bytes 1/3/004 Bilgisayar Mimarisi /3/004 Bilgisayar Mimarisi 0.35

10 Block un tag I address den gelen tag la ayniysa ve V biti 1 ise hit olur Miss olusmussa block size i kadar data okunup (ornekte 4 word) cache yazilir Byte 16 1 Byte Block Block 16 bits 18 bits V 16 bits 18 bits V 4K entries 4K entries Mux Mux 3 3 CPU hit olan cache block tan sadece 1 word okur 1/3/004 CPU ya yalnizca Bilgisayar Mimarisi 1 word getirilir /3/004 Bilgisayar Mimarisi 0.37 Block boyunu artirmakla ne kadar kazanc saglanabilir Memory den bir anda daha fazla sey cache getirilir rate artabilir Artma nereye kadar? 1/3/004 Bilgisayar Mimarisi 0.39 Miss rate 40% 35% 30% 5% 0% 15% 10% 5% 0% Block size (bytes) 1KB 8KB 16 KB 64 KB 56 KB 1/3/004 Bilgisayar Mimarisi 0.40