老菜鳥(niǎo)說(shuō)給新菜鳥(niǎo)的存儲基礎知識

說(shuō)在前面的幾句話(huà):
我工作的時(shí)間也不短了,但是還算是一個(gè)老菜鳥(niǎo),所以我姑妄說(shuō)之,您姑妄聽(tīng)之.另外,我也是想到哪兒寫(xiě)道哪兒,沒(méi)什么章法,還望海涵.

有些新手總是在各式各樣的概念里繞來(lái)繞去，弄的不亦樂(lè )乎。所以我就把我的一些理解寫(xiě)了下來(lái),供您參考.我說(shuō)的不局限于任何一種具體產(chǎn)品和廠(chǎng)家,也可能有些說(shuō)法和某些廠(chǎng)家的說(shuō)法不一樣,但是我覺(jué)得應該算的上是本原的東西，有以不變應萬(wàn)變之功效，呵呵，見(jiàn)笑
1、關(guān)于HBA
HBA的全稱(chēng)為Host Bus Adapter，即主機總線(xiàn)適配器。
a、總線(xiàn)適配器是個(gè)什么東西呢？
我們首先要了解一下主機的結構，一臺計算機內部多半由兩條總線(xiàn)串在起來(lái)(當然實(shí)際情況會(huì )有不同，這里只討論常見(jiàn)的，簡(jiǎn)單的情況)，一條總線(xiàn)叫系統總線(xiàn)，一條叫I/O總線(xiàn)。系統總線(xiàn)上接了CPU，MEmory，cache什么的，I/O總線(xiàn)上接的就是外圍設備，現如今最常見(jiàn)的就是PCI總線(xiàn)了。這兩條總線(xiàn)之間用橋接的芯片或者說(shuō)電路連接起來(lái)。舉個(gè)形象的例子，就好比一個(gè)城市里，有兩條主干道，一條屬于行政區，一條屬于商業(yè)區，中間有個(gè)環(huán)島，將兩條主干道連接到了一起，系統總線(xiàn)就好比行政區里的主干道，而I/O總線(xiàn)就好比商業(yè)區的主干道。系統總線(xiàn)和I/O總線(xiàn)的帶寬的單位都是以Gbyte來(lái)記，但是顯而易見(jiàn)的是，行政區的主干道和商業(yè)區的主干道相比的話(huà)，前者肯定更“核心”，更寬，更順暢，設計的要求也高。
我們知道，在向公仆部門(mén)要求服務(wù)的時(shí)候，是要有一些接口的部門(mén)和程序的，而橋接芯片的作用就是連接和協(xié)調兩條總線(xiàn)的工作的。
雖然I/O總線(xiàn)的速度和系統總線(xiàn)的帶寬相比要低很多，但是好歹也是以G來(lái)計量的，而我們知道外圍設備的速度，往往只有幾百兆，甚至幾十k而已，怎么協(xié)調工作呢？好比賣(mài)煎餅果子攤子不能直接戳到城市主干道上，怎么辦？好辦，在主干道邊上開(kāi)個(gè)2000平米的小吃城，把攤子都收進(jìn)去好了。那么主機總線(xiàn)適配器的作用也就是這個(gè)，我們就是要把外設組織起來(lái)，連接到I/O總線(xiàn)上去！HBA就是指Host和I/O BUS直接的一個(gè)適配器，也好比一個(gè)水管工常說(shuō)的“雙通”。
b、常見(jiàn)的HBA有哪些呢？
比如顯卡，網(wǎng)卡，scsi卡，1394卡等等。我要拿出來(lái)說(shuō)的就是FCHBA和ATA&IDE。我們通常說(shuō)的什么Emulex的LP9002，什么Qlogic的QLA2340都是FCHBA卡，就是將Fibre Channel的設備和IO總線(xiàn)連接起來(lái)的適配器。ATA也是一種適配器技術(shù)，我們PC主板上的ATA接口，就是一個(gè)磁盤(pán)適配器的對外接口，要強調的就是，ATA說(shuō)的是適配器技術(shù)，IDE是說(shuō)得存儲外設技術(shù)，比如我們可以說(shuō)IDE硬盤(pán)，IDE光驅?zhuān)�說(shuō)ATA接口，但是說(shuō)IDE接口，ATA硬盤(pán)就不時(shí)那么合適了，雖然很多情況下，大家都習慣把他們混在一起說(shuō)。
描述HBA的時(shí)候，有幾個(gè)主要的規范要說(shuō)一下
> 一個(gè)承上，就是說(shuō)，HBA和IOBUS怎么連，我們經(jīng)常說(shuō)的PCI接口卡，就是指這個(gè)HBA卡是要插在PCI BUS上的PCI slot上的，但是現在的計算機上，不僅僅只有PCI總線(xiàn)而已，大家碰到的時(shí)候留意。
>一個(gè)啟下，就是說(shuō)HBA要和外設怎么連，這樣的規范就很多了。
>再說(shuō)HBA本身，比如帶寬，比如運行機制(protocol等)，獨立處理能力等等
Tips：有時(shí)候我們看到的一塊卡，看到的實(shí)際是一個(gè)物理的卡，有的時(shí)候實(shí)際上是多個(gè)Adapter，好比一家機構，掛多個(gè)牌子，有的時(shí)候，一塊卡有兩條通道，好比一家公司，有兩套人馬。

2、關(guān)于lun

a、lun的概念
lun的全稱(chēng)是logical unit number，也就是邏輯單元號。我們知道scsi總線(xiàn)上可掛接的設備數量是有限的，一般為6個(gè)或者15個(gè)，我們可以用target ID(也有稱(chēng)為scsi id的)來(lái)描述這些設備，設備只要一加入系統，就有一個(gè)代號，我們在區別設備的時(shí)候,只要說(shuō)幾號幾號就ok了。
而實(shí)際上我們需要用來(lái)描述的對象，是遠遠超過(guò)該數字的，于是我們引進(jìn)了lun的概念，也就是說(shuō)lun id的作用就是擴充了target id。每個(gè)target下都可以有多個(gè)lun device，我們通常簡(jiǎn)稱(chēng)lun device為lun，這樣就可以說(shuō)每個(gè)設備的描述就有原來(lái)的target x變成target x lun y了,那么顯而易見(jiàn)的,我們描述設備的能力增強了.就好比,以前你給別人郵寄東西,寫(xiě)地址的時(shí)候,可以寫(xiě):
xx市人民大街54號 xxx(收)
但是自從高樓大廈越來(lái)越多,你不得不這么寫(xiě):
xx市人民大街54號xx大廈518室 xxx (收)
所以我們可以總結一下,lun就是我們?yōu)榱耸褂煤兔枋龈�多設備及對象而引進(jìn)的一個(gè)方法而已,一點(diǎn)也沒(méi)什么特別的地方.
b、lun是什么東西？
lun id不等于某個(gè)設備,只是個(gè)號碼而已,不代表任何實(shí)體屬性,在我們的實(shí)際環(huán)境里,我們碰到的lun可能是磁盤(pán)空間,可能是磁帶機,或者是media changer等等.
lun的神秘之處(相對于一些新手來(lái)說(shuō))在于，它很多時(shí)候不是什么可見(jiàn)的實(shí)體，而是一些虛擬的對象。比如一個(gè)陣列柜，主機那邊看作是一個(gè)target device，那為了某些特殊需要，我們要將磁盤(pán)陣列柜的磁盤(pán)空間劃分成若干個(gè)小的單元給主機來(lái)用，于是就產(chǎn)生了一些什么邏輯驅動(dòng)器的說(shuō)法，也就是比target device級別更低的邏輯對象，我們習慣于把這些更小的磁盤(pán)資源稱(chēng)之為lun0,lun1,lun2....什么的。而操作系統的機制使然，操作系統識別的最小存儲對象級別就是lun device，這是一個(gè)邏輯對象，所以很多時(shí)候被稱(chēng)之為logical device。
有人說(shuō)，我的windows里，就認到一個(gè)磁盤(pán)呀，沒(méi)看到什么lun的說(shuō)法，是不是lun=physical disk呢？回答是否定的，只要你注意，磁盤(pán)的屬性里就可以看到有一個(gè)lun的值，只是因為你的disk沒(méi)有被劃分為多個(gè)存儲資源對象，而將整個(gè)磁盤(pán)當作一個(gè)lun來(lái)用，lun id默認為零，如此而已。
我們曾經(jīng)碰到過(guò)這樣的問(wèn)題，比如有人問(wèn)，我們有一個(gè)磁盤(pán)陣列，連到了兩個(gè)主機上，我們劃分了一個(gè)lun給兩個(gè)主機認到，然后我們想，先在操作系統將磁盤(pán)分為兩個(gè)區，讓兩個(gè)主機分別使用兩個(gè)分區，然后再出現某一臺主機宕機之后，使用集群軟件將該分區切換到另外一個(gè)主機上去，這樣可行嗎？答案也是否定的，集群軟件操作的磁盤(pán)單元是lun，而不是分區，所以該操作是不可行的。當然，在一些環(huán)境，一般也是一些要求比較低的環(huán)境，可以在多個(gè)主機上掛載不同的磁盤(pán)分區，但是這種情況下，實(shí)際上是沒(méi)有涉及到磁盤(pán)的切換的，所以在一些高要求的環(huán)境里，這種情況根本就不允許存在。
還要說(shuō)明的地方是，在有些廠(chǎng)商和有些產(chǎn)品的概念里，lun id被綁定到了具體的device上，比如ibm的一些帶庫，整個(gè)帶庫只有一個(gè)target id，然后changer,tape drive被分別分配為lun0,lun1,lun2.....，但是我們要注意到，這只是產(chǎn)品做了特別設計，也是少數情況。
c、存儲和主機的電氣獨立時(shí)代的lun的概念
還有很多新手總是把陣列里面的磁盤(pán)和主機的內部磁盤(pán)的一些概念搞混淆了。
在磁盤(pán)陣列和磁帶庫大行其道的時(shí)代，存儲越來(lái)越智能化，越來(lái)越像一個(gè)獨立的機器，實(shí)際上存儲和主機的電氣獨立本來(lái)就是一個(gè)必然趨勢，俗話(huà)說(shuō)得好，兒大要分家嘛。在存儲越來(lái)越重要的時(shí)代，存儲要自立門(mén)戶(hù)是必然的事。
如果我們把存儲當作一個(gè)獨立的主機來(lái)看，理解起來(lái)就很簡(jiǎn)單了。我們說(shuō)到lun的概念的時(shí)候，我們就要將分為兩個(gè)層面。一個(gè)層面就是在陣列這個(gè)機器的os識別到的范圍，一個(gè)層面就是服務(wù)器的os識別到的范圍。這兩個(gè)層面是相對獨立的，因為如果我們把存儲當作一個(gè)主機來(lái)看，那么它自然有自己的device，target，lun之說(shuō)，而服務(wù)器也有自己的device,target,lun之說(shuō)；另外一方面，這兩個(gè)層面又是相互關(guān)聯(lián)的，一個(gè)陣列的控制系統，大多都有虛擬化的功能，陣列想讓主機看到什么樣的東西，主機才能看到相應的東西。當然，服務(wù)器識別到的最小的存儲資源，就是lun級別的。那么主機的HBA卡看到的存儲上的存儲資源就靠主要兩個(gè)東西來(lái)定位，一個(gè)就是存儲系統的控制器(target)，一個(gè)就是lun id，這個(gè)lun是由存儲的控制系統給定的，是存儲系統的某部分存儲資源。

d、lun masking，lun mapping
我們有了獨立的磁盤(pán)陣列用了之后，服務(wù)器只要看到存儲的控制系統，就有可能使用磁盤(pán)陣列的磁盤(pán)資源，但是磁盤(pán)陣列不可能只為某一個(gè)服務(wù)器來(lái)使用，所以他必須管制主機使用某部分磁盤(pán)資源。這個(gè)管制分為兩個(gè)部分：一部分就是lun mapping,類(lèi)似于綠色通道，就是保證服務(wù)器能看到某部分存儲資源,一部分就是lun masking，類(lèi)似于警戒線(xiàn)，就是保證服務(wù)器只可訪(fǎng)問(wèn)給它分配的存儲資源，而沒(méi)分配給服務(wù)器的資源，就不要染指了。
實(shí)現lun masking和lun mapping有三種方法：一個(gè)是基于存儲控制系統來(lái)設置，一個(gè)是基于存儲交換系統來(lái)設置，一個(gè)是基于服務(wù)器os來(lái)設置。
基于存儲控制系統得設置，是比較常見(jiàn)的設置，比如很多磁盤(pán)陣列的控制系統，本身就能設置lun被某服務(wù)器看到。比如FastT的partition功能。
基于存儲交換系統的設置，也是一種常用的方法，比如常說(shuō)的zoning。
基于服務(wù)器os的設置，比較少采用，一般采用安裝某些操作系統上安裝某些軟件來(lái)實(shí)現，因為這個(gè)方法全靠服務(wù)器自覺(jué)，所以比較少用，呵呵。
e、lun的multi-path
現在，存儲網(wǎng)絡(luò )越來(lái)越發(fā)達了，一個(gè)lun有多條通路可以訪(fǎng)問(wèn)也不是新鮮事了。
服務(wù)器使用多個(gè)HBA連接到存儲網(wǎng)絡(luò )，存儲網(wǎng)絡(luò )又可能是由多個(gè)交換設備組成，而存儲系統又可能有多個(gè)控制器和鏈路，lun到服務(wù)器的存儲網(wǎng)絡(luò )鏈路又可能存在著(zhù)多條不同的邏輯鏈路。那么，必然的，同一個(gè)physical lun在服務(wù)器上必然被識別為多個(gè)設備。因為os區別設備無(wú)非用的是總線(xiàn)，target id，lun id來(lái)，只要號碼不同，就認為是不同的設備。
由于上面的情況，多路徑管理軟件應運而生了，比如emc的powerpath，這個(gè)軟件的作用就是讓操作系統知道那些操作系統識別到lun實(shí)際上是一個(gè)真正的physical lun，具體的做法，就是生成一個(gè)特別的設備文件，操作系統操作這個(gè)特殊的設備文件。而我們知道，設備文件+driver+firmware的一個(gè)作用，就是告訴操作系統該怎么使用這個(gè)設備。那么就是說(shuō)，多路徑管理軟件從driver和設備文件著(zhù)手，告訴了操作系統怎么來(lái)處理這些身份復雜的lun。

待續......待續......