LTFS搭配LTO-5改變磁帶應用風貌

問世已超過半世紀的磁帶，無論存取機制或應用方式都非常的單調，都是以循序的方式將資料區塊透過線性或螺旋格式記錄到磁帶上，而且寫入到磁帶中的都是不包含檔案屬性等元資料（meta data）的檔案資料本體（bodies），所以是不具備「自我描述（self-describing）」性的資料儲存。meta data是透過其他應用程式（如備份或歸檔軟體）的資料庫負責記錄，而這些特性，也限制了磁帶的應用型態。

不過這樣的情況，在LTO-5磁帶與線性磁帶檔案系統（Linear Tape File System，LTFS）格式推出後，便有了180度的大轉變。

磁帶的特性與應用局限

傳統上我們都稱磁帶是一種循序存取的儲存媒體，這意思是指磁帶是以循序的方式，連續地將資料區塊寫入到磁軌上，而這樣的存取方式，又是磁帶的物理特性所造成。

磁帶的本體是一條捲收在卡匣內轉軸上的帶狀磁性儲存媒體，透過轉軸帶動磁帶與磁頭接觸，利用磁頭以線性或螺旋掃描的方式，在磁軌上記錄資料。

由於磁帶是一條連續的帶狀物質，自然也讓磁帶的存取作業具備了循序的特性——必須依序捲動磁帶，才能寫入資料；而且無論要讀取的資料位於磁帶上的哪個區段，也還是需要依序捲動磁帶到該區段的位置，才能讓磁頭讀取其中的資料。

為了有效率地應用磁帶這種循序讀寫的特性，大多數開放環境中的磁帶應用軟體，都採取將資料本體與meta data分離的方式來利用磁帶儲存資料。磁帶上只存放資料本體，而沒有檔案名稱、時間戳記與目錄階層結構等用於描述資料屬性的meta data，這也讓磁帶不具備「自我描述性」。

這也是說，資料在磁帶上並不是以完整的檔案形式存在，磁帶上存放的只有連續寫入的資料本體而已。至於對應這些資料本體的meta data，則是另外透過應用軟體的資料庫來保存，而不寫到磁帶上。

但這種將資料meta data保存在外部資料庫的做法，也給磁帶應用造成一些副作用。顯然的，磁帶必須搭配保存在應用軟體資料庫中的meta data，才能組成完整的資料。

以備份或歸檔應用為例，透過特定備份或歸檔軟體寫入磁帶中的資料，也必須透過這些軟體的還原功能，才能利用保存在資料庫中的meta data，讓磁帶中的資料本體還原回原始的檔案形態。

但麻煩在於，市場上的備份與歸檔軟體廠牌與類型繁多，每款軟體各自的儲存格式均有所不同，彼此間缺乏相互操作性，所產生的資訊並不能通用。換言之，只有當初將資料寫入磁帶的那款備份或歸檔軟體，才能利用軟體自身資料庫中保存的meta data配合磁帶中的資料內容，從而還原資料。

在這樣的限制下，磁帶資料的存取使用，相對於硬碟就顯得相當不方便：

缺乏通用性

首先，由於磁帶上的資料是非自我描述的，而用於描述資料屬性的meta data，又是保存在各式各樣的備份或歸檔軟體的資料庫中，所以必須在對應的備份或歸檔軟體下，才能識別並取出磁帶中的資料。其他應用軟體或作業系統底層的磁碟檔案系統，都無法識別磁帶中的資料。

資料並非立即可用

其次，由於備份或歸檔軟體只提供按設定排程或政策，將原始資料打包寫入指定媒體（如磁帶），以及將打包的資料從指定媒體中解開回存到磁碟上的功能，所以即使是在對應的備份或歸檔軟體下，磁帶中的資料也不是「立即可用」的。

因此使用者無法像磁碟檔案系統一樣地對磁帶中的資料進行各式操作，如直接修改個別檔案、拖拉搬移檔案、點擊檔案啟動對應於檔案的應用程式等。必須將資料還原到磁碟上成為原來的檔案形態後，才能恢復對檔案的操作。

換言之，資料一被轉存到磁帶上就「離線」了，不再能被直接存取，所以磁帶通常只能充作離線（Off-line）儲存裝置，用於存放那些並不需要即時存取的資料。

解決磁帶存取便利性的早期嘗試

某些備份機制如Unix/Linux中的tar資料打包指令，可以建立具有自我描述性的磁帶備份複本，由於tar是個公開的標準指令，所以這就解決了磁帶備份缺乏通用性的問題，任何Unix/Linux都可利用tar指令將資料從磁帶中解出來。

但tar雖然解決了在Unix/Linux平臺上的磁帶應用通用性問題，但沒有解決磁帶資料非立即可用的問題，仍然必須將磁帶中的資料解回到磁碟上、回復成原始檔案以後，才能操作這些檔案。

某些廠商曾經推出一些可讓磁帶擁有類似磁碟檔案即時操作功能的軟體，如XenData公司專供數位影像應用的XenData Archive，便利用將磁帶資料分割成小區塊、並預先讀入硬碟緩衝區的方式，讓使用者無須完整回存磁帶資料，就能以類似操作磁碟檔案的方式，利用多媒體播放軟體直接播放磁帶中儲存的影片資料。

然而問題在於，這類技術雖然一定程度解決了磁帶資料非立即可用的問題，可允許使用者以類似磁碟的方式直接存取磁帶資料，但必須在這些廠商採用專屬格式與存取技術的軟體下才能生效，所以是非共通性的。

所以要真正解決問題，須要的是一種可提供類似硬碟的直接存取操作特性，但又必須具備開放性與通用性的磁帶技術。回應這個需求的，便是LTO-5與IBM LTFS的結合。

LTO-5與LTFS的開創性結合

剛在2010年初發表的LTO-5磁帶規格，增加了一項分區（Partitioning）功能，當搭配使用1.5TB的標準LTO-5 Ultrium磁帶時，LTO-5磁帶機可為磁帶提供2個磁帶分割區。

為利用LTO-5提供的分區功能，LTO聯盟也同步發表了稱作線性磁帶檔案系統（LTFS）的新型磁帶格式。LTFS是一種自我描述式的磁帶檔案系統，可利用LTO-5的2個磁帶分割區，分別保存原始資料的資料本體與meta data，所以存取磁帶中的資料時，不再需要參照外部應用程式來識別資料內容，所有磁帶中資料的相關meta data，都已經被包含在磁帶本身之中。

而且LTFS格式是一項已被LTO聯盟採用的開放標準，任何人都可依循這個格式開發相關應用，而且任何支援LTFS格式的系統，都可彼此交換存取以LTFS格式記錄的LTO磁帶。關於LTFS格式進一步的說明請詳見邊欄。

LTFS格式實際應用——LTFS應用軟體與硬體

身為LTO聯盟發起成員之一的IBM，除了在制定LTFS格式的過程中扮演了主要角色外，也率先開發了第一套應用LTFS格式的磁帶應用軟體——長期檔案系統（Long-Term File System，LTFS）軟體，縮寫也是LTFS。

LTFS軟體可將磁帶機中的磁帶，格式化成LTFS格式的Volume，然後將這卷LTFS格式的Volume掛載到作業系統上。接下來使用者便可將LTFS Volume當成硬碟一樣，在作業系統上利用檔案管理工具或應用程式直接存取磁帶上的檔案與目錄，包括以拖拉方式搬移檔案，而不需要其他專用磁帶應用程式（如備份軟體）。

換言之，LTFS軟體可讓LTFS格式的LTO-5磁帶，化身成外接硬碟或可抹寫光碟類型的儲存媒體，並支援POSIX標準的作業系統指令，如檔案開啟、讀取、寫入與搜尋等，讓使用者能利用作業系統的檔案管理工具、影像瀏覽或多媒體播放軟體，直接存取磁帶中儲存的檔案。

相較於傳統的磁帶存取，LTFS軟體可讓使用者得到完全不同的磁帶使用體驗，包括：

●    更直觀的檔案與目錄結構顯示：只要將LTFS格式的磁帶掛載到作業系統上，便能透過作業系統的檔案管理工具將磁帶中的檔案與目錄直接顯示在系統桌面上，讓使用者可更直觀地理解磁帶中儲存的資料。

●    更方便、快速的檔案存取：可透過作業系統的檔案管理工具，以拖—拉操作方式將檔案移出或存入磁帶。

●    更方便的磁帶資料交換與移動：由於磁帶資料是以開放規格的LTFS格式寫入，故無須依賴任何特定應用程式，只要系統能辨識LTFS格式，無論任何平臺都能存取LTFS磁帶中的資料。

IBM LTFS目前的版本可支援Linux與Mac OS X兩種作業平臺，並可透過CIFS協定將LTFS磁帶Volume掛載到Windows平臺上。

繼IBM之後，另一家LTO磁帶機製造商HP也發表了LTFS格式磁帶的應用軟體，稱為HP Linear Tape File System（HP LTFS）軟體。

HP與IBM兩家廠商對於LTFS軟體如何透過LTO-5磁帶機去讀取LTO-5磁帶分區中的資料，採用了不同的機制（IBM是透過專屬的磁帶機驅動程式，而HP則是在磁帶機韌體中增加一個額外的中介層），但兩種LTFS軟體的架構、運作方式與效果都是相同的。

值得一提的是，為了推廣LTFS格式的應用，IBM與HP發表的LTFS軟體都是可供免費下載的開源軟體，包括程式、原始碼與文件，都可從IBM與HP的官方網站上下載。關於LTFS軟體更進一步的說明，請詳見邊欄。

LTFS與資料歸檔應用

藉由LTO-5磁帶機、LTO-5磁帶、LTFS格式與LTFS軟體的結合，可賦予磁帶類似磁碟檔案的操作介面與操作方式，但這只是就使用者操作層面而言。在物理底層上，仍受限於磁帶機的循序存取運作機制，會受到定位磁帶、並將磁帶捲動到指定區段等機械動作的拖累，不可能像真正的硬碟一樣快速隨機存取資料。

磁帶機擅長的是大量連續資料的讀取與寫入，針對磁帶上特定位置資料的讀寫是其弱點，所以LTFS格式的磁帶並不能當成真正的硬碟使用，特別是經常需要變更個別檔案內容的應用——這會讓磁帶機產生大量的捲動磁帶到定位的機械動作，從而大幅降低效率。

但是對於不需要修改資料內容，而只需讀取資料的固定內容資料歸檔應用來說，LTFS技術就能大展所長。

在IT儲存應用中，有許多需要長期保存的固定內容資料，如數位多媒體影像、3D影像或醫療用影像等，用戶並不需要經常性的即時存取這些影像檔案，但要求提供一種方便且快速的讀取機制，以便在需要調閱時，可得到快速的回應。

由於這些影像資料通常相當耗用儲存空間，若採用可直接存取且速度較快的磁碟儲存系統來保存資料，顯然會造成相當大的成本負擔；光碟雖然是一種可行的選擇，但又存在著容量不足的問題；但若要改以成本較低、容量也夠大的磁帶來存放這些資料，卻又會碰上無法直接存取磁帶中檔案這個老問題，不僅使用上較為不便，調閱檔案的回應速度也較慢。

在這種場合，LTFS技術就能派上用場，既可以單位成本低的磁帶作為儲存媒體，又可提供類似磁碟的直接存取檔案功能。目前也已有廠商推出了以LTFS技術為基礎的數位影像歸檔產品，即FOR-A公司的LTR-100HS。

從傳統歸檔到主動歸檔

藉由LTFS賦予的直接存取磁帶中資料的特性，除了能將磁帶的應用範圍擴展到固定內容資料的歸檔外，還能用於性質與固定內容歸檔相近的「主動歸檔（Active Archive）」領域。

傳統的資料歸檔大都是利用分層儲存管理（Hierarchical Storage Management，HSM）軟體來執行，HSM軟體可按照用戶設定的政策來為檔案分級（如依據檔案的存取頻率或建立時間長短等），並自動將不同等級的檔案，分別轉存到不同層級的儲存設備硬體上。

較新或存取頻繁的檔案保留在高速的線上磁碟上，較舊的檔案則移到速度較低、但較便宜的近線磁碟儲存系統，至於時間久遠且幾乎不再被存取的檔案，則轉存到最便宜的磁帶上作離線的長期保存。透過不同等級儲存設備的結合，來達到最佳的成本效益。

就長期而言，在HSM軟體管理下，所有資料總有一天都會被移到磁帶上，而被轉存進磁帶以後，資料也就成為無法直接存取使用的離線或非活動狀態，必須由HSM軟體的還原回存作業，使用者才能存取這些資料。

而主動歸檔的做法則與HSM軟體不同。主動歸檔軟體同樣會依據建立時間與存取頻率為檔案分級，並分別搬移到不同等級的儲存設備上，但同時還要求所有檔案都必須維持在可隨時存取（Accessible）的狀態——不管檔案被搬移到哪種等級的儲存設備上，都是可隨時存取的，而不需要經過慢吞吞的還原回存程序。

所以主動歸檔既能擁有與HSM軟體相同的儲存成本效益最佳化，但又具有更高的資料存取便利性。

在過去，若要達到主動歸檔的所有資料均須維持可存取狀態要求，只能使用以低價SATA硬碟為基礎的近線型（Near-Line）磁碟儲存設備。

但在導入了LTFS技術後，磁帶也能提供直接存取功能，存放在LTFS格式磁帶中的檔案同樣是可存取的，但磁帶的單位成本又比磁碟系統更低，在這個領域可望成為近線磁碟系統一個相當有力的競爭者。

LTFS的局限：搭配自動化磁帶設備的問題

前面提了許多LTFS賦予磁帶的種種好處，但不能忽略的是，要讓LTFS發揮作用的前提，是必須先將磁帶放進磁帶機之中讀取——這並不是冷笑話！

在當前企業磁帶應用中，一大部分應用都是由自動化磁帶設備承擔，包括自動上帶機與磁帶櫃在內的自動化磁帶設備，都是由少數幾臺磁帶機（讀寫頭）搭配大量磁帶槽構成。由於磁帶槽數量遠多於讀寫頭（平均一個讀寫頭要面對8到16個以上的磁帶槽），所以自動化磁帶設備是以輪替存取的方式運作，透過機械手臂自動將磁帶槽中的磁帶逐一取出放入磁帶機存取，並在存取完畢後將磁帶機中的磁帶取出、歸位回磁帶槽上放置。

對傳統的磁帶應用來說，由於包括檔案名稱、目錄結構等屬性的meta data是另外保存在備份或歸檔軟體的資料庫之中，而不是在磁帶內，這也意味著：備份軟體無須實際讀取每一卷磁帶的內容，依靠外部資料庫中保存的meta data，就能得知某卷磁帶的內容。

所以只要事先規畫好磁帶在磁帶櫃或上帶機中擺放的磁帶槽位置，備份或歸檔軟體並不需要實際去讀取每一個磁帶槽上擺放的磁帶，只要查詢平日作業記錄，以及保存在資料庫中的meta data，就能得知每一個磁帶槽擺放的磁帶內容為何。

必要時還可整合條碼掃描來輔助辨識磁帶，這只需移動內含掃描器的機械手臂，逐一掃描個別磁帶外殼的條碼貼紙即可，並不需要實際把磁帶放進磁帶機中讀取。

所以儘管磁帶櫃或上帶機同一時間只能讀取少數幾卷磁帶（視有多少讀寫頭而定），但備份或歸檔軟體仍能靈活地管理整臺設備中擺放的數十甚至數百卷磁帶。

但對傳統磁帶應用毫無困難的自動化作業，對LTFS磁帶卻成為一大難題。由於LTFS磁帶格式是自我描述式的，所有關於磁帶的資料全都在磁帶本身之內，免除了對於任何外部資料庫的依賴。但這也造成：除非把磁帶放進磁帶中讀取，否則無從得知該卷磁帶內容。

在單磁帶機環境下，可以把LTFS格式的磁帶，當成USB外接硬碟、抽取式硬碟或是軟碟機來使用，所以不會有什麼麻煩。但面對自動化磁帶設備，要如何讓LTFS識別與管理多個磁帶槽中的磁帶，便成了一個問題，逐一讀取每卷磁帶來得知磁帶內容，這種做法在實務上顯然並不可行。

按IBM研究人員David Peace、Arnon Amir等6位作者共同發表在IEEE上的論文《The Linear Tape File System》所述，LTFS除了單磁帶機作業模式外，還有一種小型磁帶櫃作業模式（Small Library mode），當磁帶櫃將其中某卷磁帶第一次掛載起來時，LTFS軟體將會替這卷磁帶的LTFS Volume在硬碟上建立一個對應的目錄，作為這卷磁帶的掛載點，其中含有這卷磁帶中的目錄與檔案結構。

日後當這卷磁帶卸載後，使用者便可依靠保存在硬碟上的目錄查知這卷磁帶的內容，而不需要實際載入這卷磁帶。使用者甚至還可從這個實際上只是索引的目錄中開啟檔案，此時LTFS軟體將會通知磁帶櫃將這卷磁帶載入到有空閒的磁帶機中，以便實際讀取檔案。

換言之，當磁帶櫃中的磁帶，至少放進磁帶機中掛載一次以後，LTFS軟體就能對磁帶中的資料建立硬碟上的快取索引目錄，供日後檢索查詢使用。

不過儘管理論上LTFS存在這個磁帶櫃作業模式，但在實務上要將磁帶櫃管理整合到LTFS軟體中仍須解決許多問題，目前IBM與HP的兩款LTFS軟體，以及相關應用產品，仍將作業環境限定在單磁帶機架構，這連帶也限制了當前LTFS技術所能應用的環境類型與規模。

當然就較單純、不需要導入自動化磁帶作業的應用環境來說，LTFS仍能發揮相當大的效用。

LTFS——兼具靈活性與開放性的磁帶檔案存取

傳統磁帶儲存應用大都採取檔案本體與meta data分離的機制，磁帶本身只存有檔案本體，必須依賴保存在應用程式中的meta data才能進行存取操作，這也造成磁帶存取缺乏靈活性與開放性的問題—必須透過特定應用程式將磁帶資料還原回存到硬碟上，才能讓檔案恢復成可存取狀態；而且利用某一應用程式寫入資料的磁帶，也只能在相同應用程式下存取。

利用LTO-5磁帶規格新增的分區功能，LTFS格式可建立同時保存了檔案本體與meta data、具有自我描述性的磁帶，只要利用LTFS軟體將磁帶掛在到作業系統上，使用者便將LTFS磁帶當成硬碟一樣使用，如透過檔案管理員介面以滑鼠拖拉直接搬移磁帶中的檔案，或點擊檔案啟動對應應用程式，並能與任何可識別LTFS格式的系統交換存取磁帶檔案，提供開放性與互操作性的存取應用。資料來源：iThome整理，2010年9月

LTO-5的磁帶分區功能

LTO-5磁帶規格中的磁帶分割區功能，是LTFS技術的基礎，在了解LTFS之前，有必要對LTO-5的分區功能有一基礎認識。

LTO-5磁帶上下兩端邊緣被用於磁頭定位的伺服帶（servo band）占用，在伺服帶中間共含用於記錄資料的1,280條資料磁軌（track）。這些磁軌是以磁軌組（track group）為單位來記錄資料，每個磁軌組中的16條磁軌將被同時記錄資料。

以相同方向記錄資料的磁軌組被稱為線帶（Wrap），LTO-5磁帶共含有80條Wrap，其中40條是由前往後正向記錄資料，40條是由後往前反向記錄資料。

LTO-5磁帶出廠預設的格式是只有1個80條Wrap的分區，但可在軟體控制下格式化為2個分區，每個分區最小為2個Wrap，最大為76個Wrap，2個分區之間以Guard Wrap作為分隔，這個Guard Wrap大約會占用2.5%的總容量。以下圖為例，在紅色Guard Wrap上方的是分區0，下方的則是分區1。

若應用程式支援分區功能，將可同時使用2個分區；若不支援分區功能，則應用程式只能識別分區0，只有分區0會被寫入資料，所以此時是以只作一個分區0較為有利，可更充分地利用磁帶容量。另外要特別注意的是，只有LTO-5 Ultrium磁帶才支援分區功能。

相關報導請參考「LTFS開啟磁帶應用新型態：讓磁帶也能當硬碟用」