1 Comments

LTO磁带2024年使用全指南

本文以二手LTO-5磁带驱动器、二手LTO-5磁带和Windows操作系统为例，介绍磁带存储在家庭、小型企业存档数据场景下的使用。

给陪伴咱的小姐姐们预留的房间不够大了，就在想有没有什么方法存储超多数据并且成本能够接受。找了一圈下来发现磁带确实很契合我的需求，但是没有很好的教程，全是干涩的知识库文章，而且很多需要自己调研的内容。于是有了这篇不完全教程。

免责声明：本文是小孩子不懂事写着玩儿的，作者不承担信息有误导致的任何责任，真假自辨！

0 为什么是磁带

笔者认为，冷数据的最佳存储介质需要具备以下几个性质：

  1. 每单位存储空间价格低
  2. 存储可靠性高，可长时间存储
  3. 不可篡改（Optional）

如此笔者根据当前市场价格（包含普遍或合理的二手产品价格，数据收集日期为2024/09/10，价格不一定准确），可以比较当前常用的存储介质：

介质每TB价格（CNY）保存时间初始化成本备注
NVMe SSD3001y（JEDEC）/3y（Typ）0
SATA SSD2801y（JEDEC）/3y（Typ）0
HDD455y0
BD12910~100y200初始化成本包括：BD-RW驱动器
BDXL40010~100y400初始化成本包括：BDXL-RW驱动器
LTO-48.75（Native）15~30y350初始化成本包括：LTO-4驱动器
LTO-515（Native）15~30y600初始化成本包括：LTO-5驱动器
LTO-621（Native）15~30y1300初始化成本包括：LTO-6驱动器
LTO-945（Native）15~30y50000初始化成本包括：LTO-9驱动器

可见，SSD、HDD、BD-R等存储介质的使用均需要较高的成本，而磁带的单位存储容量价格是较低的。不过，最新的LTO-9磁带驱动器价格较高，初始化成本很高，适合数据量大于200TB的存档数据；而LTO-5、LTO-6的单位存储容量价格和初始化成本都相对更能接受（非全新产品），适合存储20-200TB的存档数据。同时，LTO磁带具有机械写保护锁，可以有效防止误操作。

1 准备

1.1 硬件

1.1.1 磁带驱动器

目前的LTO磁带驱动器分为两种连接方式：FC光纤和SAS。

FC连接方式更常用于磁带库（Tape Library）等大型磁带管理设备的内置驱动器中。磁带库作为占地较大、自动化程度较高的设备，可以做到根据磁带上的条码自动使用机械臂等选取对应磁带插入到驱动器中，并为其他服务器提供远程存储服务。目前还无法低成本地应用于家庭和小型企业场景中。

目前二手市场上FC光纤接口的驱动器相对SAS接口的驱动器价格较低。

在本文的使用场景中，两者均可正常使用，但是需要使用不同类型的存储适配器以连接计算机。另有一种桌面式外置磁带驱动器，可以使用USB与计算机相连。

例如，笔者的HP二手SAS接口LTO-5半高驱动器，需要支持SAS 6GB（SAS2）的HBA卡。因此，需要的硬件为：

  1. 磁带驱动器
  2. SFF-8087 to SFF-8482转接线
  3. HBA卡（支持SAS 2及以上）
  4. 至少12V 1.5A和5V 4A的电源供应

注意：磁带驱动器对电源的要求较高。不像HDD，磁带驱动器需要更高的5V电流。

1.1.2 磁带

磁带相比HDD等设备更适合冷数据存储的原因是，磁带的存储介质和存储控制器是分开的，而HDD、SSD等其控制器和真正的存储介质是绑定的，因此这些设备无法通过只购买存储介质的方式来避免额外存储控制器带来的成本。

目前最常用的磁带为LTO磁带。由于所有生产LTO磁带的厂家统一使用LTO品牌规范生产磁带及驱动器，因此不同厂商的磁带和驱动器之间相互兼容。

LTO磁带支持压缩、加密（LTO-4及以后）、分区（LTO-5及以后）、WORM（LTO-3及以后）。

  • 压缩：LTO磁带驱动器支持硬件压缩，其最高压缩比可以达到2:1（LTO-5及以前）或2.5:1（LTO-6及以后）。

    > LTO的压缩不影响性能（流式压缩），但是压缩效果取决于传输的数据类型。
  • 加密：LTO磁带驱动器支持硬件对称加密（AES256）。
  • 分区：LTO磁带驱动器支持将磁带分区。其中LTO-5支持2个分区，LTO-6及以上支持4个分区。
  • WORM（Write Once Read Many）：一种磁带，其区别于普通磁带，写入策略类似DVD-R，一次性写入之后无法修改。

由于技术的更新迭代，不同世代的磁带和驱动器之间的兼容性有限。目前LTO给出的策略是，当前世代的驱动器和本世代的磁带和相隔1世代的磁带相兼容，与相隔2个世代及以上的磁带并不兼容（LTO-7及以下世代的驱动器兼容相隔2个世代的磁带的读取），所有驱动器不支持向上兼容。具体的LTO驱动器世代和LTO磁带世代的兼容性表如下。

LTO磁带世代/类型LTO磁带驱动器世代
LTO-9LTO-8LTO-7LTO-6LTO-5
18 TB LTO 9 Data Cartridge (xxxxxxL9)R/WNot compatibleNot compatibleNot compatibleNot compatible
18 TB LTO 9 Data Cartridge (xxxxxxLZ)R/WNot compatibleNot compatibleNot compatibleNot compatible
12 TB LTO 8 Data Cartridge (xxxxxxL8)R/WR/WNot compatibleNot compatibleNot compatible
12 TB LTO 8 WORM Cartridge (xxxxxxLY)R/WR/WNot compatibleNot compatibleNot compatible
9 TB LTO M8 Data Cartridge (xxxxxxM8)Not compatibleR/WNot compatibleNot compatibleNot compatible
6 TB LTO 7 Data Cartridge (xxxxxxL7)Not compatibleR/WR/WNot compatibleNot compatible
6 TB LTO 7 WORM Cartridge (xxxxxxLX)Not compatibleR/WR/WNot compatibleNot compatible
2.5 TB LTO 6 Data Cartridge (xxxxxxL6)Not compatibleNot compatibleR/WR/WNot compatible
2.5 TB LTO 6 WORM Cartridge (xxxxxxLW)Not compatibleNot compatibleR/WR/WNot compatible
1.5 TB LTO 5 Data Cartridge (xxxxxxL5)Not compatibleNot compatibleRead onlyR/WR/W
1.5 TB LTO 5 WORM Cartridge (xxxxxxLV)Not compatibleNot compatibleRead onlyR/WR/W
800 GB LTO 4 Data Cartridge (xxxxxxL4)Not compatibleNot compatibleNot compatibleRead onlyR/W
800 GB LTO 4 WORM Cartridge (xxxxxxLU)Not compatibleNot compatibleNot compatibleRead onlyR/W
400 GB LTO 3 Data Cartridge (xxxxxxL3)Not compatibleNot compatibleNot compatibleNot compatibleRead only
400 GB LTO 3 WORM Cartridge (xxxxxxLT)Not compatibleNot compatibleNot compatibleNot compatibleRead only

另外，还有一种清洁磁带，可以用于清洁驱动器的磁头。这种磁带没有世代的限制，所有驱动器均可使用。在磁带驱动器使用多了之后，就会有使用清洁磁带清洁磁头的提示。一盘清洁带可以使用多次，因此正常情况下1盘清洁磁带就够本文使用场景下使用了。

1.2 软件

由于笔者目前只有HPE的磁带驱动器，因此本节将以HPE为例，介绍在本文场景下，驱动器使用的各类软件。其余厂商均会提供各大体系结构/操作系统可用的Driver、Utility等，详细信息可以查看各大厂商的产品支持页面。

1.2.1 Driver

HPE官方支持页面

LTO驱动器在Windows 10及以上版本可以直接使用Windows Update安装驱动。在Linux、旧版Windows等操作系统中，需要到HPE官网下载相关设备驱动。

1.2.2 Firmware

HPE官方支持页面

LTO驱动器固件的下载一直被严格限制（需要全新购买并在官网注册产品，使用客户账号验证），仅有少数厂商开放下载（例如Quantum、FUJITSU等）。因此在选购二手LTO驱动器时，需要留意驱动器的厂商信息，做好固件升级和品牌的权衡。

1.2.3 HPE Library and Tape Tools（HPE L&TT）

HPE官方支持页面

该软件用于测试驱动器和检查当前驱动器的健康状态。该软件主要用于查看驱动器的使用状况和健康度等。

1.2.4 HPE StoreOpen Software（HPE LTFS）

HPE官方支持页面

该软件用于使磁带支持LTFS文件系统。开源，核心代码部分位于GitHub。目前推荐使用该软件来管理磁带数据，因为LTFS磁带挂载之后的使用方式基本和普通磁盘相同。

注意：LTFS仅适用于LTO-5及以后世代的磁带和驱动器。

1.2.5 HPE StoreEver Command View for Tape Libraries（HPE CVTL）

HPE官方支持页面

管理支持的HPE磁带库和驱动器的TapeAssure、许可和数据验证功能。本文不会使用到该工具来操作磁带和驱动器。

1.2.6 数据备份/归档软件

目前使用最普遍的磁带备份/归档软件是各大磁带生产厂商研发的配套专有软件（例如IBM Spectrum Archive Enterprise），以及一些厂商所研发的专有软件（例如Symantec Backup Exec），均较难自由（甚至付费）获得。因此这里推荐一些适合本文使用场景的备份/归档软件。以下软件均为付费软件，若需要开源方案，请使用LTFS。本文不提供以下各软件的使用与下载方式。

  1. Iperius Backup
  2. myLTO for Mac

2 使用

2.1 磁带驱动器管理

本文只提及简单的驱动器管理操作，较为复杂的不在此讨论。

2.1.1 打开HPE L&TT

  1. 安装Driver、HPE L&TT、HPE LTFS，并将硬件连接至计算机。

  2. 运行L&TT，出现以下界面。初次运行，Scan Mode选择Hardware Scan；I/O Mode则总是选择NT Miniport。

    > 下次运行时，Scan Mode可以选择`Saved/Manual Scan`，勾选`Skip this dialog in the future`，并在弹出的对话框中选择需要管理的驱动器，以节省加载时间。
>
> 注意：运行L&TT前请确保没有任何程序正在读写磁带，否则会出现不可预料的错误。同时，L&TT会独占磁带驱动器，使得其他应用程序无法读写磁带。

L&TT Starter

  1. 若硬件正确连接，点击Continue后，窗口右侧将显示当前计算机中的磁带驱动器，如图。点击想要管理的驱动器，加载驱动器信息。

L&TT Mainpage

  1. 加载完毕后，首页默认显示当前的驱动器信息和磁带信息，如图所示。

    > 这里可以看到，笔者的驱动器是LTO-5驱动器，支持OBDR和WORM。插入的磁带是LTO-5 Data磁带，没有设置条码编号、写保护，也没有格式化为LTFS。
>
> OBDR（One Button Disaster Recovery）是HP磁带驱动器独有的功能，可以使用一盘磁带恢复整个系统（Tapeware软件）。但是目前Tapeware已经停止支持。

L&TT Mainpage with info

2.1.2 查看驱动器健康度

点击L&TT上的Health，等待驱动器检测完毕，查看报告如图所示。红色方框区域为驱动器的预估寿命。

Drive Report

2.2 使用磁带

2.2.1 检查磁带窗口

使用磁带时先检查磁带的状态，二手磁带的好坏会直接影响驱动器的使用寿命。

使用前，先拉开磁带窗口检查磁带头是否正确地卡在预定位置上，如图所示为正常状态。若磁带头缺失，或是位置不正确，或是磁带窗口不能轻松地打开，或是磁带窗口不能自动回弹至关闭状态，请勿使用该磁带。

注意：在拨开磁带窗口时请勿触碰磁带。可以使用图中方式，用胶带拨开磁带窗口。

Tape window

2.2.2 检查磁带写保护锁

在磁带的正面，有一个写保护锁，可以防止磁带驱动器修改磁带上的内容。若需要修改磁带上的内容（可读写），需要将该开关拨至如图位置（关闭）。

一般来说，写完数据的磁带应当保持写保护锁为开启的状态，以确保数据不会因为误操作而丢失。

注意：不要依赖该开关！该开关只能防止误操作导致的意外写入（甚至误操作将写保护锁关闭都无法防止）。若要彻底防止误写入，建议使用WORM磁带。

WORM磁带只能进行Append操作，无法对数据进行修改甚至擦除。

Write Lock

2.2.3 检查磁带条形码（Barcode）

磁带在磁带库中使用时，磁带盒身指定位置会贴有一维码标签，使得机器可以识别磁带。因此购买的二手磁带一般均自带有该标签，如图所示。

磁带标签编号使用Code39编码，前6位为编号，可以是大写字母和数字；最后2位为磁带的世代或类型。由于该标签规格是公开的，因此有很多开源的标签生成实现（例如该网站），可以生成标签并使用打印机打印、裁剪后粘贴在磁带上。需要注意的是，若需要磁带能被机器识别（磁带库使用），则需要使用哑光纸张打印标签。

磁带标签的标准规格可以参见该知识库。

磁带的标签编号同时也存在于磁带内置的芯片中。若使用磁带库，则在磁带芯片中的标签编号会自动被实际粘贴的标签编号覆盖以保持一致性。若类似本文场景，仅使用桌面级磁带驱动器，那么就需要在格式化磁带时手动指定磁带的标签编号。

尽管只有磁带库需要条形码标签以识别磁带，笔者也建议在本文场景中利用上述标签管理磁带。

Tape Barcode Label Sample

该标签应当粘贴在磁带正面的凹槽中，位置如图所示（图中磁带尚未粘贴标签）。

Tape Label Location

2.2.4 插入磁带

将磁带有品牌标识的一面向上，跟随磁带上的箭头方向插入驱动器。驱动器会自动加载并开始读取元数据。

2.2.5 弹出磁带

在磁带驱动器空闲（指示灯“Ready”常亮）时，长按驱动器上的弹出键。稍等片刻磁带自动弹出。

2.2.6 保存磁带

磁带的存储环境需要维持30~50%的湿度和18°C的温度。

2.3 LTFS

LTFS（Linear Tape File System）是将磁带这种企业级存储设备介质带入本文使用场景的功臣之一。其实现开源，且LTO-5及以上的磁带均支持。

注意：LTFS虽然在使用上和一般的磁盘无异，但是其底层仅支持附加（Append）操作。亦即，在LTFS卷中删除/修改文件时，旧数据依旧保留在数据分区的原位置，仅仅是在索引分区中将该数据标记为无效，并在数据分区中另外开辟空间给新数据使用。因此若需要完整使用磁带的空间，请不要删除或修改任何文件。再次格式化磁带可以重置该状态。

HPE LTFS安装完毕后，运行HPE LTFS Configuration，界面如图所示。

HPE LTFS Configuration

2.3.1 将磁带格式化为LTFS格式

  1. 点击Cartridge utilities...，弹出窗口如图。

HPE LTFS Configuration Utilities

  1. 点击Format，打开格式化向导，如图所示。

Format

  1. 点击下一页，选择格式化操作的驱动器，如图所示。建议勾选Enable lossless hardware data compression以开启数据压缩。建议勾选Provide detailed progress information以输出详细信息。

Select Format Drive

  1. 点击下一页，设置磁带的标签编号和磁带描述。

Label and Description

  1. 点击Advanced...，进入高级菜单。一般情况下，该页面内容保持默认值即可。

  • Data placement rules：修改数据放置规则。

    • Allow data files to be placed in the index partition：允许将小一些的文件放入索引分区。若勾选，下面可以设置FiIes may be placed in the index partition if size <=（小于某大小的文件可以放置于索引分区）。
    • Allow mount-time overriding：允许在每次挂载该磁盘的时候修改上述设置。

    LTFS文件系统将磁带分为了2个分区：Index（索引）和Data（数据），由于需要通过树状结构组织文件，因此文件的元数据存储至索引分区，而文件数据本身存储至数据分区。

    索引分区是固定大小的，因此若放入索引分区的文件数量过多，则可能无法存储正常的文件索引。因此只有在确认存储的数据中小文件很少的情况下才可以开启以提高空间利用率和性能。

    具体的LTFS实现细节请查看SNIA标准或参考实现。

  • Block size：设置磁带上块大小。建议维持默认值。

Advanced Settings

  1. 点击下一页，汇总显示之前的设置项，进行最后的确认。点击完成就开始格式化过程了。

注意：请务必确认即将格式化的磁带是否为正确的磁带，一旦开始格式化就无法恢复。

Summary

2.3.2 挂载分区

  1. 回到LTFS Configuration主界面，选择驱动器，选择一个未使用的盘符。可选只读挂载以防止修改磁带上的内容。

Mount partition

  1. 点击Advanced options...，弹出的菜单如图所示。

  • Logging

    • Support ticket folder：指定位置，存储支持文件。

    • Enable verbose logging (this will adversely affect performance)：详细日志，影响性能，若磁带正常使用不建议开启。

      • Sending to：存储日志的位置。
    • EnabIe extended verbose logging：开启更详细的日志记录。更不建议开启，除非磁盘上一次挂载出错。

  • Thumbnails

    • DisabIe thumbnails to improve performance, by marking all files as offline：关闭缩略图以提升性能。尽量关闭，因为缩略图会增加不必要的读写。

  • Index capture

    • Capture snapshot of index at unmount time：在卸载LTFS卷时存储磁带的快照。建议开启，并将Working folder设置在磁盘上。此处的快照指的是索引分区的完整副本。

  • Index updates

    • Override default index update policy：覆盖默认索引更新的策略。一个是当LTFS卷被卸载的时候写入，一个是定时写入。

      > 笔者不知道默认的索引更新策略是什么。由于笔者的使用场景会确认数据写入磁带完毕后才会删除原始数据，所以我这里直接选了卸载时写入。

  • Index partition usage

    • Request mount-time override of formatted configuration：在当前的挂载会话中，能够暂时更改某些设置，而不是依赖于磁带上已经存储的默认配置。

      > 还记得格式化LTFS时的`Allow mount-time overriding`吗，这就是临时修改小文件的存储位置的设置。

  • Append Only Mode

    • Enable Append Only mode if supported by drive：打开仅附加模式。

      > 这个选项实测在笔者驱动器上无法打开，会被忽略。
>
> 实际上LTFS中文件的修改和删除是以块为单位进行附加的，做In-place修改的只有索引分区。

Advanced mounting options

  1. 点击OK返回原窗口，点击Create mapping挂载分区。等待一会，挂载完毕即可在Windows资源管理器中看到该磁带卷。

3 后记

本文数据不知道哪里来的，有任何问题/经验欢迎提出，大家一起讨论。

4 参考

懒得和写论文一样搞bibtex+hyperref+cite了，将就看吧。

  1. https://en.wikipedia.org/wiki/Linear_Tape-Open#Encryption
  2. https://www.hpe.com/psnow/doc/c04154430.pdf?jumpid=in_lit-psnow-getpdf
  3. https://www.lto.org/
  4. https://support.hpe.com/hpesc/public/docDisplay?docId=c05145603&docLocale=en_US
  5. https://archive.org/details/LTO-Tape-HP-IBM-Tandberg-Software-Pack
  6. https://metebalci.com/blog/adventures-with-lto-in-2023/
  7. https://www.nakivo.com/blog/tape-backup-overview/
  8. https://www.reddit.com/r/DataHoarder/comments/6ag54i/consumer_grade_tape_backup_solution/
  9. https://www.reddit.com/r/DataHoarder/comments/tvywan/are_you_personally_using_lto_tapes_why_why_not/
  10. https://www.reddit.com/r/DataHoarder/comments/13twg7o/cheap_tape_backup_solutions_for_16tb/
  11. https://forum.level1techs.com/t/affordable-tape-drive-for-windows-linux-software-recommendations/192750
  12. https://www.lto.org/lto-use-cases/
  13. https://pbs.proxmox.com/docs/lto-barcode/index.html
  14. https://skyblond.info/archives/1057.html
  15. https://skyblond.info/archives/1058.html

最后更新于 2024-09-16 22:10:29 并被添加「 」标签，已有 610 人阅读过。

仅有 1 条评论
  1. jgiggssvvu

    你的文章让我感受到了不一样的风景，谢谢分享。http://www.kangdehuagong.com

    jgiggssvvu | | Windows 10 x64 Edition | Sogou Explorer 回复
发表新评论