在拍摄数字电影(或者叫影片)之前,选择合适的物理储存介质是一项基本的常规任务。当然有很多因素会影响最终的决定,我在第五卷视频有详细讲过,各位可以查看视频。
接下来主要讨论的是硬盘的性能。我们主要关注的是硬盘的写入速度(就是将素材从摄影机的卡拷贝到硬盘里的速度),因为这是影响备份效率的主要因素。
本文将概述事先了解硬盘性能的重要性,在第五卷节目里也有详细提到。其次,是用不同的方式来评估真实的拷贝速度,另外,会讨论一些其他影响拷贝速度的情况。
为什么要尽可能准确的知道硬盘真实的工作速度?
当负责影片素材拷贝的时候,知道并了解硬盘的真实表现,才能减少工作风险提高工作效率。一般来说,我出去工作的时候,准确的了解硬盘工作速度非常重要,因为这样可以确定我的大概工作时长和人员配置等,避免到了之后发现数据过载,而没法睡觉,导致工作无法完成,和制片产生矛盾。
硬盘厂商给出的数据常常都是理想漂亮的数据,这里我找到了BMD官方说明书里关于硬盘真实速度的解释。
简单概括一下:
如果是HDD,机械硬盘,要等缓存充满了之后,才会呈现出真实的速度,一般来说不要看标称的最大速度,因为基本是达不到的,按我的经验来说,一般做素材拷贝的速度是标称平均速度的百分之80左右,甚至更低。
如果是SSD,需要看实际工艺和容量来评估。实际工作中我很少用SSD,主要是为了应急而已,但我也可以分享一个老外的经验,就是专门做一个SSD阵列,主要是用于快速的下载素材和回放检查,但常常也会受限于摄影机的卡速。所以一般来说,四盘位以上的机械硬盘阵列,并不比SSD阵列的工作效率慢多少,主要是有些摄影机的卡速限制了工作效率。
另外,即便知道更多的数据参数,也不一定刚好契合我们的工作场景和环境,仍然需要模拟尽可能接近的场景来测试,得出更贴切的结果。
所以,理性的讲,只有做了测试,才能得出更准确的结果,而测试过程中也会发现很多其他的问题。比如,因为摄影机卡的寿命快到极限而导致的降速,读卡器不稳定而导致的降速等。
要确定硬盘的真实写入速度,可以运行一个大体积的测试备份文件,比如直接测试备份一张卡的素材,然后根据数据量和生成时间来计算速度。当然这会非常耗时,往往实际条件也不一定允许这么做。
所以我们需要选择其他的方式来测试,这时我们就可以使用一些专门的,用于硬盘测试的软件来做任务模拟,当然前提是要搞清楚软件的使用方式。
如何进行有效的速度测试?
这里就得介绍两个可以用于硬盘速度测试的软件了:
AJA System Test Lite
Blackmagic Disk Speed Test
各位可以直接在苹果App商店里下载,免费的,当然他们也都有Windows 版本。
原文更推荐使用AJA System Test Lite 来做测试,因为这个软件有更多的细节设置。
在AJA System Test Lite软件的左侧,我们可以设置测试的细节。
我们可以设置格式,分辨率和文件大小来模拟实际的素材情况,这个非常管用。另外还可以设置文件的类型,比如序列帧文件或者单独的一个大文件,因为不同的文件类型也会影响拷贝的速度。
拷贝一个完整的大文件和拷贝同样体积的序列帧文件,耗费的时间是不同的。举个例子,同样是10 GB的Apple Prores 444 HD 24P 文件和10 GB的DNG序列帧文件,Prores 444文件就会比DNG文件更快。因为10GB的Prores 444文件是一个文件,而10GB的DNG文件,大约是2500个文件,也就是2500张图片。
对于序列帧文件,每一个文件都会被单独处理,所以拷贝多个文件就会带来更多的系统压力。
原文是这么说的,拷贝多个文件会给系统带来更多工作压力,并且会产生很多“Overhead”,根据我查阅的资料和我的理解,“Overhead”可以翻译成引导信息,这个引导信息不是实际的素材数据,而是对文件的引导和标记,方便识别和调取。所以,拷贝单独的大文件时只需要做一次引导信息,而拷贝序列帧的时候,每帧画面都会有各自的引导信息,所以就会导致速度变慢。
为了让测试结果更接近真实的工作场景,并且得到更可靠的速度,搞清楚细节的设定就非常重要了。
虽然正确的设定得出来的结果会更接近真实的情况,但除此之外,实际工作中还是会有其他因素影响拷贝速度。接下来我们来看看其他影响拷贝速度的因素。
在讨论拷贝速度的时候,还要记住什么?
以上的讨论忽略了一些现实情况,而实际在现场工作的时候,情况会更加复杂,接下来我们就来了解一下其他的一些因素。
第一,创建校验。在做拷贝的时候,专业的软件会创建校验和,以便确保拷贝的数据是相同的。而校验相关的设定又会带来一些问题。比如使用MD5校验,素材的拷贝速度会被限制在300MB/s,这个限制和硬盘速度无关。当然如果想要更快速度的话,我们可以使用xxHash来做校验。
补充一下,如果整个数据传输系统的最低速度小于300MB/s,那么我建议就使用MD5,如果最低的速度都大于300MB/s,可以选择xxHash。我日常情况下都使用MD5。
300MB/s的速度效率其实也挺高,我很少会使用xxHash,因为MD5的校验会更好。
多说一句,不用纠结具体的校验过程,软件处理就行了,我们不是程序员,没有必要去死磕每个数字值,我们的工作是保证素材没有问题,而不是做软件编写。
第二,源验证。源验证就是重新读取拷贝的文件,然后和源文件比对“hash值”(就是一串数字,不要纠结,写软件的时候,工程师就让电脑把活儿干了,不需要你亲自去手动计算),当然做验证肯定会多花时间,在之前视频中也反复提到过,软件会显示这个过程,验证完之后软件也会显示完成的结果。
补充一下,根据我现有的经验,这个过程大约多占据整个拷贝时间的三分之一,也就是说,如果摄影机卡的向硬盘传输速度是450MB/s,那么做完验证的话,速度大概就是300MB/s。换个简单的说法,如果直接拷贝什么都不做,需要花10分钟的话,那么加了源验证,花费的时间大概就是14分钟的样子。
第三,同时读取和写入。我们以上都在说写入速度,如果在拷贝素材的时候,也同时将硬盘的素材再传输给别的硬盘,这会严重的影响硬盘速度的表现。当然这也和硬盘的种类相关,HDD(机械硬盘)同时读取和写入的话,降速会比较大,而SSD却能有很好的表现。当然这和设备的预算紧密相关。
另外,在实际工作中也会遇到一些莫名其妙的降速原因。就比如我之前用Silverstack做汽车广告素材备份的时候,Cfast 2.0的卡速就一直保持在45MB/s的速度,而卡的标称速度是450MB/s。这时我就需要挨个检查问题的来源。一般来说,直接退出软件,手动拖拽素材到硬盘,然后用系统查看的方式,先检查是不是软件导致的降速,然后排除接口问题,换电脑排除电脑问题,最后试了四台电脑六个阵列,速度都一样,换了两个读卡器。最后的原因是卡老化了,而且是几张卡都老化了,换了一张新卡,马上就恢复了,所以实际中,问题多种多样。
当然我认为好的素材管理软件都应该把尽可能多的信息显示出来,比如拷贝速度,验证过程等。