正在上传图片(0/1)

打造自己的超级素材存储中心,双机192TB素材仓库实装记录

 0
手机看帖 2 441
想必各位航拍玩家们随着入坑时间增长,手上也攒了不少素材,于是这些素材如何存放和管理也逐渐成为一个大问题。刚玩的时候,我的素材也跟大多数普通人一样是丢在电脑的机械盘里,后来电脑的硬盘装不下,就搞了个桌面硬盘。
一口气多出来16T的空间,暂时缓解了存储压力。随着拍摄经历越来越丰富,一个桌面硬盘也开始捉襟见肘,于是就又弄了一个。
但这样的用法有一个很明显的缺陷,就是每次开电脑,都要等所有桌面硬盘全部启动完毕了才开始自检,严重拖慢了开机速度,并且素材量已经大到一个16T一个20T的桌面硬盘都不堪重负。于是下定决心再次升级,并且升级之后要满足未来至少5年的存储需求。当时考虑了两套升级方案:
1)电脑加一张雷电4适配卡,然后使用8盘位雷电阵列
2)使用NAS,原来的桌面硬盘变成冷备份盘
最终NAS方案胜出,因为二者总体拥有成本接近,但它可以独立在电脑之外运行,也可以远程调取资料,还可以实现多人多机协同剪辑。就先弄了个四盘位试水。
第一台NAS采用了四块16T希捷银河企业盘,组成RAID5,总共得到43.65TB可用空间,同时加装两根西数SN700作为缓存盘提升碎文件I/O性能。由于电脑和路由器有万兆网口,路由器也支持链路聚合,这台NAS的两个2.5G网口可以聚合到5Gbps
测了一下读写性能,在线剪辑H.264/H.265和ProRes 422HQ完全没问题
有NAS之后,素材的存储压力暂时得到缓解,自己的手机/平板的相册也可以自动备份到NAS里面,摆脱公有云的会员。但我显然低估了我的素材增长量,年中一个项目杀青,素材备份完成之后,我这四盘位居然装满了!并且目前的存储架构无法精确分离个人日常和业务数据,所有东西全混在一个地方。既然一个NAS装不下,那就再整一个好了。
既然目标是满足未来五年使用需求,那么万兆8盘位可扩展就成了必须,8块16T企业盘安排上,组成RAID6,可以承受两块硬盘同时损坏而不丢失任何数据。
速度虽然不及RAID5,但容错能力更强,毕竟素材更重要
同样也安排两块SN700作为高速缓存,提高阵列的随机读写性能和多线程访问能力
两台NAS均各自配备UPS,一旦遭遇停电可以在5分钟内自动安全关机,确保硬盘和数据不被损坏
至此一个可以随时随地访问的素材存储中心全部搭建完成,双机共12盘位192TB,按格式化容量和校验数据占用空间计算后,实际可用127.45TB。原先的四盘位就用来存储个人数据如相册、电影以及超过5年的老素材,其余业务数据全部移入八盘位群晖当中,实现个人/业务数据分开存放。两个机器之间通过smb和NFS互相挂载,以实现两台机器数据互通。同时具备文件快照功能,可以实现数据的防篡改,一旦被勒索病毒攻击,可以在几秒内复原。特别重要的数据,会在两台机器之间每天自动双备份。
即便如此,我的全部数据也已经使用了差不多一半空间。一旦存储空间即将耗尽,还可以通过扩展柜快速扩充出10个盘位实现在线无损扩容。

虽然两台机器作为在线存储,有一定的冗余能力,总共可以承受3块硬盘损坏,但仍然无法代替传统的备份。因此冷备份仍然是必须项目,目前的策略是业务数据一备三,个人数据一备二。未来还将搭建异地备份。就是钱包有点难绷了……

不知道在座的各位用什么来保存并管理自己的拍摄素材呢?
评论
上传
你需要登录之后才能回帖    登录 | 注册
会飞的小轶  DJI Action 2认证用户 3-28 00:03 2#
请问用的群晖的哪2个机器呀
认证飞友
已累计飞行5449016米
认证设备
收藏 点赞 评论
分享至:
回复:
上传
取消 评论
快速回复 返回顶部 返回列表