在家造个数据中心

  • ~5.26K 字
  • 次阅读
  • 条评论
  1. 1. 勘址
    1. 1.1. 寻找合适的位置
    2. 1.2. 确定进线方式
  2. 2. 施工
    1. 2.1. 铺设强电
    2. 2.2. 铺设弱电
    3. 2.3. 等电位接地
  3. 3. 打标签
  4. 4. 选择机柜
  5. 5. 采购设备
  6. 6. 采购其他组件
    1. 6.1. 承托件(导轨与托盘)
    2. 6.2. 理线架
    3. 6.3. 机柜螺丝
  7. 7. 安装设备
  8. 8. 连接强电、弱电、等电位
  9. 9. 验收测试
  10. 10. 消防安全
  11. 11. 完工

作为一个追求极致的垃圾佬,总有一天会发现设备多到不再能简单地水平堆放,而是需要使用带有垂直空间的排布以控制占地面积。

通常情况下,对于深度不大的设备可以使用类似货架的设施来叠放;而对于大多为面向机架场景的设计而言,准备一个标准尺寸下的机柜就成了一种更为合适的选择。

既然要做,那就努力做到最好。我咨询了几位参与过数据中心建设的朋友,在他们的帮助下共同设计并完成了这次的工程。因而将相关的内容整理如下,方便可能有需要的朋友们的参考。

但需要注意的是,这里描述的仅为家居环境下的工程建设(整活),即最终还是以家居的功能为主。如果您有严肃的数据中心建设相关的工程,请咨询相关的专业人士。

勘址

在正式开始动工之前,有不少需要考虑的因素。并不是所有的地方都适合放置机柜,在出现不可弥补的问题之前先把可能会遇到的情况都过一遍,总是能有些帮助的。

由于本次工程实施的地点为一间不曾装修过的白坯房,因而具有相对自由的发挥空间,以下的描述都以白坯房为参考。如果您不幸买到的是捆绑精装修的住所,并且不希望浪费更多的钱拆掉重新装修,那么您可能无法平衡其中所有的需求。

寻找合适的位置

我们需要寻找一个合适的位置来放置机柜,最好具有以下特性:

  1. 湿度较低(远离水源与排水设施)
  2. 通风良好或装有冷空调等制冷装置
  3. 尽量减小噪音影响
  4. 远离易燃物

综合上述考虑因素,我们通常有两种选择方案:

  1. 建设一个单独的设备间
  2. 放置在远离生活区的位置

对于较大的房子(例如别墅或多层连通房)来说,单独建设一个墙面铺设防火隔音材料的设备间,并放置一台单冷空调是一种兼顾安全性与噪音控制的解决方案。但并不是所有人都买得起别墅,在较小的空间中(例如本次工程),我们可以选择一个远离卧室的位置来摆放,并与周围的空间共享一套空调。

确定进线方式

当确定了放置机柜的位置后,我们就可以开始规划应该如何将电缆线与机柜中的设备进行连接了。

对于单独的设备间来说,可以使用下进线的方案,配合防静电活动地板来实现隐藏式走线的效果,并确保不会太丢失可维护性。

我们选择的是侧进线的方案,即在卸掉一块侧板之后从侧面将线缆引入机柜,并将机柜侧面与墙面对齐来挡住它,避免太难看。这其实是一种比较邪门的进线方法,一般在其他进线方法可用时不推荐这样做,但由于实在条件有限,也就只能将就着这样了。

施工

当确定完上述的需求后,我们就可以请工程队开始进场施工,并注意一些相关的设计与施工事项。如果您是找设计单位进行装修设计的,那么您可能需要与他们讨论相关的实现细节。

铺设强电

强电是所有设备工作的基础。对于机柜来说,从电表下拉一路独立于总闸的供电,并设置一个分立的配电箱会比较方便管理。

一般家庭使用的是单相电入户,即入户的只有一根火线,可以提供标称 220V 的交流电。部分小区可能提供三相电入户的方案,相比起单相来说可以均衡承载更大功率的供电需要。

机房设备端一般使用的都是单相电,那么对于三相电入户的方案来说,可以选择挑选其中一相作为单相电使用,或是安装一套能够实现三相至单相转换的设备。部分 UPS 可以实现这个需求,您可以和商家沟通以确认相关的技术参数。

有些 UPS 可能会提示有较大的漏电电流因而不推荐在前端使用漏电保护器,但经过我们实测在市电质量良好的情况下并没有出现类似漏保误动作的情况。一般来说还是推荐配备一个,它虽然无法在后级设备出现的漏电情况下起到保护作用,但在电源输入线缆出现问题(例如磨破皮导致漏电)时还是能避免更坏的情况发生的。

铺设弱电

可能会有人向您推荐所谓的七类甚至八类的铜缆(网线),但其实这些都没意义:超六类网线在短距离(100 米内)也可以实现万兆(10Gbps)的传输速度,更高速的设备通常会使用 SFP+ 等基于模块的传输配合光纤来实现。

对于铜缆,一般情况下使用超六类(Cat6A)屏蔽线(U/FTP)就足够了。需要注意的是最好能同时考虑两端模块的屏蔽接地需求,接地不好的线缆可能在低频部分的串扰会不合格(但未必会影响协商与使用)。注意提防一些商家带有欺诈行为的说辞,例如有些商家可能会宣称自己的线缆符合 Cat6E 标准,但实际上 TIA 认可的标准里有叫 Cat5E 和 Cat6A 的,没有 Cat6E 这种不伦不类的缝合怪。

对于光纤,可以用单模双纤(或者两条单纤皮线),理论速度也足够使用了。多模光纤所需的模块价格相对便宜一些,也可以使用,但考虑到多模光纤的标准比单模光纤复杂 (OM1 ~ OM5),可能会引起不必要的迷惑,通常来说意义并不大。如果您想要考虑得更为完备一些,为未来留足升级的空间,那么您也可以选择同时铺设两种光纤,甚至是多芯光纤。

等电位接地

等电位接地就是我在与朋友讨论了解过后才知道的一个工程细节。它是一道在整个建筑共享的强电接地系统之外的保护,以便于提供真实可靠的接地,并配合机柜的金属结构构成屏蔽层,避免可能存在的意外信号源对弱电产生干扰。

对现代化的小区来说,在卫生间里可能会有等电位联结端子箱,设计用于给热水器用作保护性接地,但卫生间因为湿度太大不适合放机柜(我想应该也不会有人放在这里吧)。

对于钢筋混凝土结构的建筑来说,承重柱里的钢筋就是一个非常好的等电位体。当无法直接往地上敲一根接地钢筋的时候,可以考虑在承重柱上开孔打到钢筋,用电焊焊接一个螺母上去,拧上带有铜鼻子的接地线之后用水泥填充平整。请注意提示工程队不要开太大的孔或是挖得太深,以避免对建筑的承重结构造成不可逆转的损坏。

打标签

打标签对于提升后期的可维护性来说非常重要。再好的记忆力也会随着时间磨损,在将来如果需要对线缆进行基础的维护,有直观清晰的标签往往能省下不少时间。

注意要用热转印覆膜标签:热敏纸制作的标签会褪色,时间一长就没字了;不覆膜的标签可能会伴随着磨损会把转印上去的内容磨掉,一段时间后也可能导致出现看不清的情况。

很多做工程的朋友都会有顺手的标签机和对应的色带,可以直接联系他们借用;或者自己买一个,配合丰富有趣物美价廉的国产色带生态可以用在各种奇奇怪怪的地方。

标签机一般自己会带一些模板,可以尝试研究研究,方便制作大小一致且相对美观的标签。

选择机柜

当前置的硬装工作完成之后,就可以正式开始建设数据中心所需的设备了。先从机柜开始,选择机柜需要注意这些参数:

  • 高度:标准尺寸的大机柜是 2 米 (42U)的,根据自己的实际需求选择是否需要这么高:可以预先估计一下自己有大概多少 U 的设备,并适当地留一些间隔和散热余地。
  • 深度:有些特别深的服务器(比如我有一个 GPU 服务器)需要用加深的机柜,要不会挡到竖装的 PDU ,并且关不上后门。如果只是用于安装网络设备和一些小型的机架式 NAS 产品,机柜就可以选择比较浅的产品,不需要那么深。
  • 门板材料:钢化玻璃的门板能相对隔音,适合用于不需要特别加强散热的网络设备。服务器的话因为考虑到需要确保通风散热良好以避免组件热损毁,使用网孔门的通风更好,但代价是牺牲了防尘的功能。如果不知道应该选择哪种材质的话,可以选择钢化玻璃门,这样当有大型服务器运行需求的时候把门打开或是卸下来就可以确保通风,平时关上以降低噪音。

有些厂商定制的机柜会比较契合自家的产品,但通常来说价格不菲,如果想要类似设计但又不想交信仰税的话,可以找找先行者的案例,定制一些材料自己组装一个。

采购设备

设备:全新或者二手(N 手),自己选择心仪的即可。

需要注意数据中心的设备往往会为了散热而忽视噪音(尤其是比如核心交换机这种需要一直运行的基础设备),通常不适合在家使用,实在是太吵了。

PDU:可以考虑使用横竖组合:

  • 竖装的主 PDU 可以使用 C13/C19 接头(C13 就是俗称的电饭煲插头),用于从 UPS 取电,供应给各个设备和辅助 PDU;如果 PDU 不带竖装转接板,请记得单独购买。
  • 横装的辅助 PDU 可以使用国标 10A 插座组合(两孔+三孔),方便连接小设备的电源适配器,例如旁路网关或光猫之类。

电线:一般商家会配一副国标 10A 插头使用的线缆,用 C13/C19 的话需要自己买对应的 C13-C14 或 C19-C20 连接线。

配线架:根据实际需要购买对应的规格,例如我使用的是一套 24 口的网络配线架 + 一套 24 口的光纤配线架。

采购其他组件

承托件(导轨与托盘)

购买承托件时需要确认机柜本身带有的数量(有些机柜会自己带一些),并根据实际的设备需求计算出还需要追加采购的数量,之后根据机柜的尺寸购买对应长度的即可。

  • 交换机之类的网络设备一般只需要挂耳支撑即可,不需要导轨,但我的习惯也还是加一对以分散受力。
  • 托盘用来放重的东西或是小东西。
  • 有些服务器可能会有配套的滑动导轨方便嵌入服务器侧面的导轨位置使用,如果没有配套的话可以考虑购买通用的 L 型托轨。对于重型设备(如服务器或 UPS)来说,还是更推荐直接使用托盘。

理线架

使用理线架可以很大程度上优化机柜的观感:将多余的线缆藏在挡板后,让线缆不会突出挤到机柜门。

具体选择几个理线架、几口理线架需要根据实际使用的设备规格来决定,没有所谓的标准答案,以正面观感干净为佳。

至于理线架的里面会怎样?只要盖板一盖上,那就再乱都眼不见为净了(溜

机柜螺丝

一般机柜会自带一些配套的螺丝,一些全新的设备也会自带一套,但有时也可能出现机柜螺丝不足够的情况,可以预先稍微储备一些以避免耽误工程进度。

安装设备

冷轧钢板制作的机柜组件的边缘通常来说比较锋利,请谨防滴血认主。

导轨和托盘一般是在机柜的侧面立柱上固定的,四个角落都需要一对螺丝。安装时如不太方便,可能需要请其他人帮忙托一下,或是利用松螺丝可以旋转的性质分别固定前后段。

导轨和托盘安装完成后即可把设备安装上机柜了。请注意先检查设备所需的机柜螺丝数量,在前立柱上预先安装好机柜螺母之后再把设备滑进去,避免出现设备前面板挡住螺丝孔后难以安装螺母的问题。

连接强电、弱电、等电位

  • 强电接线端子(铜鼻子):请找一位专业的强电师傅压。如果铜鼻子和线径不匹配,需要多找一些铜丝来填充,以确保能将接线端子压紧,避免出现虚接发热的问题。

  • 水晶头与模块:可以自己打,网上也都有相关的教程。工具不贵,难度不大,就是比较费手。给模块接线时不太推荐使用自动打线刀,握持方向错误可能会出现意外打断线的情况,还是推荐用小黄刀压紧之后拿斜口钳把多余的部分剪掉。

  • 光纤熔接:能找到师傅最好,熔接工具不便宜,对经验和工艺精度的要求也相对较高。

  • 等电位接地:拧到机柜的随便哪个和框架连接的螺丝上即可,推荐在靠近顶部或底部的侧立柱上找一个螺丝孔,这样不容易和其他设备冲突。机柜门和机柜底部应该也有对应拧等电位保护的螺丝位置,拧上后不容易触电(虽然一般金属材料本身的导电性也能起到等电位连接保护的效果,但多一点保护总也有备无患)。

验收测试

弱电部分:

  • 网线的验收测试还得找福禄克,可以参见前一篇文章 读懂福禄克的网络电缆测试报告
  • 光纤的验收测试可以找一台校准过的光功率计,相比起铜缆来说没有那么多复杂的标准,也不需要那么精细的设备。如果担心中途可能出现断线不好定位的问题,也可以找一台 OTDR 进行检测。

最好能找到做工程的朋友租用一下(如果能租到的话),这种设备的价格相对来说比较高昂,并且定期的维护也需要一定的经济成本。租不到的话可以考虑买一套上一代(DTX 系列)的产品,价格会比当前代的实惠很多,大约 3 万元就可以获得品相相对较好的产品,如果不追求成色的话还能压到更低的价格。

强电的话,可以请电工朋友帮忙确认一下,一般只要不出现虚接发热和三相电相序接错之类的错误,就不会有什么问题。

消防安全

家庭没法像专业的数据中心那样规划完整的消防系统配置,所以更多的还是依靠人力管理和防范。

例如,可以在机柜的附近配备可扑灭带电火灾(E类)的灭火器,并定期进行安全和有效期检查。推荐使用七氟丙烷灭火器,但它不一定好买,并且价格相对来说比较高昂。液态二氧化碳灭火器可能会在喷出后降温太迅速,导致在设备里引起凝露损坏。需要注意的是由于七氟丙烷或二氧化碳不支持呼吸,因而请确保人身安全,避免造成人员窒息等问题。

有条件的话还可以加一个烟雾传感器,以便于在实在运气差到发生严重失控事故的时候,至少能提前一点察觉到。

虽然一般来说合格的材料、健康的设备和规范的布线能最大程度降低发生火灾的概率,但这并不意味着它就是绝对安全的。 2021 年的 OVH 的 SBG2 起火,或是截稿前几天阿里云的新加坡 C 起火,都为他们的客户带来了不小的影响。重视消防,同时也是重视我们自己的财产和生命安全。

完工

好了!经过这样一整套流程下来,您的家庭数据中心应该就已经接近完成了。打开所有电闸,按下前面板上的电源按钮,开始享受强劲的性能与狂暴的风声吧。

分享这一刻
让朋友们也来瞅瞅!