Dell PowerEdge R760 是戴尔工程师对这一代服务器卓越设计的研究成果。在我们的评测中，我们将了解该公司的新型主流 2U 双英特尔至强服务器与业界其他服务器的比较。像往常一样，这将是一次非常深入的服务器审查，所以让我们开始吧。
Dell PowerEdge R760 硬件概述
正如我们一直在做的那样，我们将把它分为内部和外部概述。我们还提供了本文附带的视频，您可以在这里找到：
Dell PowerEdge R760 外部硬件概述
查看 2U PowerEdge R760 的正面，我们可以看到部分填充的 24x 2.5 英寸设计。戴尔还有其他前端存储选项，包括 3.5 英寸以上的 SAS、更多的 NVMe 等等，但我们在这里仅展示一种配置。
在左侧，我们有服务按钮，然后是八个 SAS 托架。其中四个托架装有 1.6T SAS SSD。如今，我们预计许多读者会更多地关注 NVMe 存储，但许多戴尔客户习惯于将基于 Broadcom 的 PERC 控制器用于 SAS 阵列。
戴尔背板设计的一项很酷的功能是，它可以将 SAS 组件直接放置在背板上，从而腾出 PCIe 插槽区域。
在另一侧，我们看到服务标签，然后是 USB 控制台端口、VGA 端口和电源按钮。这方面的一大特点是 NVMe 驱动器连接。这里我们有八个 3.2TB NVMe SSD。
戴尔的 24x 2.5 英寸背板分为三个独立的 PCB，因此可以像我们在本机中看到的那样对其进行自定义。一些供应商使用单个背板，但这些背板更容易更换并且具有 SAS/SATA 选项。这些背板的物理设计是迄今为止我们在服务器上看到的最奇特的设计。
看看系统的背面，我们可以看到很多定制潜力。
首先，我们有电源。我们的设备有两台 1.4kW 80Plus Platinum 设备。这些可能是我们使用大多数高端 CPU 的目标，并且前面没有高功率 GPU 和加速器或完整的 NVMe 驱动器托架。80Plus Platinum 很好，但我们看到越来越多的服务器配备 80Plus Titanium 电源。戴尔也有可选的钛金级电源，但许多仍为白金级。
电源位于机箱的两侧，略有不同。戴尔这里有一个细长的电源装置，为电源周围的气流提供了更多的空间。
接下来是一个最喜欢的功能：Dell BOSS。如今，M.2 SSD 非常可靠，因此我们经常在机箱内看到它们。戴尔有一个解决方案，可以使用两个 SSD 并使其可以从后部更换，称为 Dell BOSS。
这是专为启动媒体设计的解决方案。BOSS 控制器是一种低端 RAID 控制器，因此可以对两个 M.2 SSD 进行 RAID，然后使用该阵列进行引导。这对于 Windows 和 VMware ESXi 等操作系统非常重要。大多数 Linux 发行版都可以使用软件 RAID。尽管如此，它仍然是一个易于部署的解决方案。
这里值得注意的一点是 BOSS 解决方案的复杂性。其他供应商仅使用主板 M.2 或在简单的转接板上配备 Marvell 控制器。戴尔拥有定制金属板、电缆、外加翼形螺钉等。
服务器上不存在标准 I/O。所有 I/O 均通过卡进行。尽管如此，我们还是想介绍该服务器中的内容并展示它是如何实现的。
戴尔为其基本网络配备了定制的 Broadcom 双 RJ45 模块。这是戴尔特定的定制模块。
我们可以看到这是一个 Broadcom NetXtreme BCM5720 双 1GbE 解决方案。
接下来，我们安装了 OCP NIC 3.0 端口，并安装了 Intel E810-XXV 双 25GbE NIC。您可以在此处了解有关 OCP NIC 3.0 外形规格的更多信息，但这是 4C + OCP 连接器，并使用具有内部锁定设计的 SFF 来将卡固定到位。这意味着必须打开系统并更换转接卡才能维修此 NIC。带拉片的 SFF 无需打开系统即可进行维修，因此我们在旨在最大限度降低服务成本的服务器（如超大规模服务器）上看到它。戴尔的商业模式包括大量的服务收入，因此它可能不太热衷于在这里使用这种设计。
iDRAC 服务端口、USB 端口和 VGA 端口位于另一个自定义模块上。该模块还具有机箱入侵检测功能。
在转接卡方面，PowerEdge R760 具有处理 8 个 PCIe Gen5 插槽的惊人能力，而且这不包括 OCP NIC 3.0 插槽。
OCP NIC 3.0 插槽上方有一个双薄型转接卡。我们稍后将更详细地介绍连接器，但戴尔在其所有转接卡上使用高密度连接器而不是电缆。它确实有一些中间电缆设计，例如双 PCIe Gen4 插槽提升板设计。
这是中间的提升板，我们有一个 PCIe 25GbE NIC。
这是另一个中间电缆双 PCIe Gen5 转接卡。
这对服务器来说是一个很棒的外观设计，但现在让我们进入服务器内部看看它是如何工作的。
首先，我们将从粉丝开始。有六个热插拔风扇。戴尔拥有业界最流畅的热插拔风扇设计之一。
此外，整个风扇分区可以通过两个闩锁从服务器上移除。这非常有用。
戴尔在服务器中拥有大量定制的扁平布线等，用于通过机箱布线。不过，它在主板的前部也有连接器。快速移除风扇分区意味着可以访问该风扇分区以及维修前置 PERC 卡等。
这是从主板正面引出多少电缆的另一个例子。
风扇将空气推过一个非常好的气流导管。戴尔的气流导轨是业内最好的。
这些气流引导件将空气推过 CPU 散热器和内存。我们在视频中展示了尺寸比较，但令人惊讶的是，与微软在这一代 Azure 服务器中使用的散热器相比，戴尔在这里使用的散热器有多么小。
在处理器方面，我们配备了双 第四代英特尔至强可扩展“Sapphire Rapids”处理器。这意味着每个插槽最多 56/60 个内核，两个插槽。上面的链接文章包含新 CPU 的所有新功能，例如 AMX AI 加速、内置 QuickAssist 加密/压缩加速（在某些 SKU 上）等。
借助新的 CPU，我们可以获得 8 个 DDR5 通道，最高可达 DDR5-4800，但这取决于 SKU 和数量。该服务器支持每个 CPU 16 个 DIMM 的 2DPC 操作，总共最多 32 个。如果您想了解有关 1DPC 与 2DPC 的更多信息，请查看为什么每通道 2 个 DIMM 在服务器中影响较小。
您还可以在我们的为什么 DDR5 在现代服务器中绝对必要的文章中了解有关 DDR5 RIMM 以及它们为何如此不同的更多信息。这是 DDR5 设计趋势的一个很好的例子。
新平台的另一大特点是PCIe Gen5。PCIe Gen5 用于存储等功能取决于选项，但新一代可支持高达 400GbE 的 NIC。我们将在审查上线后大约两周进行 400GbE 网络审查，包括 PCIe Gen5 卡和 64 个 400GbE 交换机。这只有新一代 PCIe Gen5 才成为可能。
随着 PCIe Gen5 过渡，长主板 PCIe 走线将不再存在。必须使用电缆来跨越长距离。因此，我们看到服务器主板的深度缩小。这就是为什么该主板停在后 I/O 区域之前的原因。随着 OCP DC-MHS 平台在整个行业的兴起，这种情况将变得更加普遍。
在CPU的背后我们可以看到它的影响。主 PCIe Gen5 转接卡插槽和转接卡高密度连接器不会经过 Intel Emmitsburg PCH。相反，这些连接器更靠近 CPU，以缩短 PCB 走线长度。
这是位于主板末端的 OCP NIC 3.0 内部锁插槽的另一个视图。
Dell PowerEdge R760 iDRAC 9 管理
这一代仍然使用戴尔的iDRAC 9管理。需要明确的是，iDRAC 9 可能是 PowerEdge R760 的最大区别。使用 iDRAC 9，可以收集许多组件和配置集的数据。然后，这些可以输入戴尔的 OpenManage 解决方案，以便组织可以轻松监控和管理服务器群。这并不全是免费功能，但对于想要比拼凑开源或第三方工具更简单的解决方案的组织来说，这非常有用。
许多人都熟悉 iDRAC 9，因为它已经存在了一段时间。它具有无需使用操作系统或 UEFI 工具即可管理存储的功能。
一项很棒的功能是可以直接从 Web 界面设置 BIOS 设置。并非所有供应商都具有此功能。我们展示了如何使用此功能更改 Dell PowerEdge 上 Intel Xeon Y CPU 的核心数量和 TDP。
除了 iDRAC BMC 之外，Dell 还具有可选的软件代理，例如 iDRAC 服务模块（请参阅如何安装 Dell iDRAC 服务模块），可用于通过操作系统代理收集信息并通过管理堆栈传递信息。
戴尔还具有 iKVM 支持等功能。我们在此系统上安装了 iDRAC 9 enterprise，因此我们拥有完整的 HTML5 iKVM 功能。
总体而言，Dell iDRAC 9 是一个非常好的解决方案，使 PowerEdge 客户能够继续使用 PowerEdge。
本装置中安装的 CPU 是 Intel Xeon Platinum 8452Y 装置。我们将它们配置为 P1 36 核、300W TDP 和 2.0GHz 基本时钟（这是这些 Intel CPU 的最大核心数）。
我们最近有机会测试了许多具有相同 SKU 的服务器，因此我们有一些不错的代际比较点。
如果您看过我们最近 将裸机服务器放入 PhoenixNAP 裸机云的文章或视频，那么您已经看到了其中的一些测试。
我们使用本地 Supermicro 服务器、PhoenixNAP 的云裸机服务器，然后使用 PowerEdge R760，并运行相同的工作负载，从虚拟化到一些微基准测试，再到 AVX-512 HPC 工作负载、数据库工作负载、编译工作负载，甚至使用用于推理的新 Intel AMX AI 扩展。
正如我们所看到的，我们最终发现具有相同 CPU SKU 的三台服务器之间的结果相当接近。总会有一些测试变化，我们无法控制云数据中心，但主要发现是配备这些 300W CPU 的 Dell PowerEdge R760 符合预期。
通过两个 Dell 80Plus Platinum 1.4kW PSU 提供电力。戴尔有多种 PSU 配置，因此这只是一种选择。
我们注意到我们的服务器是为非常高性能的配置而设置的。闲置时功耗超过600W。我们必须从数据中心拉出服务器并在工作室中进行测试才能验证这一点。
采用这种配置，我们预计最大功耗约为 1kW。不过有很多选择。添加更多、更快的 NVMe 存储会对功耗产生巨大影响。同样，添加 GPU 或其他加速器也可以提高性能。我们也没有顶级 350W SKU。英特尔针对该插槽的下一代 CPU 也将具有更高的 TDP，因此如果您在第五代英特尔至强可扩展时阅读本文，这将是另一个考虑因素。
这凸显了设计现代服务器的挑战。Dell PowerEdge R760 可能会在其整个生命周期中以运行功率低于 200W 的低端配置度过。另一种可能会在使用寿命超过 2kW 时运行。戴尔的设计考虑到了场景中这10倍的差距。
STH 服务器蜘蛛：Dell PowerEdge R760
2018年下半年，我们推出了STH Server Spider，作为服务器系统能力的快速参考。我们的目标是开始快速直观地描述服务器所针对的参数类型。
Dell PowerEdge R760 是一款用途广泛的服务器。它并不意味着每 U 可以容纳最大数量的 3.5 英寸硬盘、处理NVIDIA HGX H100 GPU 组件，或者将每 U 最多的 RAM 或 CPU 装入最密集的机架中。相反，PowerEdge R760 旨在在一个通用平台上处理一系列场景。
主要经验教训
戴尔 PowerEdge R760 非常迷人。在这台服务器上工作，并且在前几代和其他供应商的几代服务器上工作过，人们会有一种压倒一切的感觉。大多数组件的设计中都内置了多层迭代。Dell BOSS 就是一个很好的例子，它即使不是市场上最精致的 M.2 解决方案，也是其中之一。从物理设计的角度来看，许多其他服务器都寻求最小化成本并具有非常简单的设计。PowerEdge R760 给人的感觉就是它的设计就是为了美观。就像在高端汽车中拥有实木装饰一样。这不是必要的，但它非常好。部分原因在于 PowerEdge R760 和具有相同主板的变体旨在满足多种角色。
另一个重要的教训是滑稽的在线配置器定价。这是一个很好的例子，也是我们通常不发布标价的原因之一。
每个 32GB DIMM 标价为 2150 美元。64GB DDR5 RDIMM？那是 4200 美元。在视频中，我说过我们为 64GB RDIMM 支付的费用不到 400 美元，而且我记得当我们做“为什么DDR5 在现代服务器中绝对必要”时，我们当时使用的 32GB DIMM 每个不到 200 美元。戴尔的标价是我们所付价格的 10 倍以上。
另一个观点是SSD侧。如今，即使是数据中心版本，960GB SATA SSD 的价格也应该远低于 100 美元。不是 1200 美元到 1800 美元。
这是因为即使有自动应用的折扣，网络配置器的标价本质上也是幻想数字。该工具似乎旨在生成通过销售代表折扣流程定价的配置，并可能增加服务收入，而不是实际在线购买。
2010 年初，我带领普华永道的一个团队为 Dell EMC 的一个大竞争对手重新制定了定价、折扣和销售例外流程，因此这并不令人震惊，因为 60% 的折扣在当时的行业中很常见。令人震惊的是，我们看到原定价格比美国标价打折 90% 以上。十年前，原始设备制造商为中国等国家制定了该范围内的特殊标价，这样那里的采购团队就可以通过获得 90% 的折扣来获得巨大的胜利。在检查我们的配置价格之前，我还没有看到美国客户经常使用相同的策略。
最后的话
Dell PowerEdge R760 是一款非常出色的服务器，它将吸引戴尔拥有的庞大安装基础。如果我们回到 3-5 年前，像 PowerEdge R740 这样的新一代服务器可提供 2:1 或更好的服务器和插槽整合比。这简直太棒了。
PowerEdge R760 的设计非常灵活，每个物理部件都拥有多年的系统专业知识。作为一个每年都会审查主要供应商的数十种服务器型号的人，很明显在设计中花了很多心思。
总的来说，如果您是 PowerEdge 或一般服务器的粉丝，那么新款 Dell PowerEdge R760 简直太棒了。
【公司名称】四川旭辉星创科技有限公司
【代理级别】成都戴尔服务器工作站总代理
【销售经理】李经理
【联系方式】座机：028-85596747 手机：13540160369
【公司地址】成都市人民南路4段 桐梓林 商鼎国际2号楼1单元1913
请用微信扫描二维码
