AI服务器五大硬件拆解分析
2023-08-11 11:14:30 276
一篇关于“一台AI服务器到底要用多少PCB”的深度报告，旨在通过拆解服务器 PCB 构成的过程让读者了解一台服务器内部真实的情况，希望读者能够对服务器中所用PCB情况有更为直观的了解，从而把握未来升级过程中真正的价值所在。
Nvidia H100 GPU 供需现状：43 万张 H100，Nvidia 将如何分配？
2023-08-09 16:37:45 1156
需要 1000 个以上 H100 或 A100 的公司有： 训练 LLM 的创业公司：OpenAI (通过 Azure), Anthropic, Inflection (通过 Azure 和 CoreWeave), Mistral AI 云服务提供商：Azure、GCP、AWS、Oracle 更大的私有云：例如 CoreWeave、Lambda 其他大公司：特斯拉 需要 100 个以上 H100 或 A100 的公司：对开源模型进行大量微调的公司。 8-GPU HGX H100 SXM 是 LLM 训练和推理最快的，也是大家最需要的。训练 LLM 最常需要的是 H100s with 3.2Tb/s InfiniBand。对于训练 LLM，创业公司倾向于使用 H100，对于推理，他们更关注的是每美元的性能，H100 普遍受到青睐。 对于训练 LLM，大家更关注内存带宽、FLOPS、缓存和缓存延迟、FP8 计算等附加功能、计算性能（与 cuda 核心数量相关）、互连速度（例如 In...
数据中心CPU芯片，ARM可堪重负？
2023-08-08 11:19:31 389
数据中心是算力的聚集地，绝大多数算力都聚焦在超算中心、数据中心并以服务器释放到千行百业。在行业数字化及国产化进程中，x86、ARM及RISC-V等各种架构派系处理器、服务器、加速器都以独特技术优势在数据中心散发着“光”和“热”。 本文从数据中心芯片占比、应用生态兼容、性能、技术演进等维度着手，分析国内基于ARM芯片厂商的行业兼容性及应用生态现状。 数据中心是算力的聚集地，绝大多数算力都聚焦在超算中心、数据中心并以服务器释放到千行百业。在行业数字化及国产化进程中，x86、ARM及RISC-V等各种架构派系处理器、服务器、加速器都以独特技术优势在数据中心散发着“光”和“热”。 本文从数据中心芯片占比、应用生态兼容、性能、技术演进等维度着手，分析国内基于ARM芯片厂商的行业兼容性及应用生态现状。 一、超算中心现状及芯片占比 纵观超算中心，从第60届TOP500榜单数据显示，Intel仍然是超算系统中最大的处理器厂商，占有率达到75.80%，Xeon芯片超算系统中应用普遍，最新入榜的Leornardo采用的就是Xeon Platinum处理器。 AMD处理器是受欢迎的HPC系统芯片，其占有率20.20%，且占有率持续增长（从18.60%上升至20.20%）。TOP500系统中有101个系统采用AMD处理器，例如排名第一的Frontier和排名第三的LUMI。 从TOP500榜单数据来看，基于Intel和AMD的...
智能陈列的奥秘：便利蜂利用 NVIDIA 软硬件优化门店运营
2023-08-07 15:37:14 310
便利蜂通过使用 NVIDIA T4 GPU 与 NVIDIA Jetson 计算平台，结合云端和边缘算力，打造 AI 陈列质量控制系统，提升陈列质量并增加销售利润。
数据中心存储及市场分析（2023）
2023-08-04 11:21:25 368
进入信息化时代后，数据正在成为企业的核心资产，数据量呈指数型增长，如果企业采用传统的存储技术，投入成本将会非常高，因此催生了新的存储方式——云存储。 云存储即企业与个人花费一定成本租赁第三方存储空间进行存储。云存储通过网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。云存储的核心技术包括虚拟化技术、分布式存储技术、软件定义存储（SoftwareDefined Storage，SDS）、超融合（HCI）存储等。 进入信息化时代后，数据正在成为企业的核心资产，数据量呈指数型增长，如果企业采用传统的存储技术，投入成本将会非常高，因此催生了新的存储方式——云存储。 云存储即企业与个人花费一定成本租赁第三方存储空间进行存储。云存储通过网络技术或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能。云存储的核心技术包括虚拟化技术、分布式存储技术、软件定义存储（SoftwareDefined Storage，SDS）、超融合（HCI）存储等。 传统的存储技术是应企业数据中心的数据库、企业应用、虚拟化整合等场景而发展起来的，可以满足传统企业应用对可靠性、性能、容量以及业务连续性的要求，但是面对云计算和大数据时代，扩展能力和并发处理性能就显得有些捉襟见肘。 目前依然在全球范围内提供传统存储的活跃供应商包括：DELL-EMC、NetApp、HPE、华为、HDS、IBM、Fujitsu 等。 而大数据、云计算和虚拟化等技术的出现，使得传统 IT 架构难以满足企业的数据存储需求。因此，SDS 和...
软件定义工厂：宝马集团利用 NVIDIA Omniverse 构建虚拟环境
2023-08-03 11:44:24 374
宝马集团的开发人员正在运用 NVIDIA Omniverse 构建用于优化全球生产的虚拟工厂。 该团队使用 Omniverse Code 和 Kit 构建了一个包含各种自定义扩展程序的应用，该应用统一了来自各种数字内容创建工具的数据，并使团队能够在工厂规划工作上开展实时协作。 通过优化设施规划和高效率流程，预计可节省 30%的成本。 减少变更订单和资金投入。 跨团队、跨专业的实时协作。 提高产品生产的稳定性。
中国绿色算力发展研究报告（2023年）
2023-08-02 14:51:38 383
报告提出了绿色算力内涵定义，围绕算力生产、算力运营、算力管理、算力应用等层次，建立了绿色算力高效（Efficient）、低碳（Low carbon）、智能（Intelligent）、集约（Intensive）发展的ELII框架。以此为基础，报告对当前全球及我国绿色算力发展现状进行系统性梳理。
一种用于私募 AI HPC 集群的 GPU 监控方案
2023-07-28 17:25:34 394
如今，GPU 领域玩起了“文艺复兴”！私募很显然，没办法利用云厂商的 GPU，因为性能太低了，大部分实现原理还都是池化后远程 API 转发方案或者 MIG，一个函数调用延迟可达 5ms 以上。RDMA 也很难拯救 AI 模型的训练的网络延迟，更多的还是直接“交电费” —— 买物理机直接裸金属调度。
从零构建AI训练推理的GPU集群
2023-07-27 18:36:46 322
写在前面： 偶然看到了这个内容，AI训练推理的GPU集群搭建的详细入门指南。很少见的资料。 对于希望自己搭建GPU集群的团队来说，这是一份很有价值的参考；对于高端个人用户而言，或许可以考虑如何在家里搭建一个几GPU的小集群玩玩，毕竟多搞几个30或40系显卡成本还是可以相对接受的。