深入理解 Cache 工作原理
2023-04-13 16:34:19 222
大家好，今天给大家分享一篇关于 Cache 的硬核的技术文，基本上关于Cache的所有知识点都可以在这篇文章里看到。 关于 Cache 这方面内容图比较多，不想自己画了，所以图都来自《Computer Architecture : A Quantitative Approach》。 这是一本体系架构方面的神书，推荐大家看一下。 本文主要内容如下，基本涉及了Cache的概念，工作原理，以及保持一致性的入门内容。 1、为什么需要 Cache 1.1 为什么需要 Cache 我们首先从一张图来开始讲为什么需要 Cache. 上图是 CPU 性能和 Memory 存储器访问性能的发展。 我们可以看到，随着工艺和设计的演进，CPU 计算性能其实发生了翻天覆地的变化，但是DRAM存储性能的发展没有那么快。 所以造成了一个问题，存储限制了计算的发展。 容量与速度不可兼得。 如何解决这个问题呢？可以从计算访问数据的规律入手。 我们随便贴段代码:...
ChatGPT AI兴起，芯片、服务器、智能算力浪潮来袭
2023-04-12 15:02:40 228
AI 需要多元异构算力提供支持，拉动 AI 芯片需求。人工智能算法需要从海量的图像、语音、视频等非结构化数据中挖掘信息。从大模型的训练、场景化的微调以及推理应用场景，都需要算力支撑。而以 CPU 为主的通用计算能力已经无法满足多场景的 AI 需求。以 CPU+AI 芯片（GPU、FPGA、ASIC）提供的异构算力，并行计算能力优越、具有高互联带宽，可以支持 AI 计算效力实现最大化，成为智能计算的主流解决方案。 AI 需要多元异构算力提供支持，拉动 AI 芯片需求。人工智能算法需要从海量的图像、语音、视频等非结构化数据中挖掘信息。从大模型的训练、场景化的微调以及推理应用场景，都需要算力支撑。而以 CPU 为主的通用计算能力已经无法满足多场景的 AI 需求。以 CPU+AI 芯片（GPU、FPGA、ASIC）提供的异构算力，并行计算能力优越、具有高互联带宽，可以支持 AI 计算效力实现最大化，成为智能计算的主流解决方案。 服务器中的 CPU 和 AI 卡的数量并不固定，会根据客户应用需求调整，对于 AI 服务器来讲，较为常见的是配备 2 个 CPU，以及八个 AI 卡。而相比于 AI 服务器，传统的通用服务器则以 CPU 为主。因此，AI 的发展将极大拉动 GPGPU、TPU、NPU 等 AI 芯片的需求。 AI 计算需要多元异构算力提供支持，将极大拉动GPGPU、AISC 等 AI 芯片的需求。中国 AI 芯片市场规模有望快速增长，据艾瑞咨询发布的《2022 年中国人工智能产业研究报告(Ⅴ)》，预计 2027 年达到 2164 亿元。 下载链...
从算力到存力：存储芯片研究框架（2023）
2023-04-10 16:24:55 248
2023年3月31日，我国发起对美光在华销售产品的网络安全审查，体现出存储产业安全的重要性。此外，AI算力需求拉动高算力服务器出货，而AI服务器的存力需求更强，AI将驱动“从算力到存力”的中长期需求： 2023年3月31日，我国发起对美光在华销售产品的网络安全审查，体现出存储产业安全的重要性。此外，AI算力需求拉动高算力服务器出货，而AI服务器的存力需求更强，AI将驱动“从算力到存力”的中长期需求： 1、海外厂商占据绝对份额，国内存储安全重要性凸显 存力的底层支撑：半导体存储器芯片（主流为DRAM+NAND Flash）。存力的体现形式：数据中心+存储服务器。 海外巨头垄断，国内存储安全重要性日益凸显。全球DRAM市场几乎由三星、SK海力士和美光所垄断，CR3 超过95%，全球NAND flash市场由前三大厂商分别为三星、铠侠和海力士，目前 CR3 市场份额达65%，CR6 市场份额接近95%。 2、国内数据圈庞大，AI驱动“从算力到存力”的长期需求 得益于人工智能、物联网、云计算等新兴技术的快速发展，中国数据正在迎来爆发式增长，驱动存储设备在数据中心采购占比进一步提升。据IDC预测，预计到2025年，中国数据圈将增长至48.6ZB，占全球数据圈的27.8%，成为全球最大的数据圈。 AI技术革命推动高算力服务器等基础设施需求...
全新第四代英特尔® 至强® 可扩展处理器重磅发布，七大加速神器加持实现更强性能
2023-04-10 15:27:32 287
复苏酝酿芯机会，变化推动芯增长。1月11日，以“芯加速 行至远”为主题的第四代英特尔® 至强® 可扩展处理器新品发布会盛大举行。会上，英特尔正式推出第四代英特尔® 至强® 可扩展处理器、英特尔® 至强® CPU Max系列以及英特尔® 数据中心GPU Max系列，在实现数据中心性能、能效和安全性大幅跃升的同时，为AI、云、网络、边缘和全球领先的超级计算机带来全新功能。
DPU全球格局，国内5家崛起（2023）
2023-04-07 14:59:07 253
DPU 行业市场集中度较高。根据头豹研究院数据，近年来国内 DPU 市场中，国际三大巨头英伟达，博通，Intel 的份额分别达到 55%、36%、9%。但国内DPU厂商也逐渐崛起，本文重点介绍星云智联、大禹智芯、云脉芯联、芯启源和中科驭数。 ——文末附智能网卡DPU专题下载—— 38份DPU专业报告 DPU 行业市场集中度较高。根据头豹研究院数据，近年来国内 DPU 市场中，国际三大巨头英伟达，博通，Intel 的份额分别达到 55%、36%、9%。但国内DPU厂商也逐渐崛起，本文重点介绍星云智联、大禹智芯、云脉芯联、芯启源和中科驭数。 关于DPU技术应用及技术原理，请参看文章“DPU技术原理、算力效率及应用场景解析”和“主流DPU架构实现及技术对比”、“DPU性能基准：测评框架与测试流程介绍（2022）”。 国际上，Nvidia、Intel、Xilinx、Marvell、Broadcom、Pensando、Fungible、Amazon、Microsoft 等多家厂商在近 2-5 年内均有 DPU 或相似架构产品生产，较国内相对较早。国内厂商中，华为，阿里，百度，腾讯也在近几年针对自身服务器进行自研与外购 DPU，针对的主要功能在于数据，存储与安全方面。 1、英伟达：具备先发优势，其 BlueField 系列芯片已到达第三代 BlueField 2 搭...
NVIDIA 最新调研出炉：电信行业 AI 现状
2023-04-06 16:15:05 225
电信行业在如何将资源最优分配给 AI 上有着深刻且全面的理解——降低成本、增加收入、提升客户体验和提高运营效率都是电信行业的首要目标。
借助 NVIDIA 技术，用 AI 赋能 3D 内容生成
2023-04-04 14:08:20 210
KIRI Innovations 是一家面向全球市场的 AI 公司，致力于通过前沿技术赋能 3D 内容制作，降低 3D 内容生产的门槛。公司拥有 3D 重建引擎 KIRI Engine，通过手机拍照即可实现对物体的超写实 3D 建模。