多GPU训练大型模型：资源分配与优化技巧｜英伟达将推出面向中国的改良芯片HGX H20、L20 PCIe、L2 PCIe

在人工智能领域，大型模型因其强大的预测能力和泛化性能而备受瞩目。然而，随着模型规模的不断扩大，计算资源和训练时间成为制约其发展的重大挑战。特别是在英伟达禁令之后，中国AI计算行业面临前所未有的困境。为了解决这个问题，英伟达将针对中国市场推出新的AI芯片，以应对美国出口限制。本文将探讨如何在多个GPU上训练大型模型，并分析英伟达禁令对中国AI计算行业的影响。

阅读全文 → 2023-11-16

GPT-4 Turbo 发布 | 大模型训练的新时代：超算互联网的调度与调优

算力对训练模型的重要性日益凸显。随着大模型训练的流行，全球显卡和算力正在快速增长。算力后周期市场也在迅速崛起。其中“后”更多是指后服务市场，涵盖从显卡服务器到货IDC之后，形成稳定算力到输出稳定商业推理结果全过程。该过程主要涉及云化、调优、调度、部署、落地和数据管理等环节。

阅读全文 → 2023-11-09

探秘英伟达显卡的制造之路 | 英伟达断供GPU，中国大模型何去何从？

在当今时代，人工智能技术正以前所未有的速度发展，推动着各个领域的创新与变革。作为人工智能技术的核心引擎之一，高性能GPU扮演着至关重要的角色。在这个领域，英伟达的H100无疑是一款备受瞩目的高端产品。它针对高性能计算和人工智能应用而设计，具备强大的计算能力和高内存容量，以及先进的互连技术，可以有效提升集群中的计算效率，加速深度学习、计算机视觉、自然语言处理等领域的AI训练和推理任务。

阅读全文 → 2023-11-03

一文详解多模态大模型发展及高频因子计算加速GPU算力 | 英伟达显卡被限，华为如何力挽狂澜？

近年来，全球范围内的芯片禁令不断升级，给许多企业和科研机构带来了很大的困扰，需要在技术层面进行创新和突破。一方面，可以探索使用国产芯片和其他不受限制的芯片来替代被禁用的芯片；另一方面，可以通过优化算法和架构等方法来降低对特定芯片的依赖程度。

阅读全文 → 2023-10-26

大模型AI芯片群雄逐鹿，谁主沉浮？英伟达NVIDIA？AMD？华为？

随着人工智能、大数据、高性能计算、生成式AI和大语言模型的快速发展，芯片技术和服务器市场变得越来越重要。大模型需要高性能芯片支持，而芯片技术的发展又为大模型应用和推广提供可能。在这篇文章中，我们将探讨推进芯片快速发展的技术（稳态微聚束加速器光源）、华为和英伟达显卡的对比以及赋能生成式AI和LLM大模型负载L40S服务器。

阅读全文 → 2023-10-19

高性能计算与多模态处理的探索之旅：英伟达GH200性能优化与GPT-4V的算力加速未来

随着人工智能技术的不断发展，多模态大模型成为越来越重要的发展趋势。GPT-4V（GPT-4 近日开放的视觉模态）大型多模型（LMMs）扩展大型语言模型（LLMs）以增强多感知技能（如视觉理解等）从而实现更强大的通用智能。本文着重对GPT-4V进行深入分析，以进一步深化对LMM的理解。在此本文分析核心是GPT-4V可以执行的任务，同时包含用于探测其能力质量和通用性的测试样本。