多业务、多场景:HAMi 如何解决 AI 推理算力碎片化

课程 ID: 18468

描述:
话题概述: 随着大模型在搜索、推荐、智能驾驶、语音识别等领域的广泛应用,AI 企业面临的 GPU 资源管理挑战日益凸显。如何高效利用 GPU 资源、降低算力成本、提升推理效率,成为摆在各行业面前的重要课题。然而,在传统 Kubernetes 集群中,GPU 通常以独占方式分配,导致资源利用率低、任务混布困难,算力碎片问题尤为突出。为了解决这一系列问题,HAMi 应运而生。 在本次分享中,我们将结合多个真实案例,详细介绍 HAMi 在金融、智能驾驶、公有云智算和生成式 AI 等典型场景中的应用效果。例如,某银行利用 HAMi 进行显存超配和混布部署,GPU 利用率从 20% 提升至 70%;青云基石智算实现了 H800 卡的精细计费,显存利用效率显著提升;海外初创公司 SNOW 则通过 HAMi 打破了训练与推理共置难题,实现算力效率最大化。基于这些实践成果,我们将进一步探讨 HAMi 未来在可观测性、DRA 原生支持等方面的发展方向,共同构建更加智能高效的异构 AI 推理平台。 演讲题纲: 一、背景 二、HAMi 简介 HAMi 的基本理念 HAMi 的核心技术能力 HAMi 的优势 三、典型落地案例分享 案例一:金融行业 案例二:公有云智算平台 案例三:全球AI视觉科技公司SNOW 案例四:智能驾驶场景探索 四、技术实测:使用 HAMi 的推理性能评估 五、HAMi 的未来发展与路线图 六、结语 话题亮点: 1. 多场景 GPU 利用率显著提升 2. 高性价比算力售卖与资源弹性 3. 复杂算力场景下的任务混布能力