近日,宝兰德全新 AI 产品-AI 智算平台(BES AILink Computing)在 2024 通明湖论坛上首次共公开亮相。作为国内开创性的企业级智算算力管理及应用平台,该平台集成了算力纳管、算力加速、算力调度、算力运维、算力运营等核心功能,旨在帮助用户突破算力瓶颈,加速大模型及其场景的普及与广泛应用。
时代背景
大模型与算力的双重挑战
在 AIGC(人工智能生成内容)风起云涌的时代,人工智能技术已成为推动各行业变革的核心力量。大模型的崛起,更是为用户带来了更强大的处理能力和广泛的应用前景。然而,在大模型实际应用过程中,用户常常面临以下几个重大挑战:
算力需求剧增,成本高昂:以 Qwen2-72B 模型为例,其推理过程需要两张 80GB 显存的 A100 显卡,算力需求是传统小模型的 30 倍以上。这不仅大幅增加了推理延迟和部署成本,还严重阻碍了用户 AI 项目的实施。
芯片短缺加剧,硬件供应紧张:全球芯片短缺日益严重,显卡价格高涨且供货紧张。此外,非 NVIDIA 显卡因缺乏完善工具链支持,系统兼容性问题频发。
硬件环境碎片化,兼容性差:云、边缘和终端设备的快速普及导致 AI 部署环境日益多样化,用户需应对复杂多变的硬件环境,开发与部署周期延长,系统集成复杂度增加。
产品定位
加速 AI 落地,突破算力瓶颈
宝兰德 AI 智算平台(BES AILink Computing)是一个综合性的解决方案,集成了算力资源池、算力中间件、大模型工场三大核心组件,旨在降低用户在大模型开发与部署过程中的成本与技术门槛,加速人工智能技术的落地和广泛应用,解决算力瓶颈问题并推动行业数字化转型。
宝兰德 AI 智算平台可统一管理、调度组织内不同厂商、型号的算力资源,解决高并发压力下的大模型推理需求,优化算力利用率。同时,平台支持大模型的微调功能,提升其在实际应用中的准确性和效果,确保用户能够快速从 AI 创新中获益。
宝兰德 AI 智算平台尤其适用于存在算力统一管理、调度及运营需求的组织。该平台包括算力管理、模型管理、资产管理、运维管理、运营管理等相关模块,可对大模型的训练和推理过程进行全面优化,提高相同算力条件下的性能表现。同时,可连接算力基础设施 (包括算力资源和算力集群)、大模型与应用,确保生产环境的稳定性和可用性,加速大模型应用落地。
核心功能
打通从开发到应用的 AI 全链条
宝兰德 AI 智算平台的核心功能设计围绕如何帮助用户最大限度利用算力资源、提升 AI 开发效率、加速模型的训练与推理过程展开。
资源池:统一管理多种算力
平台支持异构算力调度,包括英伟达、华为、海光等厂商的 GPU 设备。资源池功能可将组织内部不同品牌、不同型号的算力资源集中管理,通过自动发现和集群管理,实现资源的智能调度。
训练服务:一站式训练
用户可以选择平台提供的预置镜像或自定义镜像,结合自身的数据集与训练方式,定制适合业务场景的模型,并提供出色的训练加速能力。
推理服务:高并发场景的实时响应
平台支持对大模型进行一键部署,将其快速上线为推理服务,并通过加速引擎技术,满足高并发应用场景下的实时响应需求。
模型广场:模型管理与应用的集中平台
模型广场提供了对主流及用户大模型的集中管理,提高部门间大模型交换效率,提升组织内大模型资产共享服务能力。
安全保障:确保数据安全与高效管理
AI 智算平台内置完善的系统管理功能,提供对租户、用户、角色的全方位数据及功能安全控制,确保算力、模型、数据的安全隔离与平台的稳定运行。
应用场景
赋能多个行业的 AI 加速
宝兰德 AI 智算平台能够为多种业务场景提供支持,典型应用包括:
算力统一管理:组织内存在不同厂商、新旧多款型号算力,期望可有效利用存量及新建算力资产。
大模型训推加速:大模型应用并发压力大,对于大模型推理服务响应效率要求高。
大模型场景优化:面向具体业务落地可能存在准确性问题,需要针对不同场景进行大模型的优化。
产品价值
助力用户迈向智能化未来
宝兰德 AI 智算平台的核心价值体现在其对用户 AI 应用全流程的支持与优化:
加速 AIDC 建设效率:提供完整的 AIDC 建设的平台及工具链服务,提供多种厂商算力资源的统一管理和调度,适应云原生化的算力环境,保障 AIDC 建设速度和质量。
连接 AI 生产要素:高效连接算力基础设施 (包括算力资源与集群)、大模型资源、数据集及 AI 应用,提供稳定可靠的 AI 生产环境。
降低 AI 开发门槛:支持多种主流 AI 框架的无缝集成,简化 AI 开发流程,加速 AI 交付效率,降低大模型技术应用的落地难度。
提升 AI 运行效能:灵活配置算力调度策略,支持算力最大化利用,通过对模型的训练与推理进行加速,提升同等算力下的性能表现。
AI 智算平台(BESAILinkComputing)是宝兰德在人工智能领域探索的最新成就。未来,宝兰德将会集中优势资源持续推动 AI 智算平台在全行业的落地应用,我们期待与广大合作伙伴携手共进,共同探索人工智能的无限可能,谱写智能化新时代的美好篇章!