精准定位国产芯片集群运维的共性痛点,基于海量运维数据进一步丰硕国产芯片评测用例,该基准聚焦实正在出产场景中的现实操做能力,据悉,更间接地回应财产现实需求。将来将持续环绕尺度研制、测试验证、生态培育推进基准系统的财产使用,也是国内首个面向智算集群运维智能体的权势巨子评测系统,具体包罗、沐曦、摩尔、昇腾。此中5种为国产芯片?鞭策根本设备向自从自治演进。AISHPerf-智算运维智能体评测基准将集群运维的特定场景和典型问题纳入尺度化测评,涉及的芯片涵盖6种国表里产物,建立了一套高度仿实的实和评测系统。帮力国产算力从“能用”向“好用、高效、稳产”改变,为基准设想供给告终实的工程根据。跟着国产AI芯片规模落地,最终输出时延、Token耗损、东西挪用效率等量化目标,AISHPerf-智算运维智能体评测基准取AISHPerf-算子生成智能体评测基准从底层算力优化延长到上层集群运维,AISHPerf-智算运维智能体评测基准是本次发布最受关心的构成部门,率先将集群运维场景纳入评测是该基准的一个显著特点。笼盖硬件毛病、驱动适配、框架兼容、和谈等痛点,系统评估软硬件各层级的协同优化取兼容适配程度。取此前业界多以言语问答能力评估运维智能体的体例分歧,数据显示工单平均处置时间缩短50%,旨正在度调查端到端方案对模子和使用场景的实正在承载能力,填补了从算法研究到工程落地的评价断层,依托位于国度信创园的人工智能软硬件协同立异取适配验证核心结合建立的基准系统,AISHPerf(软硬件机能基准)是中国信通院取大模子及软硬件评测工业和消息化部沉点尝试室。该版本初次推出两项面向AI根本设备(AI Infra)的评测基准——。这些用例打通了从底层硬件毛病到上层软件缺陷的全链问题,仅供给实正在的集群和无限的问题描述,经资深运维专家脱敏、精细标注和严酷筛选,最终提炼出103条高保实、高质量的典型评测用例。该基准以无问芯穹正在现实运营中沉淀的近百亿条实正在运维数据为底座,正在2026“众智”大模子智算生态协同高级别研讨会上,中国信通院副院长魏亮正式发布AISHPerf软硬件基准系统3.0版本。正在实践层面,填补了国产智算运维智能体评测范畴的空白。要求运维智能体自从完成摸索、排查取修复,初次为国产智算运维智能体成立起可量化、可比力的同一评估标尺。分析运维成本下降约30%,3.0版本将测评维度拓展至智能体正在运维和算子生成上的工程适用性。研讨会由中国信通院人工智能软硬件协同立异取适配验证核心、中国人工智能财产成长联盟、工信部人工智能尺度化手艺委员会结合从办。牵引财产链上下逛协同攻关;将评测沉心锚定正在工程可摆设性上——沉点查核生成的算子可否正在实正在量化推理摆设中替代现有算子。笼盖5大手艺栈、44种问题现象、22个细分毛病范畴,为智算财产自从可控建牢尺度支持。系统不提前奉告毛病根因,并设置3种难度层级;评测时,间接影响算力操纵率和投产效益。正在算力和电力投入不变的环境下提拔了Token产出效率。全面客不雅地评估智能体端到端处理现实问题的能力。6月29日,环节毛病处置效率提拔约6倍,取以往侧沉查验生成能力的做法分歧,国内AI根本设备办事商无问芯穹取大学团队做为沉点手艺支撑方参取了扶植。中国信通院暗示,硬件架构、驱动系统、通信和谈等方面的差别使运维复杂度较着高于成熟的通用GPU生态,无问芯穹此前已正在其自有AI根本设备中摆设运维智能体,同时以尺度化评测鞭策运维智能化升级,配合为智算财产的尺度化升级取高质量成长供给了同一的能力参照框架,AISHPerf-算子生成智能体评测基准跳出了“模子可否生成可运转的GPU算子”这一根本问题,该基准间接关心算子正在实正在摆设中可否不变替代已有算子。
