新浪科技讯 3月14日下昼音讯，清华大学高性能诡计辩论所翟季冬解说团队与清华系创企清程极智长入文书，大模子推理引擎“赤兔Chitu”施伸开源。据悉，该引擎完了在非英伟达Hopper架构GPU及万般国产芯片上原生运转FP8精度模子人妖 射精，冲突“硬件绑定”逆境，为国产AI芯片的平庸欺诈和生态树立带来了新的突破。
DeepSeek的发展股东了FP8精度模子成为行业主流，跟着DeepSeek的执续火热， 企业大模子绝顶化部署的需求也呈现井喷态势。相关词，现时公共向上的FP8模子永恒依赖英伟达H系列高端GPU，这使得国内企业在部署大模子时受限于AI芯片供应获取的截止。
据悉，这次开源的“赤兔”推理引擎通过底层时间纠正，初度完了了非H卡开采（包括英伟达Hopper架构之前的GPU卡及万般国产卡）对原生FP8模子的高效部署，开脱对特定硬件的依赖，镌汰了企业部署AI模子的门槛和资本。
在首期开源版块中，赤兔引擎部署DeepSeek-R1-671B满血版时，在A800集群的测试中，比拟部分国际开源框架，GPU使用量减少50%的情况下推理速率仍有3.15倍提速。这意味着企业不错用更少的硬件资源得回更高的推感性能，极大镌汰了部署门槛和运营资本。况兼，在匡助企业降本增效的同期，赤兔引擎的时间可完了模子后果不受损。
当今，赤兔引擎筹划成就粉饰从纯CPU到大领域集群的全场景大模子部署需求，适配英伟达多款GPU及多款国产芯片。为匡助企业提供开箱即用的部署决议及专科运维劳动，清程极智还推出了基于赤兔的“推理一体机”，进一步简化企业AI落地经由。
清华大学翟季冬解说强调，赤兔凝结了团队多年并行诡计与编译优化时间累积，筹划是“弥合先进模子与万般化硬件之间的差距，让国产算力实在‘跑起来’，为中国大模子产业落地提供要津支执”。清程极智CEO汤雄超默示：“赤兔的定位是成为接洽多元算力与大模子欺诈的桥梁。咱们不仅支执英伟达全系列GPU，还针对国产芯片深度优化，过去将持续开源适配版块。”（文猛）
乱伦强暴
海量资讯、精确解读，尽在新浪财经APP
包袱剪辑：刘万里 SF014人妖 射精