11月5日消息，近日，华为宣布针对AI推理加速的关键技术——UCM（UnifiedCacheManager）推理记忆数据管理正式开源。UCM以KVCache多级缓存和推理记忆管理为中心，通过推理...
11月5日消息，近日，华为宣布针对AI推理加速的关键技术——UCM（Unified Cache Manager）推理记忆数据管理正式开源。
UCM以KV Cache多级缓存和推理记忆管理为中心，通过推理框架、算力、存储的三层协同，破解长序列推理效率低、成本高的难题，为企业提供更优的AI推理体验。
据介绍，UCM融合了多类型缓存加速算法工具，可分级管理在推理过程中产生的KV Cache记忆数据。
UCM具备四大关键能力：稀疏注意力、前缀缓存、预填充卸载、异构PD解耦。
它实现首Token时延最高降低90%，系统吞吐最大提升22倍，并达到10倍级上下文窗口扩展，显著提升了AI推理性能。
目前，UCM已在ModelEngine社区开放基础框架与工具链，开发者可通过社区获取UCM源代码与技术文档。
UCM产品架构
本文转载于快科技，文中观点仅代表作者个人看法，本站只做信息存储
阅读前请先查看【免责声明】本文来自网络或用户投稿，本站仅供信息存储,若本文侵犯了原著者的合法权益，可联系我们进行处理。 转载请注明出处：https://m.5aksw.com/w/42448.html
12月5日消息，NVIDIACEO黄仁勋近日现身《乔·罗根体验》（JoeRoganExperience）播客节目。在节目中，他回顾了NVIDIA的发展历程，并透露了一个关于公司首款AI超级计算机...
12月5日消息，据《财富》报道，被誉为“AI教父”的杰弗里·辛顿（GeoffreyHinton）近期公开表态，认同比尔·盖茨与埃隆·马斯克对AI重塑工作场景的判断，并警告AI的迅猛发展可能导致大规模...
12月5日消息，今日，有网友在社交平台发视频称在三亚商场华为门店遇到了演员李乃文，而他正在体验新款华为手机。据视频画面显示，李乃文体验的手机应该是华为MateX7，因为今天也正好是MateX7开售...
12月5日消息，近日，金沙江创投主管合伙人朱啸虎在“微博财经”节目中，谈到如何看待外卖大战。朱啸虎表示，外卖大战现在看来是三败俱伤，如果不考虑京东的话，就是两败俱伤。朱啸虎还称：“而且这个投入，说实话...
12月5日消息，近日，一小红书博主分享了一则关于网购评价的日常，触动了不少网友。博主表示，自从教会妈妈用拼多多，她的评价区就成了我的“专属展区”。在妈妈拼多多的每一条商品评价里，都用“家人觉得好用”“...
