基于键值矩阵缓存的模型推理方法及装置、介质

被引:0
专利类型
发明
申请号
CN202410437752.8
申请日
2024-04-12
公开(公告)号
CN118036754A
公开(公告)日
2024-05-14
发明(设计)人
汪玉 洪可 毛秋力
申请人
清华大学
申请人地址
100084 北京市海淀区清华园1号
IPC主分类号
G06N5/04
IPC分类号
G06F16/33 G06F40/126
代理机构
北京林达刘知识产权代理事务所(普通合伙) 11277
代理人
李茂家;周蕾
法律状态
公开
国省代码
北京市 市辖区
引用
下载
收藏
共 50 条
[1]
基于键值矩阵缓存的模型推理方法及装置、介质 [P]. 
汪玉 ;
洪可 ;
毛秋力 .
中国专利 :CN118036754B ,2024-06-18
[2]
基于键值缓存压缩的问答推理方法、装置、设备及介质 [P]. 
刘吉 ;
倪俊 ;
沈耘壮 ;
胡廷聪 .
中国专利 :CN120598057A ,2025-09-05
[3]
键值缓存数据的调度方法、大模型推理方法及装置 [P]. 
朱帅 .
中国专利 :CN120276667B ,2025-12-05
[4]
键值缓存数据的调度方法、大模型推理方法及装置 [P]. 
朱帅 .
中国专利 :CN120276667A ,2025-07-08
[5]
大语言模型的键值缓存管理、模型推理和数据处理方法及装置 [P]. 
张锐 ;
赵军平 .
中国专利 :CN118860573A ,2024-10-29
[6]
键值缓存方法、装置、设备、存储介质及产品 [P]. 
王冀彬 ;
武智晖 ;
张逸飞 ;
肖智文 ;
吴佳熙 ;
陈尊明 ;
王斌 ;
王英杰 ;
乔志权 .
中国专利 :CN119941879A ,2025-05-06
[7]
基于异构推理的模型推理加速方法、装置、设备及介质 [P]. 
张钊宁 ;
张立博 ;
梅松竹 ;
乔林波 ;
田植良 ;
李荣春 ;
赖志权 ;
黄震 ;
李东升 .
中国专利 :CN120197700A ,2025-06-24
[8]
键值缓存方法、装置、设备及介质 [P]. 
瞿晓阳 ;
王健宗 ;
王培强 .
中国专利 :CN121189484A ,2025-12-23
[9]
大语言模型的量化方法及推理方法、装置、设备和介质 [P]. 
汪玉 ;
宁雪妃 ;
李师尧 .
中国专利 :CN118036755B ,2024-06-18
[10]
大语言模型的量化方法及推理方法、装置、设备和介质 [P]. 
汪玉 ;
宁雪妃 ;
李师尧 .
中国专利 :CN118036755A ,2024-05-14