基于预测解码的大语言模型的推理加速方法及装置

被引：0

专利类型：

发明

申请号：

CN202410807709.6

申请日：

2024-06-21

公开(公告)号：

CN118886511A

公开(公告)日：

2024-11-01

发明(设计)人：

段丽娟王叶毛润赵媛媛姜雨彤陈姝韩震李婧罗寅

申请人：

中国北方车辆研究所

申请人地址：

100072 北京市丰台区槐树岭四号院

IPC主分类号：

G06N5/046

IPC分类号：

G06F40/166

代理机构：

北京艾纬铂知识产权代理有限公司 16101

代理人：

吴亚兰

法律状态：

公开

国省代码：

引用

下载

收藏

法律状态

法律状态公告日	法律状态	法律状态信息
2024-11-01	公开	公开
2024-11-19	实质审查的生效	实质审查的生效IPC(主分类):G06N 5/046申请日:20240621

共 50 条

[1]

基于大语言模型的推理加速方法、装置、介质及设备 [P].

梁成栋 ;

陈晓宇 .

:CN120764681A ,2025-10-10

[2]

基于稀疏滑动窗口的大语言模型推理加速方法及装置 [P].

刘玉国 ;

陈其宾 ;

姜凯 .

中国专利 :CN118132682A ,2024-06-04

[3]

一种基于推测解码加速多模态大语言模型推理的方法 [P].

纪荣嵘 ;

林卢希 ;

曾展鹏 .

中国专利 :CN120525058A ,2025-08-22

[4]

大语言模型推理加速方法、装置、设备及介质 [P].

赵欣昊 ;

薛思皓 ;

姜上维 .

中国专利 :CN121031794A ,2025-11-28

[5]

基于动态稀疏性的大语言模型推理加速方法及系统 [P].

蹇松雷 ;

杨莹 ;

余杰 ;

李宝 ;

张建锋 ;

丁滟 ;

谭霜 ;

王怡琦 ;

郭勇 ;

王晓川 .

中国专利 :CN121235130A ,2025-12-30

[6]

基于大语言模型投机采样推理的加速器硬件及加速方法 [P].

孙广宇 ;

李聪 .

中国专利 :CN117933401B ,2024-06-07

[7]

基于大语言模型投机采样推理的加速器硬件及加速方法 [P].

孙广宇 ;

李聪 .

中国专利 :CN117933401A ,2024-04-26

[8]

基于WebGPU的Web大语言模型推理加速优化方法和装置 [P].

马郓 ;

陈智扬 ;

韩宇栋 ;

秘玮晨 ;

田得雨 .

中国专利 :CN119338016A ,2025-01-21

[9]

基于WebGPU的Web大语言模型推理加速优化方法和装置 [P].

马郓 ;

陈智扬 ;

韩宇栋 ;

秘玮晨 ;

田得雨 .

中国专利 :CN119338016B ,2025-04-04

[10]

大语言模型的加速推理方法和计算设备 [P].

程科 ;

仲睿光 ;

宋骐 ;

胡成臣 ;

李向阳 .

中国专利 :CN119783729A ,2025-04-08

← 1 2 3 4 5 →