batch
-
突破无规则稀疏计算边界，编译框架CROSS数倍提升模型性能
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工…
-
腾讯混元又来开源，一出手就是最大MoE大模型
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交d O E ^ w h 7…
-
大模型已过时，小模型SLM才是未来？苹果正在研究这个
手机还是更适合小模型 大模型虽然好，但我的笔记本和手机都跑不动呀。就算勉强能跑起来，也是奇慢无比。而与此同时，对适合移动和边缘设备的小模型的需求却在不断增长，因为这些模型似乎才能真…
-
清华开源混合精度推理系统MixQ，实现大模型近无损量化并提升推理吞吐
一键部署llm混合精度推理，端到端吞吐比awq最大提升6倍！ 清华大学计算机系PACMAN实验室发布开源混合精度推理系统——MixQ。 MixQ支持8比特和4比特混合精度推理，可实…
-
微调大模型，AMD MI300X就够了！跟着这篇博客微调Llama 3.1 405B，效果媲美H100
随着 AI 模型的参数量越来越大，对算力的需求也水涨船高。 比如最近，Llama-3.1 登上了最强开源大模型的宝座，但超大杯 405B 版本的内存就高达 900 多 GB，这对算…
-
让大模型能听会说，国内机构开源全球首个端到端语音对话模型Mini-Omni
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工…
