Token
-
腾讯混元又来开源,一出手就是最大MoE大模型
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交d O E ^ w h 7…
-
高效评估多模态预训练对齐质量,中科大提出模态融合率MIR
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工…
-
大模型已过时,小模型SLM才是未来?苹果正在研究这个
手机还是更适合小模型 大模型虽然好,但我的笔记本和手机都跑不动呀。就算勉强能跑起来,也是奇慢无比。而与此同时,对适合移动和边缘设备的小模型的需求却在不断增长,因为这些模型似乎才能真…
-
新视角设计下一代时序基础模型,Salesforce推出Moirai-MoE
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交\ P = V 5 2 *…
-
o1之后,GitHub又接入Claude、Gemini,网友:也杀不死Cursor
那些转到 cursor 的用户,会不会又被吸引过来呢? 从今天起,GitHub Copilot 用户可以有更多模型选择了。 包括 Anthropic 的 Claude 3.5 So…
-
MIT韩松团队长上下文LLM推理高效框架DuoAttention:单GPU实现330万Token上下文推理
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进1 L = 9 9 H Q 2了学…
-
132年未解开的李雅普诺夫函数谜题,被Symbolic Transformer攻克了
牛顿没解决的问题,AI给你解决了? AI的推理能力一直是研究的焦点。作为最纯粹、要求最高的推理形式之一,能否解决高级的数学问题,无疑是衡量语言模型推理水平的一把尺。 虽然我们已经见…
-
补齐Transformer规划短板又不放弃快速思考,田渊栋团队的Dualformer融合System 1和2双重优势
一个 token 就能控制模型快些解答或慢点思考。 OpenAI 1 模型的发布掀起了人们对 AI 推理过程的关注,甚至让现在的 AI 行业开始放弃卷越来越大的模型,而是开始针对推…
-
NeurIPS2024 | OCR-Omni来了,字节&华师提出统一的多模态文字理解与生成大模型
研究背景与挑战 在人工智能领域,赋予机器类人的图像文字感知、理解、编辑和生成能力一直是研究热点。目前,视觉文字领域的大模型研究主要聚焦于单模态生成任务。尽管这些模型在某些任务上实现…
-
图灵奖得主Yoshua Bengio新作:Were RNNs All We Needed?
自从 transformer 模型问世以来,试图挑战其在自然语言处理地位的挑战者层出不穷。 这次登场的选手,不仅要挑战 Transformer 的地位,还致敬了经典论文的名字。 再…
-
给小学数学题加句「废话」,OpenAI o1就翻车了,苹果新论文质疑AI推理能力
苹果新论文:ai 大模型可能不会推理。 AI 大模型(LLM)真的像我们理解的那样能「思考」或「推理」吗?最近,苹果的一篇论文探讨了这个问题,并且给出了一个倾向于「否」的答案。相关…
-
NeurIPS 2024 | Transformer长度外推,全新位置编码DAPE大幅提升模型性能
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有; 3 …
-
NeurIPS 2024 | 大模型的词表大小,同样适用于Scaling Law
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有w ( …
-
上交大发布首个OpenAI o1复现项目进展报告,满满的经验洞察
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进* t M k了学术交流与传H L…
-
揭秘提示词压缩技术
提示工程是一种在机器学习模型,尤其是预训练语言模型中,通过精心设计输入提示(prompt)来引导模型输出期望结果的技术。在大语言模型的使用中,提示词通常是一段文本,用来引导模型生成…
-
陈丹琦等人组织的COLM奖项公布:被ICLR拒稿的Mamba入选杰出论文
会议组织者都是 nlp 头部科学家,在语言建模方面有着相当的成果。 随着 AI 领域的快速发展,大模型逐渐成为研究的核心,为了更好地探索这一领域,2023 年,一批知名的青年学者组…
-
号称击败Claude 3.5 Sonnet,媲美GPT-4o,开源多模态模型Molmo挑战Scaling law
Molmo,开源多模态模型正在发力! 它也可以从虚拟世界帮你解决现实世界的问题,说一句:「molmo,帮我买杯星巴克的南瓜拿铁。」剩下的就不用动手了,打开外卖网页、点餐、付款,mo…
-
mini-GPT4o来了? 能看、能听、会说,还情感丰富的多模态全能助手EMOVA
AIxiv专栏是本站发布学术、技术内容的栏目。过去数年,本站AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工…
-
5秒内快速生成、直出工业级PBR资产,三维扩散模型3DTopia-XL开源
AIxiv 专栏是本站发布学术、技术内容的栏目。过去数年,本站 AIxiv 专栏接收报道了 2000 多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您…
-
终于拿到内测!豆包-PixelDance真是字节视频生成大杀器
「火山爆发,震撼天地。」这八个字会在你的头脑中触发怎样的影像?是否与下面的视频类似? 提示词:火山喷发,升起巨大蘑菇云,岩浆顺着山体往下流,镜头拉近,岩浆正在火山口跳动冒出。 这段…
-
刚刚,Llama 3.2 来了!支持图像推理,还有可在手机上运行的版本
今天凌晨,大新闻不断。一边是 OpenAI 的高层又又又动荡了,另一边被誉为「真・Open AI」的 Meta 对 Llama 模型来了一波大更新:不仅推出了支持图像推理任务的新一…