transformer

预测材料特性，首先需要构建其晶体结构。然而，现有的预测方法计算成本高昂，阻碍了材料科学的快速发展。利用高质量的候选结构预测晶体结构，有望突破这一瓶颈。雷丁大学的研究人员开发了一种名…

openai重磅发布sora：视频生成模型正式上线，堪称视频版的gpt-1！ OpenAI在持续更新的第3天，终于带来了重磅消息——视频生成模型Sora正式版发布！距离今年2月首次…

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工…

meta fair 的 yann lecun 团队近期发布了导航世界模型（navigation world models，nwm），该模型能够基于单张图像生成连续一致的视频4 U …

豆包是一种大型语言模型（llm），采用以下步骤生成文本：1. 训练庞大文本数据集；2. 使用transformer神经网络架构；3. 编码输入文本为向量；4. 运用注意力机制关注关…

neurips 2024 颁发了年度时间检验奖，gan 论文荣获殊荣，这标志着生成对抗网络（gan）诞生十周年。这篇由 ian goodfellow 等 ai 大佬撰写的论文，已被…

谷歌deepmind于12月5日凌晨发布了大型基础世界模型genie 2，该模型能够根据单张图片或文字描述生成丰富的可交互3d世界。作为genie的升级版，genie 2代J d …

豆包，一种神经网络架构，在人工智能发展史上具有里程碑意义，它：提高了nlp任务的准确性，例如文本分类和机器翻译。扩展了nlp的可能性，促进了新应用程序的开发。加速了nlp模型的开发…

伦敦instadeep的研究人员开发了一种名为nucleotide transformer (nt) 的强大基础模型，用于预测dna序列的分子表型。该模W & r } 8…

豆包图像生成功能的背后原理基于深度学习的扩散模型。扩散模型的工作流程大致如下：将原始图像逐步添加噪声，直至将其完全覆盖；训练神经网络模型从纯噪声图像中逐步去除噪声；根据用&#038…

编辑 | 萝卜皮 近年来，深度学习模型在蛋白质-配体对接和亲和力预测中的应用引起了越来越多的关注，而这两者都对基于结构的药物设计至关重要。 然而，许多此类模型忽略了复合物中配体和蛋…

一个有效的复杂系统总是从一个有效的简单系统演化而来的。——John Gall 在 Transformer 模型中，位置编码（Positional Encoding） 被用来表示输入…

原来早在 2017 年，百度就进行过 Scaling Law 的相关研究，并且通过实证研究验证了深度学习模型的泛化误差和模型大小随着训练集规模的增长而呈现出可G k g 0 S 1…

当物理推理能力进化后，通用强化学习智能体能在2D物理环境中执行多样化任务了。 在机器学习领域，开发一个在未见过领域表现出色的通用智能体一直是长期目标之一。一种观点认为，在大量离线v…

在智慧城市和大数据时代背景下，人类轨迹数据的分析对于交通优化、城市管理、物流配送等关键领域具有重要意义。然而，现有的轨迹相关模型往往受限于特定任务、区域依赖、轨迹数据规模和多样性困…

DeepSeek 又出手了，这次又是重磅炸弹。 昨晚，DeepSeek 上线了全新的推理模型 DeepSeek-R1-Lite-Preview ，直接冲击 OpenAI o1 保持…

租用 H100 的钱只需 233 美元。 还记得 Andrej Karpathy 纯 C 语言复现 GPT-2 大模型的项目吗？ 今年 4 月，AI 领域大牛 Karpathy 一…

算起来，距离 5 月 14 日 OpenAI 发布 GPT-4o 高级语音模式已经过去了半年时间。在这期间，AI 实时语音对话已经成为了有能力大厂秀肌肉、拼实力的新战场。 不过，由…

作者 | 邵斌团队编辑|ScienceAI2024 年 10 月 30 日，北京理工大学邵斌教授团队在《Nature Communications》杂志上发表了题为：《A long…

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工…

人工智能（AI）研究课题 1. 生成式人工智能基础研究 智能涌现机理：探索生成式模型如何从海量数据中展现智能特性。 神经网络架构：设计高效的神经网络结构，如D # H R =改进的…

AIxiv专栏是本站发布学术、技术内容的栏目。过去数年，本站AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工…