-
微软秘密开发首个千亿大模型，竟由 OpenAI 对手操刀！网友：你不要奥特曼了？
整理 | 华卫Phi-3 Mini 模型发布不到两周，微软又传出了自研千亿参数级别模型的消息。自向 OpenAI 投资超 100 亿美元以换取重用其人工智能模型的权利以来，微软首次开始在内部自研全新且足够大的人工智能模型，或能与来自谷歌、Anthropic 和 OpenAI 的最先进模型相竞争。这个新模型在内部被称为 MAI-1，由前谷歌人工智能领导者、 AI 初创公司 Inflection 的 CEO 穆斯塔法·苏莱曼 (Mustafa Suleyman) 负责监督。知情人士称，MAI-1 的参数规模将远远大于 Phi-3 等任何微软之前训练过的较小的开源模型。但这意味着，它将需要更多的计算能力和训练数据，因此成本会更高。同时，微软此举表明，其现在正在人工智能领域追求“双重轨道”，目标是开发既可以廉价地构建到应用程序中又可以在移动设备上运行的“小语言模型”，以及更大、最先进的人工智能模型...
2024-05-17 -
国产版 Sora 到来！视频大模型更上一层楼
大模型的快节奏发展，让了解最新技术动态、积极主动学习成为每一位从业者的必修课。InfoQ 研究中心期望通过每周更新大模型行业最新动态，为广大读者提供全面的行业回顾和要点分析。现在，让我们回顾过去一周的大模型重大事件吧。一、重点发现本周，行业在技术创新、模型优化、跨领域应用和科研探索方面展现出活跃态势。Vidu 视频大模型，多 token 预测模型以及 gpt2-chatbot，均展现突破性性能。元象公司开源 XVERSE-V 大模型，通义千问发布千亿参数的 Qwen1.5-110B，推动了 AI 技术的共享与进步。PEFT 技术和 KAN 神经网络架构的提出，为大模型的训练和架构设计提供了新方向。Anthropic 发布 Claude iOS 应用，GitHub 推出 Copilot Workspace，增强了 AI 在移动平台和开发环境中的实用性。二、具体内容大模型持...
2024-05-17 -
英伟达正在开启 AI 芯片新纪元：重磅推出全新架构芯片，可支持 10 万亿个参数模型
北京时间凌晨 4：00，大洋彼岸的美国加利福尼亚州圣何塞的圣何塞会议中心，被称为英伟达技术盛宴的 GTC 2024 大会正如火如荼地进行着。作为英伟达 2024 的开年大戏，身着标志性皮夹克的万亿富豪黄教主站在舞台中央，平静地甩出继 H100、A100 后的又一系列“核弹”级超级芯片。 今年的 GTC 之所以万众瞩目，是因为过去一年英伟达在 AI 领域的财务业绩方面取得了巨大成功。从 Volta V100 GPU 系列到最新的 Ampere A100 和 Hopper H100 芯片，该公司一直问鼎 AI 芯片之王。 GPU 家族再添“新丁”，全新 Blackwell 架构芯片炸场 在本届 GTC 大会开始之前，国外媒体就已经开始盛传：黄仁勋将在 GTC 2024 上发布一款 GPU 家族的新品，果然，采用 Blackwell 架构的 B200 系列和 GB2...
2024-03-20 -
刚刚！马斯克开源 Grok：参数量近 Llama 四倍，成全球最大开源模型
刚刚，马斯克在他的社交媒体平台 X 上宣布 xAI 开源 Grok，这也兑现了他上周的开源承诺。截至目前，Grok 已经在 GitHub 上获得了 4.3k 颗 Star。 开源地址：https://github.com/xai-org/grok-1 Grok-1 是一个由 xAI 从头训练的 3140 亿参数的混合专家模型，其中 25%的权重来处理给定的标记。xAI 这次发布的是大型语言模型 Grok-1 的基本模型权重和网络架构，使用了 Apache-2.0 许可证。 根据介绍，Grok 的架构是在 2023 年 10 月使用自定义训练堆栈在 JAX 和 Rust 上开发的，采用了创新的神经网络设计方法。 “该版本是 Grok-1 预训练阶段的原始基本模型检查点，该阶段于 2023 年 10 月宣告结束。这意味着该模型并未针对...
2024-03-18 -
谷歌华人工程师被捕：号称“全球能搭建万卡级算力平台的十人之一”，在国内两公司担任 CTO、CEO
因涉嫌窃取谷歌 AI 商业机密，中国籍谷歌工程师在美被捕 据美国司法部网站信息，日前，美国联邦政府对华人工程师 Linwei Ding（又名 Leon Ding）提起四项商业机密盗窃罪名，指控其涉嫌意图从谷歌公司处窃取与 AI 技术相关的专有信息。3 月 5 日，Linwei Ding 在加利福尼亚州纽瓦克当地被捕。 如果罪名成立，Linwei Ding 将面临最高 10 年监禁及每项罪名最高 25 万美元（约 180 万元人民币）的罚款，联邦地区法院法官将在参考美国量刑指南及其他法律因素后做出判决。目前，联邦调查局与商务部正在联手调查此案。 起诉书显示，Linwei Ding 今年 38 岁，为中国公民、加利福尼亚州纽瓦克居民。根据公布的法庭文件，Linwei Ding 涉嫌窃取的技术涉及谷歌先进超级计算数据中心的构建模块，该数据中心专门用于支持大型 AI ...
2024-03-08
