OpenAI遭监管调查：被指限制员工安全隐患举报
OpenAI因涉嫌使用限制性保密协议限制员工发声再次受到审查。OpenAI被曝强制员工签署所谓的过度限制性”协议，此举严重阻碍了员工揭露公司技术可能带来的潜在风...
2025-01-22
微软论文揭示GPT-4o与o1系列参数细节，8B迷你模型引关注
，微软最新论文意外泄露了GPT系列模型的参数，包括4o-mini仅有8B，o1也才300B。
来源声明
本文转载自量子位（ID: dreamorigin2016），已获得授权转载，文章作者为梦晨，原文首发于微信公众号“量子位”。
微软与OpenAI的“秘密”再次被揭露
近日，一篇来自量子位的文章披露了微软和OpenAI之间的最新动态，在这篇文章中，作者详细分析了微软如何通过论文“不经意间”泄露了OpenAI的机密信息，特别是关于GPT-4o及其迷你版本的参数细节，文章还讨论了英伟达B200芯片发布时对GPT-4参数估计的影响，并探讨了这些技术细节背后可能隐藏的战略意图。
GPT-4o参数曝光
根据文中提供的信息，微软在其最新的研究论文中明确指出了GPT-4o系列模型的具体参数规模：
- O-preview1约300B参数
- GPT-4o约200B参数
- GPT-4o-mini约8B参数
- GPT-4o-mini约8B参数
- Phi-3-7B约7B参数
- Claude3.5Sonnet约157B参数
- 微软自己的Phi-3-7B约7B参数
值得注意的是，虽然微软给出的数字更加精确，但大部分数据仍然是估计值，GPT-4o被认为有1800B的MoE（混合专家）等效参数，而GPT-4o-mini则可能是8B，相比之下，英伟达确认GPT-4是1.8T MoE，并且其GPT-4o-mini版本为8B，关于谷歌Gemini模型参数的估计却未见于论文之中。
英伟达B200芯片引发的争议
2024年初，英伟达发布了B200芯片，并声称其性能达到了GPT-4级别的1.8T MoE，这一声明立即引起了广泛关注，有人认为这可能是对谷歌Gemini模型参数的一种回应，因为大多数模型都是基于英伟达GPU运行的，不过，也有人认为由于谷歌的TPU平台不同，所以很难通过token生成速度来估算其参数规模，只有谷歌自家的模型参数估计才较为可信。
技术细节背后的战略考量
每次GPT架构或参数泄露都会引发轩然大波，2023年10月，微软曾宣称GPT-4只有20B参数，但后来在论文版本中删除了相关信息，此次泄露的数据同样引发了广泛讨论，尤其是关于GPT-4o mini是否真的只有8B大小的问题，尽管有人根据推理成本计算出4o-mini的价格是3.5-turbo的40%，但如果3.5-turbo确实有20B的话，那么4o-mini确实应该是8B左右，但这里的8B指的是激活参数而非全部参数。
OpenAI的未来计划
尽管存在诸多猜测，但可以肯定的是，OpenAI短期内不会公布确切的数字，此前奥特曼征集2024年新年愿望时提到“开源”，但在2025年的最新版本中已经去掉了这一项，这表明OpenAI可能在调整其对外公开信息的策略。
结语
这次泄露事件再次证明了科技界对于先进技术细节的关注程度之高，无论是微软还是其他公司，都在不断探索如何更好地保护自己的技术秘密同时推动行业发展，对于普通读者来说，了解这些背景知识有助于更全面地认识当前人工智能领域的竞争态势和技术发展趋势。
扫一扫关注我们
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件至 dousc@qq.com举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
当前页面链接：https://lawala.cn/post/274.html
相关文章
-
-
6700万参数模型挑战GPT-4，微软MIT合作破解Transformer推理难题
「因果推理」绝对是当前GenAI热潮下的小众领域，但是它有一个大佬级的坚定支持者——YannLeCun。他在推特上的日常操作之一，就是炮轰Sora等生成模型，并...
2025-01-22
-
微软发现“钥匙”，成功入侵GPT-4o、Claude 3
微软Azure首席技术官MarkRussinovich在官网分享了新型大模型入侵技术——“SkeletonKey”。万能钥匙是一种越狱攻击方法，其核心原理是使用...
2025-01-22
-
OpenAI发布PVG技术：利用小模型验证大模型，打破“黑盒”困境
7月18日凌晨，OpenAI在官网发布了最新技术研究——Prover-Verifier-Games。随着ChatGPT在法律、金融、营销等领域的广泛使用，确保模...
2025-01-21
-
以下是1个标题：，《3.8B参数模型激活，性能匹敌7B！微软出品，训练微调两不误》
只需激活60%的参数，就能实现与全激活稠密模型相当的性能。微软亚洲研究院的一项新研究，实现了模型的完全稀疏激活，让推理成本大幅下降。在极大规模下，稀疏激活模型有...
2025-01-21
-
GPT-4o Mini：OpenAI 高效低成本模型体验入口
GPT-4omini是什么？GPT-4omini是由OpenAI推出的一款成本效益极高的小型智能模型。您可以通过我们的AI产品库轻松发现最适合您需求的人工智能工...
2025-01-21
发表评论