开发了多种方法,通过减少平衡不同专家之间的训练工作量所需的计算资源来提高训练效率。
开发了多种使推理更有效的方法,包括一种减少大型上下文窗口所需内存使用的技术。
严重依赖“蒸馏”,即使用更强大的模型的输出来训练较小的模型。(这有些争议。)
使用基于机器的强化学习而不是基于人类反馈的强化学习 (RLHF) 来训练 R1 的前身 R1-Zero。
这些创新加在一起,使得 DeepSeek 的模型与 OpenAI、Anthropic、Meta 和 Google 的模型一样强大,但训练和推理的成本却要低得多。头条新闻是,DeepSeek 仅花费 557.6 万美元就成功训练了 V3。就背景而言,就在去年,有传言称未来的模型训练成本为 10 亿美元,而据报道,GPT-4 的训练成本为 1 亿美元。
这个低价大大低估了实际情况——它仅指与 V3 的最终训练运行相关的 GPU 租赁成本,而不是任何前期研究、数据收集、工资以及开发前沿模型和运营 AI 公司所需的所有其他费用。但它仍然对股市造成了重大冲击,因为它引发了人们对 AI 革命将在多大程度上继续依赖 Nvidia、微软和其他大型科技公司的昂贵硬件和计算租赁的担忧。
DeepSeek 聊天机器人回答有关其为何引起争议的问题
DeepSeek 聊天机器人应用程序在全球 App Store 和 Play Store 中均名 卡塔尔电报数据库 列前茅。但你可以想象,一家中国人工智能公司推出的免费人工智能模型和聊天机器人,如果能与目前任何美国公司提供的最佳模型和聊天机器人相媲美,那也难免会引发争议。
作为一款中国开发的聊天机器人,它存在一些审查问题。例如,它拒绝谈论坦克人,并认为台湾是中国的一部分,尽管我能够让它讨论中国是否正在对维吾尔族穆斯林实施种族灭绝。同样,它明确地向中国发送数据。
这一切对你来说有多重要,这真的取决于你。每家人工智能公司都会训练他们的聊天机器人和模型以特定的方式做出回应,以避免争议。如果你不打算使用 DeepSeek 聊天机器人来为西藏自由而战,你不太可能遇到 DeepSeek 的回应问题。当然,你随时可以自己运行 R1,而不会遇到审查或数据问题。
OpenAI 还指责 DeepSeek 未经许可使用 ChatGPT 的输出来训练 R1。这件事的讽刺意味是显而易见的。我认为 OpenAI 希望人们认为这是一件大事,但我不能说这是远离 DeepSeek 的理由。
如何尝试 DeepSeek-R1
尝试 DeepSeek-R1 的最简单方法是通过免费的 DeepSeek 聊天机器人应用程序。它可在网络上使用,也适用于iOS和Android设备。鉴于 DeepSeek 的突然流行,注册有时会很慢,应用程序有时太忙而无法响应。当然,如果你有技术技能,你可以直接从 Hugging Face 获取 R1。