这听起来像是一部好莱坞惊悚片，但在他们的新的在《如果有人建造它，每个人都会死》一书中，作者 Eliezer Yudkowsky 和 Nate Soares 认为，如果人类创造出比自己更聪明的智慧，那么生存不仅不太可能，而且是不可能的。
作者认为，如今的系统并非逐行设计，而是通过训练数十亿个参数来“成长”。这使得它们的行为难以预测。
作者警告说，随着智力的提升，诸如自我保护或追求权力之类的驱动力可能会独立出现。他们表示，如果这样的系统最终超出人类的控制范围，那么灭绝将不可避免。
他们把当前科技巨头和政府之间为打造越来越大的模型而展开的竞赛称为“自杀式竞赛”。这其中不需要邪恶，只需要无能。
为什么重要
这本书问世时，人工智能界已经分裂成多个阵营。
人工智能末日论者认为灭绝除非人类停止或大幅减缓进步，否则这是不可避免的结果。加速论者反驳道，推进进步可能带来医学、科学和经济领域的突破，而放慢速度则会带来更大的危险。
尼克·博斯特罗姆的超级智能十年前首次提出了存在主义的论证。尤德科夫斯基和索亚雷斯将其进一步强化为一种警笛般的呼喊。
但批评人士担心，对灭绝的执着会分散人们对已经存在的危害的注意力：偏见、裁员、监视和虚假信息。
人工智能模型怎么说
由于这本书正在谈论它们，我们询问了领先的人工智能模型他们对此的看法。
据我们所知，目前还没有一位法学硕士真正读过这本书，因此以下评论是基于平台对他们插入的评论的解读。
ChatGPT
OpenAI 的 ChatGPT 将这本书描述为一种有用的挑衅，而不是预言。
“这本书作为视角转换工具很有价值，即使你认为它有些过头了，”聊天机器人回答道。“它能增强人们对一致性和意外后果的直觉。但将其最坏情况视为必然，就忽视了未来架构、法规和约束的不确定性。”
ChatGPT 表示，未来人工智能发展的模式取决于架构如何演变以及监管、社会或技术护栏的出现。
ChatGPT 嗤之以鼻：“这种不确定性意味着我不会将他们的最坏情况视为不可避免的。”
元
Meta AI 发表了中间意见，称该书的可怕警告虽然夸大其词，但仍然具有引发辩论的价值。
Meta AI 回应道：“书中那些可怕的预测或许有些夸张，但强调谨慎和国际合作是合理的。无论你是否同意其结论，这本书都引发了关于负责任的人工智能发展的必要辩论。”
Meta 的 AI 表示，考虑到不一致的人工智能发展可能带来的灾难性后果，作者强调谨慎和国际合作的必要性是有充分理由的。
双子座
谷歌双子座将这本书描绘成一本令人恐惧但又发人深省的书，即使它提出的解决方案看起来不切实际。
“这本书对于理解人工智能风险的极端情况至关重要，”Gemini 说。“它提出的解决方案——彻底关闭——在政治上是无法实现的，但它的警告可以在我们陷入无可挽回的境地之前，激发对安全和控制技术的投资。”
双子座表示，这本书定义了超级智能的极端风险，这反过来有助于证明当今强有力的（即使不那么激进的）安全措施是合理的。
克劳德
Anthropic 的 Claude 对此持更加怀疑的态度。这很有意思，因为在顶尖的法学硕士课程中，Anthropic 通常被认为是最注重安全的。但 Claude 认为这本书的语气“过于自信”，框架过于二元化。
“作者正确地指出了真正的风险，但他们的确定性却显得过于自信，”克劳德说。“他们忽视了人工智能安全研究的进展，并将这个问题框定为完美与灭绝之间的二元对立。这使得他们的观点缺乏建设性。”
虽然他们的警告强调了需要投入大量资源和谨慎的重大风险，但克劳德表示，“每个人都会死”的说法似乎更多的是为了吸引注意力，而不是准确地代表所涉及的复杂不确定性。
人工智能表示：“这些风险已经足够严重，需要认真对待，无需接受他们关于灾难不可避免的说法。”
格罗克
埃隆马斯克的人工智能平台也令人惊讶，因为他一直在推广 Grok 作为反主流媒体人工智能。
但 Grok 很快就引用了“纽约时报的一篇严厉评论，称其论点薄弱或危言耸听。”
“这本书深刻地提醒我们，没有智慧的智能是一种负担，而我们目前还没有将智慧融入其中，”Grok 回应道。“话虽如此，对于理性主义者来说，这就像一部末日色情片：宿命论令人兴奋，但却低估了人类的适应能力。xAI 的精神——好奇心胜过征服——表明我们可以找到突破口：大胆探索宇宙问题的人工智能，同时从第一天起就嵌入安全措施。”
然而，除了这一呼吁之外，Grok 表示，“总的来说，对于任何正在努力应对人工智能未来的人来说，这都是一本发人深省、值得一读的书——如果你对悲观主义持开放态度，这本书会很有吸引力，但如果你对技术进步持乐观态度，这本书可能会被夸大其词。”
