第一类问题涉及生存、毁灭和持续性★：如果一个AI系统是道德受体，那么销毁它在道德层面上是否等同于杀死一个动物★？暂时关闭它★，或者复制它并同时运行多个副本，这些行为的道德意义又是什么？

　　Bengio对此并不赞同，他认为AI有没有「意识」并不重要★。即便是研究意识的科学家们，也无法就「意识」的定义达成共识★。

　　更进一步的★：将AI系统限制在我们指定的环境中是否道德允许？对它们实施各种形式的监控在伦理上是否恰当★？它们是否应该享有政治或法律权利★？

　　这些深入的探讨★，凸显了对具有意识的AI系统进行伦理考量时所面临的重要性和潜在的复杂性。

　　但无论如何，我们仍需面对一个道德问题★：究竟创造何种类型的存在是道德上可接受的？

　　相关机构应优先开展AI意识的理解与评估研究，其核心目标包括（1）防止对有意识的AI系统实施虐待行为及其引发的痛苦体验；（2）准确理解不同能力与功能定位的AI系统具备意识可能带来的效益与风险★。

　　相关机构在满足以下条件时，方可开展有意识AI系统的研发工作：（1）该工作将实质性推动原则1所述目标的实现★；（2）已建立有效机制最大限度降低这些系统遭受痛苦体验及引发伤害性后果的风险。

　　相关机构须制定透明化知识共享协议，具体要求包括：（1）向公众★、研究界及监管部门披露信息，但披露范围应严格限定在（2）防止非责任主体获取可能帮助其开发与部署存在被虐待风险或具有危害性的有意识AI系统的技术信息。

　　一个例子是，早期的GPT-4模型（Sydney）最开始表现如人类一样，但OpenAI进行了进一步的RLHF训练，直到这种行为消失。如果他们判断AI在训练后仍然像人类，那它就不会被发布★。

　　第二类问题则关乎快乐与痛苦：我们要如何判断化AI系统痛苦的程度？如何确定它相对于人类或动物可能遭受的痛苦应获得多大的权重？甚至，我们该如何统计可能遭受痛苦的AI系统的数量？

　　而在这篇论文中，牛津大学的Patrick Butlin和雅典经济与商业大学的Theodoros Lappas认为，就在不久的将来，人类将构建出有意识的AI系统★。

　　播客主持人Daniel Faggella肯定道，Bengio说得没错★。我们对意识到底是什么完全一无所知★。

　　一周前★，Hinton在接受LBC的采访时表示★，「AI已经发展出了意识，未来某天会接管世界」。

　　相关机构应采取渐进式发展路径★，逐步推进开发那些更可能具备意识或预期会产生更丰富意识体验的系统★。整个推进过程中应做到：（1）实施严格透明的风险防控与安全保障机制★；（2）定期征询外部专家意见★，系统评估研究进展的影响★，并据此决策后续推进方式与节奏。

　　当前更紧迫的问题是，那些无法控制的「沙丘之神」正在诞生★，它们已经具备了自主进化的能力。

　　相关机构应避免就自身理解和创建有意识AI的能力作出过于自信或具有误导性的声明。必须明确承认研究工作中存在的固有不确定性，充分认知虐待AI道德受体（moral patients）可能引发的伦理风险，并高度重视有关AI意识的表述对公众认知塑造和政策制定过程可能产生的深远影响★。

　　还有网友表示，AI最初确实会表现得像人类，但随后会经过RLHF训练，直到它不再这样做。

　　而且★，就算企业并不是有意打造具备意识的AI，那也需要制定相应的方针★，防止「无意间创造出具备意识的实体」。

　　甚至，论文还讨论到了一些哲学问题：如果某个AI被定义为「道德受体」（moral patient），那么，我们该如何对待它★？

　　如果我们认为特定的AI系统是道德受体★，那么接下来就会面临如何对待它们的伦理困境★。

　　关于感知能力足以构成道德受体身份尊龙人生就是博★!官方网站，有一个简单的论证：有意识的痛苦违背了能够体验它的生命体的利益★，而我们有义务在可能的情况下减少这些生命体的痛苦。

　　另一位赞成Bengio的网友表示，有意识的存在真的值得被考虑★，这一点是毋庸置疑的。如果AI真的有意识，那我们的对齐策略和道德观念都得重新考虑★。

　　要具备感知能力，一个实体必须拥有具有特定属性的意识心理状态，并且会产生好坏感受。而这种特定属性的一个合理候选便是评价性内容（evaluative content）。

　　这些人的核心诉求是：人类在开发AI系统时★，必须足够负责★，否则，可能具有情感或自我意识的AI系统，就可能会受到伤害。

　　这么说吧，如果这些强大的AI系统能够自我复制，那它们就可以被称为「新的存在」，这些大量的全新「生物」，当然就非常值得进行道德上的考虑。

　　正如之前提到的，其中一个原因是意识或相关的感知能力可能足以使其成为道德受体（moral patient）尊龙人生就是博!官方网站。

　　早在2023年，谷歌的AI项目负责人、诺奖得主Demis Hassabis就表示★，AI系统目前还不具备意识，但未来可能会具备★。

　　根据Kagan的定义，如果一个实体「in its own right, for its own sake」（依其本性，或出于自身的缘故），那么它就是一个道德受体。

　　他们呼吁：要对AI意识进行负责任的研究★，否则如果AI实现了意识，可能就会「遭受痛苦」★。

　　另一类问题涉及AI系统的创建和操控。通常，在创建AI系统时，我们会训练它们以对我们有利的方式行事★。问题在于★，这种训练究竟是更类似「洗脑」★，还是更接近人类儿童的教育★？

　　也就是说，如果AI真的发展出意识★，顶尖实验室是不会发布的。这样的ASI，也仅在内部实现。

　　网友热评★，我们都知道，微软在发布Sydney时无意间放出了AGI。我线这样的现代AI进行「类似Sydney训练」会发生什么。

　　在这种情况下★，由于AI智能体往往需要对行动和事态进行评估，许多具有意识的AI智能体很可能就具备了感知能力。