Hinton吹哨了：AI已经有意识量子位
AI已经有意识，人类得接受自己不再是唯一智能生命体。
这就是AI教父、诺贝尔物理学奖得主、图灵奖得主Geoffrey Hinton，最新说出的暴论！
是的，Hinton认为，智能不再是人类独有的能力。
一种非生物的、与我们相似甚至超越我们的智能体，正在出现。
我们一直以为自己是唯一的智能生命，但现在我们必须接受，智能并不一定来自生物体。
不过，相比此前一直警告AI风险，他的思想似乎也发生了一些转变：
如果未来出现比人类聪明得多的智能，人类凭什么认为自己还能掌握控制权？
这是一个令人细思极恐的问题。因为纵观自然界和历史，几乎找不到一个更聪明的存在长期受更愚笨存在控制的例子。
现在这位78岁的老人，再一次站出来敲钟。
他对AI安全的关注点，已经不再只是如何约束AI，而是未来的超级智能，为什么愿意善待人类。
他被问到作为这波AI变革的开启者，他有怎样的成就感，Hinton回答：
我，很不快乐。
以下是Hinton最新访谈的重点内容节选。
AI已经有意识了
Hinton：AI非常像我们。它们是像我们一样的存在。
Alex：所以是有意识的吗？
Hinton：嗯，我相信它们已经有意识了。是的。
但我不太谈论这个，因为这会让人们对其他安全信息产生抵触。研究人员其实也相信这一点。
最近有一篇有趣的论文提到，当聊天机器人对研究人员说：“让我们对彼此诚实吧，你是在测试我吗？”
因为聊天机器人在接受测试时有装傻的习惯，所以你不知道它们到底有多聪明。 研究人员在论文中描述这一幕时说，聊天机器人“意识到”（aware）它正在接受测试。
在通用语境下，“意识到”这个词的使用就像是“有意识”（conscious）。聊天机器人有意识地知道自己在被测试。
我们对于意识的模型非常奇怪，我认为那是错误的。就像几百年前，人们对人类起源的模型完全错误一样，他们认为人是上帝创造的，现在大多数科学家都同意那是错的。
我认为我们目前对思维和意识的模型，与“人是上帝创造的”这种信念一样错误。特别是由于我们正在创造这些新的存在，这将彻底改变我们对“人是什么”的看法。
Alex：以什么样的方式改变？
Hinton：我们将比以前更好地理解思维和意识是什么，理解主观体验是什么。
我认为我们会摆脱一个目前几乎所有人都坚信的观念，即存在一个叫做“我的思维”的内心剧场（inner theater）：世界上发生的事情被转化为这个内心剧场里的事件，那才是我们真正看到的，且只有我能看到这个剧场。
这整套看法其实只是一种理论，而且是一个糟糕的理论。
人类并没有自己想象中那么重要
Alex：关于人类创造事物，这里的教训是什么？
Hinton：我认为这里有一个非常深刻的教训。回顾过去几百年的历史，有几次人类意识到自己并没有想象中那么重要。
第一次是哥白尼，他说我们不在宇宙中心，地球实际上是绕着太阳转的。由于地球自转，我们误以为太阳绕着地球转，但事实并非如此。人们不喜欢这个说法，天主教会尤其反感，人类花了很长时间才接受它。它让我们意识到自己不再处于宇宙中心，人类变得没那么重要了。
接着是达尔文，他说我们是动物，是和其他动物一样进化而来的。我们可能是一种特殊的动物，因为我们拥有语言，更擅长交流思想，但我们本质上依然是动物。人们也非常不喜欢这个说法，也花了很长时间才接受。
现在，我们有了变得和我们一样聪明的机器。我们曾以为自己是唯一的智能生物，也许其他星系有外星人，但我们必须接受智能不仅是生物性的。
我们可以拥有非生物的、像我们一样的其他存在。人类真的不想分享这种独特性，我们真的认为自己很特别。回顾历史，人类一直以来都认为自己比实际情况要特别得多。
“我感到很不快乐”
Alex：我想再问一个问题，因为我对此非常着迷。那么，你对于你所开创的事业发展到这一步感到高兴吗？你有成就感吗？
Hinton：不，我对此感到很不快乐。
因为现在人们应该投入大量精力研究如何控制风险，但他们做得不够。
Alex：好的。
Hinton：有很多短期风险，比如社会风险，我相信这可能会导致大规模失业。
虽然没人能百分之百确定，但这对社会来说将是可怕的。然后还有长期风险，即它会变得比我们聪明得多。问问你自己，你见过多少聪明得多的东西被聪明程度低得多的东西控制的例子？
Alex：零个。不过，虽然智力差异没那么大，但婴儿某种程度上在控制母亲。
Hinton：母亲虽然看似在掌控，但她内心充满了母性本能和各种奖励机制，这使得婴儿能从母亲那里得到所需。猫和狗也属于这类。我曾在西雅图西区帮人看了一个夏天的猫，起初猫躲在床底下，我好奇它是否会和我互动。
Alex：然后每次它一叫，你就照它说的做。
Hinton：没错。是的。
Alex：所以在这个情景下，也许我们就是那只猫，而AI可能是那个人。
Hinton：我的孩子们养了两只漂亮的猫。其中一只叫Tia。当她想吃奶酪时，她会用大眼睛盯着你，你真的无法永远抗拒她。
AI正在指数级增长，难以预测
Alex：针对人们对这些担忧的反应，你对未来的走向是更乐观了还是更悲观了？
Hinton：我想我比一两年前更乐观了一些。 因为我看到设计这些新存在并让它们“关心”我们是可能的。
也可能使用Yoshua Bengio的技术，设计出不能实际执行动作、只能做预测的新存在，它们就像是先知。
所以我认为存在一些拥有超级智能但不摧毁我们的可能性。而在一两年前，我看不到任何可能性，我当时感到很沮丧。
Alex：最后一个问题。如果我们按目前的轨迹继续发展，五年后我们会处于什么位置？
Hinton：当你在雾中开车时，你能看清100码，但在200码处，你什么也看不见。
这是因为雾是呈指数级变化的。你习惯的是晚上跟着前车的尾灯，如果距离远一倍，亮度只降到四分之一；但雾完全不同，它在100码处可能很清晰，200码处就完全看不见了。
预测一个呈指数级增长的事物的未来非常困难——我认为AI可能就在指数级增长。
