这种担心对人类的安危并没有多大用。不需要所谓叛变, 弱人工智能可以在特定方面强于人,可以在人的要求下服务于灭亡人类的恐怖主义行径,也可以偶然地完成同样的事。
例如机器学习病原体和人体的互动模式,算出潜伏期半年程度、可由候鸟•昆虫等携带、飞沫核传播、人传人基本传染数 12 以上、病死率 100% 的病原体的可能的碱基序列,合成几百种并散布。这需要控制世界各地的各种核酸工厂的一小部分设备,或是购买市面上的相关商用设备,对恐怖组织来说可以暴力劫持相关设备和人员。
这种事可以由安乐死教会之类希望人类灭亡的组织、“伊斯兰国”之类极端组织建造的弱人工智能执行。你考虑一下麻疹病毒的现实传染力、狂犬病毒的现实病死率,这样的病毒大概设计得出来。十九世纪,麻疹病毒对从未接触它的人群刷出过 30% 到 50% 的病死率。
为了对抗这样的危机,需要能迅速发现并紧急对策危机的手段,那大抵也离不开弱人工智能。这些弱人工智能也不是完全安全的,没有绝对安全的系统。
又例如“让机器设计拆解有机污染物的基因工程细菌,效果很好,但该细菌被释放到污染物所在地后意料之外地变得可以拆解人体”。这事可以由各种搞生物科技环保的初创公司建造的弱人工智能执行。
给非道德性的事物加上“背叛”之类道德判断,通常是科幻故事里营造矛盾冲突的手段,或是将“理论上人类不可能长时间控制智能远强于人的计算机”阐发得过于简单。在能谈论“强人工智能如何如何”之前,风险就已经存在了。