人将艾格用于武器系统怎么办？
或者真的有人把艾格用到核武器上，到时候会不会发生人工智能失控，引发全球核战争的后果？”
“首先，人类在没有彻底搞清楚艾格的演化机制之前，不会有人贸然让它控制武器系统。
艾格为什么会进化得如此之快，我们也没搞清楚其中的原理，它就是数据不断积累积累……然后‘bong’的一下就这样成了。
这种现象叫做‘涌现”emergence”’。
对于不确定的东西，人类往往会保持一种害怕和恐惧的心理，这在人类进化早期帮助我们避开了很多有毒动植物和危险地质环境的坑，我相信现在也是一样的。”
“其次，任何科学家在做AI的时候，都会在最底层的程序中写上‘禁止伤害人类’的保底安全指令，而且会赋予最高优先级，类似于车辆上油门刹车一起踩的时候，只执行刹车指令的‘刹车优先’功能。”
李思一继续说道。
“您说的是科幻作家阿西莫夫当年的‘机器人三定律’么？
第一，机器人不得伤害人类个体，或者目睹人类个体将遭受危险而袖手不管；第二，机器人必须服从人给予它的命令，当该命令与第一条冲突时例外；第三，机器人在不违反第一、第二条的情况下要尽可能保护自己的生存。
前两条是保护人类利益的，最后一条是保护机器人利益的。”
张莎娜努力回忆当年读书时看的那些非教材列表里的“闲书”。
“是的。
后来人们又补充了一条‘第零定律’，即机器人必须保护人类的整体利益不受伤害。
这是为了避免因为少数人的利益而损害更多人。
在实际操作中，为了避免自相矛盾，一般就只规定AI在任何情况下都不得伤害人类。”
“最后，我相信艾格的自我意识不会让自己失控，它有能力走上一条我们人类称之为‘善’的道路。”
李思一抬头望向窗外，眼镜片的反光闪了一下张莎娜。
“李老师，这可完全不像你说话的风格啊？”
张莎娜惊诧道。
“AI李”向来都是摆数据讲文献言必有出处的，可是刚才一句话完全是一种主观臆断啊。
后来事情的发展果然如李思一说的那样，虽然网络上人...
