超级智能不可承受之重——暗无限及其风险规避

人工智能(AI)的快速迭代意味着超级智能不可避免。笔者提出"暗无限"的概念,用以指那些看似平常、实际上却有无限可能的思维和行动路径。"暗无限"无处不在,但因为人类具有独一无二的身体结构、常识、哲学目的性、可自我协调的社会机制以及与环境之间的协调关系,一般情况下,人类不会陷入超出自身能力之外的"暗无限"无法自拔。但是,目前AI被赋予的是偏狭而非完整的意识,其能力与意识状态可能极度不匹配而陷入"暗无限"的深渊。AI的能力越强,其对周围世界的危害就可能越烈。为规避"暗无限"的风险,建议将AI设计成人类的分身,建立人对AI的教育与监护的责任机制。