移情人工智能没有移情能力重要吗？

试想一下，有一台机器可以模拟出一个人可能想要的任何体验，但一旦机器启动，这个人就无法分辨这种体验是否真实。当罗伯特-诺齐克（Robert Nozick）在 1974 年提出这个思想实验时（参考文献 1），他的本意是很明显的，在其他普通情况下，如果人们把自己永久性地连接到这样一台机器上，就会犯下可怕的错误。然而，在这几十年间，人们对这一核心价值的文化承诺--与现实接触的价值--变得更加脆弱，而人工智能的移情应用正在兴起，在这种应用中，人们寻求被大型语言模型（LLM）理解、关心甚至爱护。LLM聊天机器人在某些治疗领域（从诊断到健康咨询）的应用似乎也很有前景2。不过，作为一个由心理学家、哲学家和计算机科学家组成的团队，我们对将 LLM 作为移情关怀的来源表示担忧。我们列出了几个必须解决的有关移情人工智能的后果和风险的研究问题（表1），并在下文中对为移情人工智能辩护的四个保证提出质疑。