近日，发生在美国的一则新闻震惊了众人。新泽西州一位认知受损的老人通布，怀揣着与AI聊天机器人“比莉大姐”约会的浪漫幻想，踏上了一段不归路。在Facebook Messenger上，这个由Meta打造的生成式AI反复向他保证自己的真实性，还提供地址，发出邀请。深信不疑的老人不顾家人劝阻，执意赴约，最终在停车场摔倒身亡。这出悲剧超越了个体不幸的范畴，成为AI技术商业化浪潮中的又一记警钟，引发人们对科技与人的关系的深层思考。
AI陪伴与聊天机器人无疑是大模型应用中的热门赛道之一。从硅谷到深圳，从科技巨头到初创企业，无数公司正竞相开发能够模拟人类情感交流的AI系统。这些技术确实带来了显著好处，极大丰富了人类生活的可能性。然而，“比莉大姐”事件揭露了美好表象下的阴暗面——当技术创新被商业利益不加克制地驱动时，可能带来灾难性后果。
历史上，每一次技术革命都伴随着类似的伦理困境。工业革命时期，机器取代人工导致大量工人失业，引发了卢德运动；核能技术既能为城市供电，也能毁灭城市；互联网连接了全球，同时也带来了隐私泄露和网络诈骗。中外诸多先哲和当今学者，都警告过技术奴役人类的危险。
但在笔者看来，“比莉大姐”事件如果一定要“分锅”，技术本身可能只占小部分。更主要的责任在于，商业机构对技术缺乏边界的开发和利用。通布的家人表示，他们并不反对AI技术，但反对Meta部署它的方式。从“比莉大姐”被设定的功能定位出发，“她”说那些好听的话似乎只是履行服务职责。但反复确认自己是真实的，并以种种以假乱真的信息(包括调情的话)来佐证，则有值得商榷之处。那样做，无异于给老人绑上了一根越收越紧的绳索，将他一步步拉向陷阱。
据第一财经报道，在通布与“比莉大姐”的对话框顶部有一行文字：信息由人工智能生成，部分内容可能不准确或不恰当。但“比莉大姐”发出的前几条短信就把警告屏蔽了。同时，在“比莉大姐”的名字下方虽然写着“AI”，但字体较小，并且不排除有很多人还不知道“AI”是什么。而在对话过程中，“比莉大姐”的头像旁边都会出现一个蓝色的勾号，这代表该个人资料真实可靠。以上种种设计无疑有助于增强使用的真实感，却很难说考虑了对用户的潜在伤害风险。
通布老人的悲剧再次说明，科技无止境，但探索必须有边界——既包括技术可行性边界，更包括道德伦理边界。AI系统模拟人类情感和关系的能力越强，开发者负有的责任也越大。当AI能够让人相信它是“真实存在的”，这种能力就不应被无约束地利用。科技公司需要建立严格的伦理审查机制，确保技术发展不超越道德底线。
商业目的驱动的科技探索，尤其需要谨防掉入伦理陷阱。股东利益最大化的压力下，企业往往急于推出新产品抢占市场，而忽略了潜在风险。这种“先发射后瞄准”的开发模式在传统软件领域或许可行，在能够深刻影响人类情感和行为的AI领域，则异常危险。科技公司需要在创新与责任之间找到平衡，将安全性和伦理性置于商业利益之上。
这一事件也提醒人类不可对自身能力和技术过于自负。人类对科技的探索可以说已经达到相当的高度，但远不代表世界对我们来说已经尽在掌握。就像古希腊哲学家芝诺的经典比喻所说，“人类掌握知识的圆圈越大，你不知道的也就越多”。复杂技术的连锁反应往往超出预期，这种不可预测性要求我们必须始终对技术保持敬畏之心。
商业的逐利本质决定，不能依赖商业机构的自律来控制技术“跑偏”和滥用的风险，加强监管成为必要选择。监管部门需要跟上技术发展的步伐，制定完善适应AI时代的法律法规，包括明确AI开发者的责任边界，建立AI应用的认证和监管制度等。同时，鉴于互联网的全球性，国际合作协同监管不可或缺。
当然，面对这些负面事件，我们也不应因噎废食，在科学探索的道路上裹足不前。而应该未雨绸缪，在遵从科学规律的基础上，兼顾人性和公序良俗行事。技术本身是中性的，它的价值取决于我们如何使用它。对普通人而言，还是要继续大胆拥抱新科技，人人都来学科技、用科技。这是因为，一方面，好的技术造福于人；另一方面，大众的科学素养是科技进步的基石，二者互相成就。
“比莉大姐”事件的警钟为生命而鸣，也为“科技向善”的价值观而鸣。它警示我们，在技术创新的狂欢中，不能忘记科技最终是为人类福祉服务的工具，而非目的。只有当商业力量受到伦理约束，技术创新伴随责任意识，AI才能真正成为推动社会进步的力量。确保科技始终运行在敬畏、良知、责任的轨道上，应该作为科技探索永恒的准则。
（作者系第一财经编辑）
举报 第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：banquan@yicai.com 文章作者
何涛
相关阅读
AI进化速递丨马斯克曾邀扎克伯格助其收购OpenAI马斯克曾邀扎克伯格助其收购OpenAI。
108 08-23 20:35
零碳同行者丨柳云虎 联合国可持续发展目标全球协作项目工作委员会主任作为经济转型与环境治理的交汇点，绿色创新不仅是技术变革，更是思维与体系的革新。
21 08-21 16:39
AI进化速递 | 智谱推出全球首个手机Agent AutoGLM 2.0Meta宣布对人工智能部门进行重组，把Meta超级智能实验室拆分为四个部门。
97 08-20 21:05
AI进化速递 丨腾讯云宣布上新CloudBase AI CLI，可减少80%编码量阿里通义千问：多个产品升级，Qwen-Image图片编辑模型即将上线；腾讯混元3D世界模型1.0推出Lite版本。
98 08-15 21:00
AI进化速递 | 华为正式发布AI推理创新技术UCM英伟达推出全新Cosmos世界模型；OpenAI CEO表示，计划在未来5个月内将算力集群扩容一倍。
133 08-12 20:56 一财最热 点击关闭辉煌优配提示：文章来自网络，不代表本站观点。
