2025年5月26日，第五期北京大学国家发展研究院下午茶讲座——人工智能跨学科交流沙龙在国发院承泽园333会议室举行。工智能跨学科交流沙龙由一位人工智能领域老师分享正在开展的研究工作，向师生们介绍AI领域的最新发展和技术革新，提供跨学科交流平台。自举办以来，该系列讲座得到国发院师生的广泛好评。本期沙龙的主讲人是清华大学经济管理学院刘潇老师，刘潇副教授是清华大学经济管理学院经济系长聘副教授，博士毕业于美国密歇根大学，她的研究领域包括实验经济学、行为经济学、市场设计和信息经济学，在多个国际高水平期刊发表学术论文并担任副主编，为相关领域研究做出了重要贡献。本次，刘潇老师带来了一场题为“当实验经济学遇上大型语言模型：策略与实证”（When Experimental Economics Meets Large Language Models: Tactics with Evidence）的精彩学术讲座。

本次分享聚焦于日益重要的大型语言模型（LLMs）与实验经济学的交叉研究领域，深入探讨了将LLMs作为实验对象时面临的挑战，并创新性地提出了一套规范化实验设计的策略框架，旨在提升该领域研究的可复制性与普适性。

刘潇老师首先指出，大型语言模型正经历从辅助工具到具备一定自主性的“智能体”（Agents）的深刻转变。这一转变不仅改变了LLMs在社会生活中的应用方式，也为学术研究，特别是社会科学领域，开辟了新的前沿。实验经济学以其成熟的理论与方法，为探究和评估LLM展现出的类人行为（如决策理性、社会偏好、合作行为等）提供了独特的视角和有力的工具。刘潇老师的团队正是基于此，将LLMs作为直接的实验参与者（artificial agent），系统研究其行为模式。在回顾现有研究时，刘潇老师分析指出，当前LLM实验在提示设计（prompt design）和实验执行（experimental implementation）层面存在显著的异质性（heterogeneity），这直接威胁到研究结果的可复制性（replicability）和普适性（generalizability）。为应对这一挑战，刘潇及其合作者借鉴了人工智能和实验经济学的双重智慧，提炼并提出了八项关键的实验策略，包括使用模型默认的“温度参数”（temperature）并固定随机种子以增强可复现性；避免为LLM预设特定的“角色”（persona）；根据标准的功效分析（power analysis）来确定实验所需的样本量；等。这些策略旨在为研究者提供一套更规范、更可靠的LLM实验操作指南。

为了验证上述策略及不同实验参数设置的重要性，刘潇老师团队进行了一系列精心设计的实验研究，涵盖了对LLM理性（rationality）和（社会）偏好（(social) preference）的测试。研究采用了包括GPT系列、DeepSeek、LLaMA、Qwen在内的多种主流大型语言模型。研究结果揭示了不同实验设计因素对LLM行为的差异化影响。例如，实验表明：“角色设定”（Persona）、 “对话类型”（Dialogue Type）、“答案格式”（Answer Format）。这些具体的发现为研究者在设计LLM实验时，如何权衡和选择恰当的参数提供了有力的经验证据。

刘潇老师的讲座为快速发展的LLM实验经济学这一交叉学科提供了宝贵的方法论洞见和实践指导。她强调，随着技术的不断演进，建立和遵循标准化的实验协议，对于深入理解大型语言模型的行为机制、准确评估其能力边界、并最终引导其健康有序发展至关重要。此次分享不仅展示了其团队在该前沿领域的最新研究成果，也激发了与会者对未来研究方向的深入思考，如多模态LLM的实验、多智能体交互以及模型行为的可解释性等，也为国发院师生的研究带来很大启发。

供稿：科研服务办公室