社会选择应引导多样人类反馈下的AI对齐

基础模型如GPT-4在部署前会被微调，以避免协助犯罪或生成种族主义文本等行为。主流做法之一是RLHF，从人类对多个输出的偏好中学习；另一条路径是Constitutional AI，把人类输入压缩成一份高层原则清单。但这两条路都绕不开同一个问题：当不同人的判断出现分歧时，该听谁的、怎样把分散的输入聚合成关于“集体”偏好的连贯数据，或者据此对模型行为做出集体选择。这份资料正是把这个问题摆到台面上，主张社会选择理论应当成为AI对齐的指导框架；在模型能力快速提升、对齐决策越来越像公共选择的当下，这个视角值得提前了解。

资料是一篇position paper，不是实验报告，也不提供新的基准或数据集。它的论证材料主要来自两条线：一是对RLHF和Constitutional AI现有流程的拆解，二是2023年12月在美国加州Berkeley举办的“Social Choice for AI Ethics and Safety”研讨会上形成的讨论。作者来自计算机科学、哲学、数学、气候影响研究等不同背景的机构，包括Carnegie Mellon、Oxford、UC Berkeley、Potsdam Institute、Ghent、Allen Institute for AI、University of Maryland、EleutherAI、Union College等。写作方式是把社会选择理论中关于“谁的偏好应被纳入、如何纳入”的既有结论，逐项对应到对齐流程的设计问题上，并标出哪些问题需要新的理论工作。

从RLHF的流程看，资料提出四个关键追问：哪些人被要求判断输出、他们使用什么标准、他们的判断如何被合并，以及他们表达的判断与真实偏好之间是什么关系。作者指出，RLHF当前面临无代表性数据、不现实的人类决策模型、对人类多样性建模不足等局限，并可能因此带来政治偏见。Constitutional AI虽然用一份“宪法”替代了逐条偏好标注，但谁对宪法有输入、宪法如何构建，仍然是未解的问题；材料提到，早期工作中宪法是以“相当临时的方式”为研究目的构建的。换句话说，方法换了，集体选择的问题并没有消失，只是被推到了更上游。

资料给出的一个核心判断是，社会选择理论已经长期研究过类似问题，可以直接提供工具和教训，避免朴素错误和重复发明轮子。作者列出三条可能的好处：更公平的系统，因为纳入更广泛人群的输入；对真实性问题给出更准确的反馈，这一点与“认识论民主”的文献相呼应，即用投票来裁决事实问题；以及更广泛的系统接受度。与此同时，资料也提醒风险：对多样偏好做朴素聚合，可能产生看似非理性的集体选择，比如循环偏好或逻辑不一致的结论。社会选择理论既提供了这些反例，也提供了思考并预防这类问题的工具。

这意味着，对齐不只是技术上的微调问题，也是一个制度设计问题：由谁提供反馈、收集哪种反馈、怎样聚合并使用反馈，都会影响模型最终表现出的行为。对实践者来说，直接照搬默认的标注和聚合流程，可能会把无代表性的数据和隐含的权重带入模型；而引入社会选择视角，至少能让这些选择显式化。资料还指出，计算社会选择在计算机科学中并不新，自2006年起就有双年研讨会，但把这一领域与现代AI系统对齐真正连接起来的工作还不多。解读一下：缺口不在理论积累，而在迁移和工程化。

这份资料适合关注对齐流程设计、RLHF数据治理和AI伦理制度安排的研究者与工程师阅读。读完可以拿走的是一张问题清单——谁参与、收集什么、如何聚合、如何验证——以及一组来自社会选择理论的警示，而不是一套可直接落地的算法。边界也很清楚：按它的定位，这是议程性的position paper，重在提出方向和梳理概念，不报告新实验，也没有给出聚合方法的性能数字。很多它标出的问题，按作者的说法，仍需要新的工作来把社会选择理论扩展到安全与伦理AI所特有的场景。

Social Choice Should Guide AI Alignment in Dealing with Diverse Human Feedback Vincent Conitzer 1 2 Rachel Freedman 3 Jobst Heitzig 4 Wesley H. Holliday 5 Bob M. Jacobs 6 Nathan Lambert 7 Milan Moss ´e 5 Eric Pacuit 8 Stuart Russell 3 Hailey Schoelkopf 9 Emanuel Tewolde 1 William S. Zwicker 10 11 Abstract Foundation models such as GPT-4 are fine-tuned to avoid unsafe or otherwise problematic behavior, such as helping to commit crimes or producing racist text. One approach to fine-tuning, called re- inforcement learning from human feedback, learns from humans’ expressed preferences over multi- ple outputs. Another approach is constitutional AI, in which the input from humans is a list of high-level principles. But how do we deal with potentially diverging input from humans? How can we aggregate the input into consistent data about “collective” preferences or otherwise use