搜索结果

大模型推理正越来越多地进入对延迟敏感、对成本敏感的场景，而自回归解码的串行本质始终是横在效率面前的一道硬约束：每生成一个 token 都要走一次完整的前向，步数无法压缩。投机解码被提出，正是为了打破这道约束，把串行的逐 token 生成，换成某种可以并行处理的形态。

大模型能力在近几年大幅提升，随之而来的问题不再是它能不能完成任务，而是我们能不能让它在完成任务时按预期行事。这份博士论文开篇就把这一点讲得很直白：能力越强，对输出施加控制的能力就越重要。

大模型已经能聊天、能写程序、能搜索，但这份由 Zhuohan Li 完成的 UC Berkeley EECS 博士论文一开始就把问题摆在成本上：高昂的开销让绝大多数应用场景根本用不起这些模型。

强化学习要真正用在现实系统里，绕不开一个前提：数据从哪来。常规做法是让智能体在环境中反复试错、主动采集数据，而这份 UC Berkeley EECS 的博士论文要回答的，正是能否去掉这个前提——只给定一份固定的静态数据集、不与环境交互，还能不能学到可用的策略。

这份博士论文要回答的是一个链条式的问题：视觉模型的行为能不能被引导，以及这种引导可以从哪一层下手——是从模型权重里已经学到的表示，还是一直下探到训练数据。作者把注意力放在多模态与生成模型的可解释性与可控性上，具体落在文本–图像表示模型和文生图扩散系统两类对象。

工程智能系统时，一个绕不开的问题是：不同的建模方式和推理算法，究竟该在什么情况下选用，又该如何组合？Cusumano-Towner 的这篇 2020 年 MIT 博士论文《Gen：面向概率推理的高层编程平台》，把问题落在了这个工程权衡的层面。

语言模型已经进入自然语言处理的日常使用，靠大量无标签数据和下游任务微调获得能力，但生成的文本是否准确、是否可信，始终是一个没有被完全解决的问题。与此同时，差分隐私领域长期面对另一个相似的结构性矛盾：隐私保证越强，数据或模型的效用往往越受限制。

扩散模型如今是生成模型里最有存在感的一支，它的底气来自两处：训练过程相对稳定，模型容量足够大。这份博士论文接着追问的是下一步——在这个家族已经成立的前提下，还有哪些地方可以改，该从哪里改。

计算机视觉中的识别与生成常被当作两条独立任务线，模型也往往分开训练，这份MIT博士论文要回答的是：能否用统一的建模范式同时处理视觉识别与生成，并把两者之间的互补性转化为训练中的收益。

视觉生成模型现在能产出质量很高的结果，但代价是算力和延迟：采样慢、部署重，放到需要即时反馈的交互场景里就不够用了。Yin Tianwei 的 MIT 博士论文《面向视觉合成的高效生成模型》正是围绕这个矛盾展开，核心问题是能不能在保住生成质量的前提下，把昂贵的模型压缩成能实时响应的生成器。