跳到正文
Berkeley AI Research·AI 评分41

面向 LLM 的大规模交互识别:SPEX 与 ProxySPEX 算法

Identifying Interactions at Scale for LLMs

AI 导读

伯克利 AI 研究团队提出 SPEX 与 ProxySPEX 算法,可在特征、数据与模型组件归因中高效识别驱动 LLM 输出的关键交互。SPEX 利用稀疏性与低阶性将交互搜索转化为稀疏恢复问题,ProxySPEX 进一步借助层级结构,以约 10 倍更少的消融达到 SPEX 的性能。

来源:Berkeley AI Research · bair.berkeley.edu