Instant Personalized Large Language Model Adaptation via Hypernetwork

论文总结与翻译

一、主要内容

该论文针对大语言模型（LLMs）个性化过程中存在的计算成本高、扩展性差、隐私保护不足等问题，提出了一种基于超网络的高效个性化框架——Profile-to-PEFT（P2P）。

核心背景

现有LLM个性化方法主要分为两类：

1. 基于提示词（Prompt-based）：将用户历史或画像融入输入上下文，但存在用户数据暴露、易受无关信息干扰等问题；
2. 基于参数高效微调（PEFT-based）：采用“单用户单PEFT”（OPPU）范式，为每个用户训练专属适配器，虽个性化效果好，但计算开销大，无法满足实时更新和大规模部署需求。

框架核心流程

1. 用户画像构建：结合用户历史的全局摘要与当前输入相关的Top-k历史交互，形成文本化用户画像；
2. 嵌入编码：通过冻结的句子嵌入模型将用户画像编码为固定维度的用户嵌入，并结合可学习的模块嵌入和深度嵌入，形成位置感知输入；
3. 参数生成：利用MLP实现的超网络，在单次前向传播中直接生成个性化LoRA适配器参数；
4. 端到端训练与推理：基于多样化用户数据训练超网络，部署时无需逐用户微调，仅通过用户画像即可实时生成个性化参数。