研究人员提出一种在不增加可训练参数数量的情况下提升 LLM 微调质量的方法

✔️Исследователи предложили способ повысить качество дообучения LLM без увеличения числа обучаемых параметров Исследователи Т-Технологий, МФТИ, Сбера и Иннополиса представили на международной конференции EMNLP метод SimplexLoRA. Он помогает адаптировать языковые модели к конкретным задачам, распределяя обучаемые параметры между слоями с учетом их значимости. В стандартной LoRA основные веса модели остаются неизменными, а обучение проходит через небольшие дополнительные модули — адаптеры. Обычно им выделяют одинаковое число параметров, хотя разные слои неодинаково влияют на результат. SimplexLoRA сначала определяет, каким слоям дополнительные параметры принесут больше пользы, и перераспределяет общий бюджет в их пользу. После этого распределение фиксируется, а дообучение продолжается по привычной схеме LoRA. Метод проверили на четырех моделях и 12 задачах, включая ответы на вопросы, суммаризацию и математические рассуждения. На большинстве тестов он показал сопоставимое или более высокое качество, чем стандартная LoRA, при том же числе обучаемых параметров и той же стоимости инференса. Лучше всего подход проявил себя при небольшом размере адаптеров. Это делает его особенно полезным для команд, которым нужно дообучать модели при ограниченных вычислительных ресурсах. Код SimplexLoRA опубликован в открытом доступе на GitHub @ai_machinelearning_big_data