Xiaomi открыла модель для табличных данных

🌟 Xiaomi открыла модель для табличных данных Xiaomi-TabLDM решает задачи классификации и регрессии на таблицах и её не нужно обучать под конкретную задачу. Модель берёт размеченные строки датасета как контекст и за один проход предсказывает значения для новых строк. Классификатор и регрессор выпущены отдельными чекпоинтами. У классификатора 70 млн параметров, из них активны 61 млн, у регрессора – 71 и 62 млн. При предсказании модель объединяет результаты нескольких прогонов с перемешанными признаками и разной предобработкой, по умолчанию восьми. Напрямую модель различает до 10 классов, а метки задач с большим числом классов перекодирует в несколько разрядов, каждый не больше чем на 10 значений. Для повторных запросов к тем же данным есть KV-кэш, для крупных таблиц – выгрузка на CPU и диск. Xiaomi рассчитывали на таблицы от сотен до десятков тысяч строк и от нескольких до сотни с лишним столбцов. Время инференса растёт квадратично и с числом строк, и с числом столбцов. 🟡Архитектура Трёхступенчатый трансформер. Сначала столбцы группируются тройками по двум схемам циклических сдвигов, и каждый кодируется Set Transformer через 128 индуцирующих точек вместо внимания по всем строкам. Затем четыре CLS-токена собирают эмбеддинги столбцов в вектор строки. Последняя ступень – 24 блока обучения в контексте, где тестовые строки смотрят только на обучающие. На второй и третьей ступенях вместо обычных остаточных связей работает слой с обучаемыми весами, который выбирает, какие ранние представления брать. В последних 8 блоках полносвязный слой заменён смесью экспертов - из двух маршрутизируемых активен один, плюс общий эксперт. 🟡Тесты На регрессионной части TabArena из 13 сетов модель набрала 1900 очков Elo и заняла второе место после TabFM с 2019 очками. Следом идут EXAONE-Tabular с 1885 и TabPFN-3 с 1800. На полном TabArena из 51 датасета модель четвёртая с 1659 очками, почти вровень с AutoGluon 1.5 (1662) и TabPFN-3 (1650). Этап fit у неё на 82% быстрее, чем у TabFM, предсказание – на 68%.