О масштабно-инвариантных нейронных сетях и идеальных газах

Семинар BayesGroup «О масштабно-инвариантных нейронных сетях и идеальных газах» от 26.12.2025. Докладчик: Ильдус Садртдинов (НИУ ВШЭ) Аннотация: в последнем семинаре этого года мы вспомним школьный курс термодинамики и поговорим о модели идеального газа. Оказывается, что у идеального газа есть довольно точная аналогия в мире стохастической оптимизации — масштабно-инвариантные (МИ) нейронные сети. В отличие от существующих работ по поиску взаимосвязей между термодинамикой и оптимизацией, которые главным образом оперируют с температурой T, мы покажем, что МИ-сети позволяют естественное определение величин давления p и объёма V, а также приводят к уравнению идеального газа pV/T=const (при некоторых ограничениях на матрицу ковариаций шума стохастических градиентов). Подобная аналогия улучшает понимание, как гиперпараметры обучения (такие как learning rate и weight decay) влияют на стационарное распределение стохастического градиентного спуска. Дисклеймер: Этот рассказ будет в первую очередь о математической красоте, когда в двух совершенно разных мирах (термодинамике и оптимизации) находятся две по сути одинаковые конструкции. К сожалению, больших практических инсайдов такая аналогия на данный момент не имеет, так что мы не будем обещать, что после доклада вы научитесь лучше обучать модели. Кроме того, эксперты по статфизике обучения, вероятно, после прослушивания доклада скажут “ну, это все очевидно, а дальше что?” Тем не менее, наша аналогия с идеальным газом математически корректна, по-своему элегантна и не встречалась в литературе ранее. Поэтому будем рады видеть желающих познакомиться с этой красотой.