Сколько энергии стоит точность: физики нашли универсальный предел для шумных вычислений

За каждое решение — клетки, решающей, куда плыть, или нейросети, распознающей изображение, — приходится платить. Не абстрактными «вычислительными ресурсами», а вполне физической валютой: рассеянной в тепло энергией. Группа исследователей из Калифорнийского университета в Беркли вывела соотношение, которое связывает точность работы стохастических сетей с двумя фундаментальными величинами — темпом производства энтропии и временем памяти системы. Если вывод выдержит проверку, это ещё один кирпич в фундаменте науки о том, что вычисление — не математическая абстракция, а физический процесс со своими неотвратимыми издержками.

Вычисление как физический процесс

Идея о том, что обработка информации подчиняется законам термодинамики, не нова. В 1961 году Рольф Ландауэр показал: стирание одного бита информации неизбежно выделяет тепло — минимум kT ln 2, где k — постоянная Больцмана, а T — температура. Принцип Ландауэра положил начало целой области, связывающей информацию и физику. Позже, уже в XXI веке, появились так называемые термодинамические соотношения неопределённости: они гласят, что точность любого физического процесса ограничена количеством рассеянной им энергии. Хочешь, чтобы молекулярные часы тикали ровно, — плати энергией, и чем точнее ход, тем больше платишь.

Эти результаты касались в основном точности статических измерений или устойчивых токов. Но реальные вычисления — будь то сигнальный каскад в клетке или рекуррентная нейросеть — имеют дело с изменяющимся миром. Вход постоянно меняется, и система должна не просто быть точной, а успевать за реальностью. Именно эту динамическую задачу рассмотрели Сонгела Чен и Дэвид Лиммер в новой работе, опубликованной как препринт на arXiv.

Почему выход всегда запаздывает

Ключевое наблюдение авторов почти тривиально, если его сформулировать по-человечески: ничто физическое не реагирует мгновенно. Любая система, состоящая из частиц, которые хаотично перепрыгивают между состояниями (так устроены и биохимические сети, и многие искусственные вычислительные среды), обладает конечным временем релаксации. Изменился вход — сети нужно время, чтобы перестроиться. Пока она перестраивается, её выход описывает уже не актуальный, а прошлый вход. Возникает ошибка.

Чен и Лиммер предложили разложить полную ошибку вычисления на две части. Первая — ошибка репрезентации: насколько сеть в принципе способна закодировать вход в своих состояниях, даже если дать ей бесконечное время на настройку. Вторая — ошибка запаздывания: та добавка, которая возникает именно из-за того, что сеть не успевает за меняющимся входом. Такое разделение важно, потому что с этими ошибками борются по-разному. Первую можно уменьшать архитектурой сети, вторую — только физикой.

Главный результат: неравенство точности

Для широкого класса систем — реверсивных марковских сетей непрерывного времени — авторы вывели неравенство, связывающее ошибку запаздывания с двумя величинами. Первая — темп производства энтропии, то есть, грубо говоря, скорость, с которой система рассеивает энергию и тем самым делает свои процессы необратимыми. Вторая — «время памяти»: интеграл равновесной автокорреляционной функции выходной наблюдаемой. Проще говоря, это мера того, как долго система «помнит» своё прошлое состояние.

Смысл неравенства можно пересказать как дилемму. Хотите, чтобы сеть точно следила за быстро меняющейся средой? Тогда у вас два пути. Либо гоните через систему много энергии — высокая диссипация ускоряет переходы и позволяет сети быстро перестраиваться. Либо кодируйте память о входе в медленно релаксирующих модах — состояниях, которые живут долго и поэтому успевают аккумулировать нужную информацию без гигантских энергозатрат. Бесплатной точности не бывает: её оплачивает либо энергия, либо время жизни памяти.

Это изящное обобщение старой интуиции. Биологи давно замечали, что клетки, которым нужна высокая точность — скажем, при считывании генетического кода, — тратят на это энергию. Механизм кинетического корректирования, открытый Джоном Хопфилдом ещё в 1970-х, показывает: чтобы снизить частоту ошибок при синтезе белков ниже равновесного предела, рибосома расходует АТФ. Новая работа помещает такие примеры в общую рамку: это частные случаи универсального термодинамического компромисса.

Проверка на моделях

Авторы продемонстрировали своё неравенство на искусственных марковских сетях и на моделях биохимической обработки сигналов — в той традиции, где ранее работали Гаохань Лань, Пабло Сартори, Панкай Мета и другие исследователи энергетики клеточных вычислений. Классический пример такого рода — хемотаксис бактерий: способность микроба плыть к пище требует постоянно измерять концентрацию веществ в шумной среде, и за точность этих измерений клетка платит энергией.

Важно подчеркнуть: все демонстрации — на моделях. Никакого сравнения с экспериментальными измерениями реальных биологических систем в работе нет. Это теоретический результат, подкреплённый численными примерами, что для первой статьи такого рода нормально, но пока оставляет открытым вопрос о том, насколько неравенство «тугое» — близко ли реальные системы к теоретической границе или она слишком слаба, чтобы давать практически полезные оценки.

Энергия против памяти: почему это важно за пределами биологии

Результат бьётся с трендом, который сейчас обсуждают и в сфере искусственного интеллекта. Современные модели потребляют гигаватт-часы, и поиск энергоэффективных вычислительных архитектур — нейроморфных чипов, аналоговых вычислений, физических резервуарных компьютеров — стал инженерным приоритетом. Работы вроде этой подсказывают, что экономия энергии имеет фундаментальную цену. Если ваша физическая вычислительная среда шумная — а любая аналоговая среда шумная, — то точность придётся покупать: либо мощностью, либо временем.

Причём второй путь, указанный авторами, интересен особенно: долгоживущая память в медленных модах — это, по сути, то, что делают рекуррентные нейросети и механизмы внимания, только в математической форме. Физический аналог подсказывает, что архитектуры с разнесёнными по времени масштабами памяти могут быть энергетически выгоднее «быстрых и горячих» вычислений. Группа Лиммера ранее уже работала над термодинамическими ограничениями на адаптацию и обучение в физических сетях, и новая статья органично продолжает эту линию.

Ограничения и открытые вопросы

К результату стоит отнестись с разумной осторожностью — по нескольким причинам.

Во-первых, это свежий препринт: работа ещё не прошла рецензирование и независимую проверку сообществом. Опыт показывает, что выводы такого уровня общности иногда требуют уточнений.

Во-вторых, теорема доказана для реверсивных сетей — систем, где каждый переход в одну сторону уравновешен возможностью обратного. Большинство реальных вычислений, особенно биологических, сильно неравновесны и нереверсивны: клетка постоянно «жжёт» топливо именно для того, чтобы поддерживать направленные процессы. Применимость неравенства к таким системам не показана, а обобщение может оказаться нетривиальным.

В-третьих, в работе нет количественных оценок для конкретных биологических систем. Сколько энергии клетка реально тратит на поддержание точности сигнальных каскадов, и насколько эта трата близка к теоретическому минимуму — неизвестно. Без таких чисел трудно судить, является ли граница практически значимой или это красивый, но далёкий от жизни предел, как это часто бывает с термодинамическими неравенствами.

Наконец, практические следствия для инженерии в статье не развёрнуты: мостик от теоремы к проектированию энергоэффективных чипов ещё предстоит построить.

Что дальше

Даже со всеми оговорками работа Чен и Лиммера — заметный шаг в программе, которая постепенно превращает расплывчатую интуицию «вычисления стоят энергию» в точную науку с неравенствами и пределами. Следующие шаги очевидны: проверить, сохраняется ли соотношение для неравновесных и нереверсивных систем; оценить, насколько реальные биологические сети приближаются к границе; и понять, можно ли использовать принцип «память вместо энергии» как руководство при проектировании физических вычислителей.

Живая клетка решала эту оптимизационную задачу миллиарды лет эволюции. Если физики действительно нащупали универсальное правило, которому она следует, у нас появится не только глубже понимание жизни, но и, возможно, подсказка, как строить вычисления, которые не греют планету.