Brotli - это алгоритм сжатия данных с открытым исходным кодом, распространяется по лицензии MIT. Немного технической информации можно почитать в Wikipedia и в RFC7932.
Модуль для поддержки этого алгоритма есть в платном варианте платформы Nginx Plus, но ничего не мешает добавить поддержку и в вариант из репозитория Debian. Сам сервер пересобирать для этого не надо.