Сейчас актуальность закона Мура вызывает всё больше вопросцев, потому учёные компании NVIDIA предложили новейший взор на будущее вычислительной техники: закон Хуанга. Нареченный в честь основоположника и управляющего NVIDIA Дженсена Хуанга (Jensen Huang), этот закон подразумевает, что динамика роста производительности микропроцессоров, которую мы смотрим, не иссякнет в дальнейшем и будет длиться, делая упор в главном на людскую изобретательность.
Основное отличие закона Хуанга от закона Мура заключается в акценте на строительных и алгоритмических нововведениях, а не на ординарном удвоении числа транзисторов на кристалле раз в пару лет благодаря уменьшению размеров технологического процесса. Основной научный сотрудник NVIDIA Билл Дэйли (Bill Dally) на недавнешней конференции Hot Chips 2023 выделил, что переход от 28-нм к 5-нм технологическим действиям в течение десятилетия принёс только 2,5-кратный прирост производительности, в то время как главный рост был достигнут благодаря главным инновациям в архитектуре и обработке чисел.
Главный вклад в 1000-кратное повышение производительности принесло упрощение представления чисел, применяемых компами для расчётов. Внедрение архитектуры NVIDIA Hopper с движком Transformer позволило создать значимый шаг в убыстрении процесса обучения ИИ-моделей. Тензорные ядра Hopper, способные соединять форматы 8-битных и 16-битных вычислений с плавающей точкой, стали главным моментом для убыстрения ИИ-вычислений в процессе обучения трансформеров (определённый тип глубочайших нейронных сетей), не уменьшив при всем этом требуемую точность. Это нововведение позволило достигнуть высшего уровня эффективности в вычислениях, что критически принципиально для современных задач в области ИИ.
Наиболее того, производительность операций с плавающей точкой в 32-битном, 64-битном, 16-битном форматах, также 8-битных целочисленных вычислений утроилась, что также занесло вклад в общее убыстрение вычислительных действий. В сочетании с движком Transformer и технологией NVIDIA NVLink четвёртого поколения тензорные ядра Hopper дозволили убыстрить рабочие перегрузки на порядок в области высокопроизводительных вычислений (HPC) и задач ИИ.
Не считая того, команда из наиболее чем 300 человек, возглавляемая Дэйли в NVIDIA Research, разработала продвинутые аннотации, которые разрешают GPU наиболее отлично организовывать свою работу, сэкономив энергию и увеличив производительность в 12,5 раза. Такие инновации, как структурная разреженность в архитектуре NVIDIA Ampere, дозволили добавочно прирастить производительность в 2 раза, не ущемляя точность моделей ИИ.
Эта смена акцентов открывает дорогу к созданию новейших, наиболее действенных архитектур и алгоритмов, что делает текущее время очень захватывающим для профессионалов в области компьютерной инженерии и проектирования микросхем. Судя по всему, перед промышленностью информационных технологий раскрывается новенькая эпоха способностей, где человечий гений и инноваторский подход стают главными факторами прогресса.
