Параллельные и высокопроизводительные вычисления
Эта книга представляет собой всеобъемлющее руководство по параллельным и высокопроизводительным вычислениям (HPC). Она предназначена для опытных программистов, владеющих языками C, C++ или Fortran, и охватывает весь спектр технологий, необходимых для эффективного распределения вычислительных задач между несколькими процессорами и ускорения программ.
В первой части рассматриваются фундаментальные концепции параллельных вычислений: планирование параллелизации, оценка пределов производительности, профилирование, проектирование данных и параллельные алгоритмы. Авторы дают читателям прочную теоретическую основу для понимания того, как и когда применять параллельные техники.
Вторая часть посвящена центральным процессорам (CPU) как основной платформе для параллельных вычислений. Здесь подробно рассматриваются векторизация для повышения производительности, стандарт OpenMP для многопоточного программирования на общую память и интерфейс передачи сообщений (MPI) для распределенных вычислений на кластерах. Эти технологии образуют "становой хребет" современных HPC-приложений.
Третья часть книги полностью сосредоточена на графических процессорах (GPU), архитектурно оптимизированных для параллельных вычислений. Читатели изучат архитектуру GPU, модели программирования (включая директивные подходы и низкоуровневые языки), а также инструменты профилирования для этих ускорителей. Практический пример включает запуск масштабной симуляции цунами на кластере GPU.
Заключительная часть охватывает экосистему высокопроизводительных вычислений: управление аффинностью процессов к ядрам CPU, работу с пакетными планировщиками задач, оптимизацию файловых операций в параллельной среде и инструменты для повышения качества исходного кода. Книга учит не только писать быстрый код, но и эффективно управлять вычислительными ресурсами.
