Книги / AI и ML / Нейронные сети / Ускорение глубоких нейронных сетей

Ускорение глубоких нейронных сетей

Рёма Сато

Эта книга представляет собой практическое руководство по ускорению работы глубоких нейронных сетей (DNN) и больших языковых моделей (LLM). Выходя за рамки закрытых методов «черного ящика», она сочетает новейшие техники — такие как FlashAttention — с работающим кодом и эмпирическими данными и сокращает разрыв между теорией и практикой.

Читатели получат как технические инструменты, так и фундаментальные знания, необходимые для эффективной оптимизации моделей. Книга охватывает широкий спектр методов: квантование и низкую точность, прореживание, дистилляцию, аппроксимацию низкого ранга, быстрые архитектуры, совершенствование аппаратного обеспечения, а также комбинирование нескольких методов.

Особое внимание уделяется современным архитектурам, таким как Mamba, и практическим аспектам эффективного глубокого обучения. Издание будет полезно исследователям, разработчикам, студентам и аспирантам, заинтересованным в детальном изучении современного глубокого обучения и оптимизации нейронных сетей.

Книга содержит работающий код и эмпирические данные, что делает её ценным источником информации для практикующих специалистов.