Building Large Language Models from Scratch: Design, Train, and Deploy LLMs with PyTorch

Эта книга представляет собой практическое руководство по созданию больших языковых моделей (LLM) с нуля с использованием PyTorch. Автор, Dilyan Grigorov, проводит читателя через весь процесс: от понимания основ языкового моделирования и механизма внимания до проектирования, обучения и развертывания собственных LLM. Книга начинается с введения в концепцию LLM и настройки среды разработки, включая выбор Python, Jupyter Notebook и PyTorch в качестве основных инструментов. Особое внимание уделяется механизму внимания как краеугольному камню современных LLM. Практические примеры и пошаговые инструкции позволяют читателям не только изучить теорию, но и применить её на практике, создавая работающие модели. Книга предназначена для разработчиков, исследователей и энтузиастов машинного обучения, желающих глубоко понять внутреннее устройство LLM и научиться создавать их самостоятельно.