Как называется программа, загружающая операционную систему в память компьютера?

Это загрузчик (bootloader, начальная загрузочная программа).
Он выполняется сразу после включения компьютера (после кода BIOS/UEFI), и его задачи такие:

• Инициализировать минимально необходимое «железо» и подготовить среду.

• Найти на диске ядро выбранной ОС (или показать меню выбора), загрузить его в оперативную память и передать ему управление.

• В классической BIOS-схеме первичный загрузчик находится в MBR диска и передаёт управление второму этапу; в UEFI загружается исполняемый файл с EFI System Partition.

• Примеры: Windows Boot Manager, GRUB, systemd-boot, (исторически — LILO).

Итого: программа, загружающая ОС в память, называется загрузчик.