PXE Boot. Бездисковые устройства. Загружаемся по сети.

В этом небольшом посте я расскажу вам о практических способах реализации загрузки бездисковых устройств через PXE. Скажем так, что до определенного момента я совсем не интересовался этой проблемой и о PXE имел весьма посредственное представление, также, наверное как и у большинства. Т.е. все из нас знают, что в современных ПК есть возможность загрузки по сети, каждый видел в BIOS'е собственного ПК такую возможность (PXE Boot, LAN Boot), но мало кто использовал ее на практике. Реализацией этой возможности мы и займемся на практике, а также рассмотрим какое практическое применение в "домашних условиях" может иметь сетевая загрузка.

Наша "тестовая лаборатория" включает в себя:

• Маршрутизатор Mikrotik 951G-2HnD с RouterOS v6.39 (stable)
• Сетевое хранилище Western Digital My Cloud EX2

Для реализации загрузки через PXE вовсе не обязательно наличие подобных устройств, т.е. по сути нам потребуются DHCP Server, TFTP Server, NFS и/или HTTP для организации хранения и передачи тяжеловесных образов по сети. Все эти компоненты можно установить например и на обычный ПК под управлением Windows, или же, поставить тот же Ubuntu на отдельную машину в локальной сети и настроить все эти сервисы там, благо мануалов в сети предостаточно. Но раз уж так получилось что у нас есть Mikrotik'овский роутер и NAS - то функции DHCP + TFTP логично возложить на Mikrotik, а NFS / HTTP на NAS.

Также нам понадобится самая обычная USB Flash'ка, любого размера, которую мы вставим в Mikrotik чтобы обеспечить хранение файлов, которые будут отдаваться по TFTP. Если у вас уже есть подобная конфигурация (DHCP+TFTP+NFS+HTTP), то можно приступать. 

Здесь я расскажу путь, которым прошел я. Первоначально мне было интересно сделать бездисковую загрузку LiveCD дистрибутива Ubuntu, т.е. чтобы любой ПК в сети с HDD или без можно было включить и получить на экране работоспособный Ubuntu, а-ля посидеть в сети / почитать почту и т.п. Подобное решение может оказаться удобным и в местах организации коллективного доступа в интернет, например, различных компьютерных клубах, библиотеках и т.п. Плюс в том, что когда машина не имеет собственного HDD и грузится с единственного образа по сети "сломать" или испортить что-то случайно или умышленно - пользователи вряд-ли смогут. Т.е. после одного сеанса работы пользователя в Интернет можно будет просто перезагрузить ПК и все будет "как новое". Но перед тем как приступить к реализации этой идеи я решил почитать "что пишут в интернете" на тему сетевой загрузки Ubuntu и т.п. Статей как раз нашлось много, но конкретных работоспособных реализаций, в которых описываются все нюансы конфигурирования - было как раз мало. Чтобы у вас на этом же этапе был ровно тот же запас знаний что и у меня, приведу несколько ссылок на статьи, которые меня заинтересовали:

• PXE - Сетевая загрузка с микротика - здесь описывается настройка Mikrotik + TFTP для сетевой загрузки с использованием GRUB (Grub4DOS), а также приведен пример рабочей конфигурации для загрузки ALKID LiveCD и VINCOME LiveCD через PXE. Немного не то что нам хотелось (мы то хотели грузить Ubuntu LiveCD), но тем неменее информация полезная, берем на заметку.
• Настройка TFTP сервера на Mikrotik RouterOS - а вот здесь рассматривается настройка TFTP на Mikrotik, правда тут уже у нас уже используется не GRUB, а PXELINUX (SysLinux) в качестве загрузчика. Который, как мы убедимся позже, можно будет использовать и для реализации сетевой установки Ubuntu, и для загрузки LiveCD и для множества других вещей. Уже интересно, не правда ли? Знакомимся со статьями дальше.
• Загрузочный сервер — как загрузочная флешка, только сервер и по сети - пост на Хабре, в котором рассказывается о том как сделать "загрузочную флешку" по сети. Собственно такая конфигурация отлично подойдет для различных сервисных центров и т.п., с другой стороны, выбрать то, что будет грузиться по сети лично у него - это решение каждого, благо примеров полно. К концу чтения этого поста, вы (по-крайней мере я на это надеюсь) поймете, насколько это удобно.
• Домашний роутер с PXE-Boot и сервисами. - приводится пример организации PXE загрузки на Asus'овском роутере с прошивкой Merlin-Firmware. Честно говоря я сам подобную никогда не использовал, но статья ценна уже как минимум различными примерами рассмотренных в ней конфигураций для загрузки. А также как отличная иллюстрация того, что при желании, для реализации PXE загрузки можно использовать только лишь ресурсы бюджетного SOHO устройства.
• Как воспользоваться сетевой загрузкой (PXE) для Ubuntu LiveCD - переводная статья с HowToGeek, в принципе тоже может быть интересна. Кстати, именно по теме сетевой загрузки Ubuntu LiveCD вы так или иначе наткнетесь на различные ее вариации в поиске.
• Мультизагрузочный PXE-реаниматор - статья на 3DNews от 2012 года, но тоже в принципе интересно. Если вы читая этот пост пока просто просматриваете эти ссылки "по диагонали" - то наверное уже поняли, что PXE загрузка предоставляет практически неограниченный набор возможностей, наша задача лишь научиться правильно применить их для наших задач.
• [How-To] Запуск LiceCD Ubuntu (и не только) с любого ПК в сети с помощью PXE - название поста говорит само за себя, все действия автор проводит на сервере под управлением Debian 7. Т.е. DHCP + TFTP и т.п. у него развернуты на отдельном ПК с Debian 7. Тоже интересно, помечаем в "копилку".
• Configure PXE Server In Ubuntu 14.04 - похожий англоязычный вариант.
• Установка Ubuntu по сети (DHCP, PXE, boot-menu) на примере Ubuntu 14.04. 
• Ubuntu 16.04 / Debian 8: Run PXE boot server for automated install - конфигурирование сервера для автоматизированной установки Ubuntu и Debian по сети. Лично мне эта статья понравилась различными комментариями и дополнительными пояснениями. Если читать вдумчиво, а не по диагонали, то становится (хотя бы на базовом уровне) понятно что такое pxelinux.0, ldlinux.c32 и т.п.
• Booten vom Netzwerk: Ubuntu 16.04 via PXE starten - статья, правда на немецком, подробно рассказывающая про то, как правильно настроить загрузку LiveCD с Ubuntu по сети. Собственно она и легла в основу решения поставленной задачи.
• Руководство по сетевой загрузке предустановочной среды Windows (WinPE)
• IT Geek: How to Network Boot (PXE) the WinPE Recovery Disk with PXElinux v5 & Wimboot

Ну и на первое время достаточно. Просмотрев / прочитав все это начнем ваять что-то свое. Первое что мы делаем - это подключаем флешку к Mikrotik'у и форматируем ее в FAT32: System -> Disks -> Format drive ... Сделать это можно как через WinBox, так и через Web-интерфейс Mikrotik. Проблем с этим возникнуть не должно.

Затем скачиваем заранее подготовленный архив pxe-mikrotik-disk1.rar и распаковываем его содержимое в корень флешки. Сделать это можно как в меню Files в web-интерфейсе Mikrotik'а, так и через FTP в Mikrotik, ну или просто вставив отформатированную USB Flash в ПК и распаковав в корень содержимое архива. В результате там должна получиться следующая структура файлов (смотреть скриншот справа).

Некоторых файлов, например kolibri.iso (образ Kolibri OS) в архиве не будет, т.к. их можно без труда найти и скачать в интернете, также в архиве не будет содержимого папки winpe (т.к. все эти файлы есть на любом установочном диске с Windows и включать их в состав архива я не вижу смысла). А вот на остальных мы остановимся подробнее.

pxelinux.0 - это основной загрузчик, на который направляются DHCP сервером все клиенты сетевой загрузки, он входит в состав пакета syslinux. Все что касается данного загрузчика, а также используемых им библиотек (*.c32) можно взять в следующих пакетах:

• netboot.tar.gz (Ubuntu, Xenial)
• syslinux-5.01.tar.bz2
• syslinux-4.05.tar.gz

Чем я успешно и воспользовался. Возможно это и не совсем правильно делать "сборную солянку" из netboot и syslinux разных версий, но, например, готовый бинарник memdisk, использующийся в отдельных сценариях загрузки я нашел только в каком-то одном из этих пакетов. С файлами загрузчиков, ядер и т.п. более менее понятно. Т.е. у вас есть набор который получился у меня pxe-mikrotik-disk1.rar и набор источников откуда это бралось.

ipxe.lkrn здесь - это загрузчик Open Source Boot Firmware iPXE, собранный из исходников с поддержкой HTTP, NFS (!) и некоторых друг фич. Но к нему мы вернемся чуть позже, т.к. не рассказать про него я не могу, ввиду его обширного функционала (по хорошему достаточно только iPXE, т.е. PXELinux он как бы не обязателен, т.к. iPXE обладает более широким функционалом и удобнее в конфигурации, но так уж сложилось, что изначально я начал настраивать именно PXELinux, а возможность загрузки iPXE я добавил уже потом).

После того как вы распаковали все файлы из архива pxe-mikrotik-disk1.rar на флешку, заходим в Mikrotik в меню IP -> TFTP и настраиваем в нем следующие соответствия: Req. Filename -> Real Filename:

Для удобства все эти правила в виде одного скрипта:

/ip tftp
add real-filename=disk1/tftpboot/pxelinux.0 req-filename=pxelinux.0
add real-filename=disk1/images/kolibri.iso req-filename=images/kolibri.iso
add real-filename=disk1/images/winvblock.gz req-filename=images/winvblock.gz
add real-filename=disk1/images/pxetheme.gz req-filename=images/pxetheme.gz
add real-filename="disk1/images/Hiren's.BootCD.15.2.iso" req-filename="images/Hiren's.BootCD.15.2.iso"
add real-filename=disk1/tftpboot/memdisk req-filename=memdisk
add real-filename=disk1/winpe/bootmgr req-filename=winpe/bootmgr
add real-filename=disk1/menu.lst/default req-filename=menu.lst/default
add real-filename=disk1/winpe/bootmgr.exe req-filename=winpe/bootmgr.exe
add real-filename=disk1/winpe/boot/boot.sdi req-filename=winpe/boot/boot.sdi
add real-filename=disk1/winpe/boot/bcd req-filename=winpe/boot/bcd
add real-filename=disk1/tftpboot/ldlinux.c32 req-filename=ldlinux.c32
add real-filename=disk1/tftpboot/grldr req-filename=grldr
add real-filename=disk1/tftpboot/undionly.kpxe req-filename=undionly.kpxe
add real-filename=disk1/tftpboot/ipxe.lkrn req-filename=ipxe.lkrn
add real-filename=disk1/tftpboot/wim-boot.ipxe req-filename=wim-boot.ipxe
add real-filename=disk1/tftpboot/boot.ipxe req-filename=boot.ipxe
add real-filename=disk1/tftpboot/boot.png req-filename=boot.png
add real-filename=disk1/tftpboot/wimboot req-filename=wimboot
add real-filename=disk1/tftpboot/pxelinux.cfg/default req-filename=pxelinux.cfg/default
add real-filename=disk1/tftpboot/ubuntu-installer/amd64/boot-screens/vesamenu.c32 req-filename=\
    ubuntu-installer/amd64/boot-screens/vesamenu.c32
add real-filename=disk1/tftpboot/ubuntu-installer/amd64/boot-screens/linux.c32 req-filename=ubuntu-installer/amd64/boot-screens/linux.c32
add real-filename=disk1/tftpboot/ubuntu-installer/amd64/boot-screens/chain.c32 req-filename=ubuntu-installer/amd64/boot-screens/chain.c32
add real-filename=disk1/tftpboot/ubuntu-installer/amd64/boot-screens/libcom32.c32 req-filename=\
    ubuntu-installer/amd64/boot-screens/libcom32.c32
add real-filename=disk1/tftpboot/ubuntu-installer/amd64/boot-screens/libutil.c32 req-filename=\
    ubuntu-installer/amd64/boot-screens/libutil.c32
add real-filename=disk1/tftpboot/ubuntu-installer/amd64/boot-screens/menu.cfg req-filename=ubuntu-installer/amd64/boot-screens/menu.cfg
add real-filename=disk1/tftpboot/ubuntu-installer/amd64/linux req-filename=ubuntu-installer/amd64/linux
add real-filename=disk1/tftpboot/ubuntu-installer/amd64/initrd.gz req-filename=ubuntu-installer/amd64/initrd.gz
add real-filename=disk1/tftpboot/ubuntu-installer/amd64/vmlinuz.efi req-filename=ubuntu-installer/amd64/vmlinuz.efi
add real-filename=disk1/tftpboot/ubuntu-installer/amd64/initrd.lz req-filename=ubuntu-installer/amd64/initrd.lz
add real-filename=disk1/winpe/sources/boot.wim req-filename=winpe/sources/boot.wim

Для чего они? После загрузки PXELinux на устройство начинается поиск дополнительных файлов и библиотек, т.е. устройство пытается подключиться к TFTP серверу, указанному в опциях отдаваемых DHCP сервером и запросить у него, например, файл ldlinux.c32, так вот TFTP сервер должен знать о реальном местоположении файла, чтобы отдать его, например в нашем случае он лежит в disk1/tftpboot/ldlinux.c32. Честно говоря я не экспериментировал, можно ли задать соответствие не отдельным файлам, а папкам или файлам по маскам, поэтому на всякий случай сделал правила для всех файлов на TFTP сервере. После того как мы прописали правила необходимо настроить наш DHCP сервер.

Переходим на закладку IP -> DHCP Server -> Networks в Mikrotik, выбираем нашу подсеть и делаем там следующие настройки:

На этом приготовления к первому запуску закончены. Можно брать любой ПК и пробовать загрузиться по сети. Для меня наиболее простым решением было создание отдельной виртуальной машины в VirtualBox и настройка ее на загрузку по сети. В результате, если все сделано правильно, вы увидите вот такую вот симпатичную менюшку PXELinux:

Сама конфигурация этого меню находится в файле disk1/tftpboot/ubuntu-installer/amd64/boot-screens/menu.cfg . Если мы попробуем загрузиться в Kolibri OS для примера, то заметим что передача казалось бы маленького (всего 66.5 Mb) образа kolibri.iso через TFTP даже по гигабитной сети займет довольно продолжительное время:

Связано это с тем, что протокол TFTP не предназначен для передачи тяжеловесных файлов и в этом отношении работает крайне медленно (плюс еще, как вы понимаете, USB порт в Mikrotik'е, да и флешка не являются высокоскоростными), поэтому хранить на этой флешке какие-то тяжеловесные образы, например тот же Hirens Boot CD, который занимает ~650 Mb и отдавать их по TFTP устройствам - превращается в настоящую муку. Т.е. грузится - да, но оЧЧень медленно. Первая мысль которая приходит в голову - а что если в качестве средства доставки тяжеловесного контента использовать не TFTP, а HTTP или NFS? И да, действительно, такая возможность есть.

Посмотрите как реализована в конфигурации (menu.cfg) загрузка того же Ubuntu LiveCD:

label Ubuntu 16.04 LiveCD [RU]
 kernel ubuntu-installer/amd64/vmlinuz.efi
 append nfsroot=172.17.112.46:/nfs/Public/iso/ubuntu16.04_live_amd64/ netboot=nfs ro file=/cdrom/preseed/ubuntu.seed boot=casper initrd=ubuntu-installer/amd64/initrd.lz locale=ru_RU bootkbd=ru console-setup/layoutcode=ru --

Здесь ядро vmlinuz.efi и рамдиск initrd.lz у нас грузятся по TFTP, а вот содержимое rootfs уже берется с NFS ресурса (благо Ubuntu так умеет). Порядок создания папки ubuntu16.04_live_amd64 на NFS ресурсе описан тут.

Ну или если вкратце, то я создал отдельную папку на WDMyCloud EX2, разрешил доступ к ней по NFS:

Затем смонтировал ее на машине с Ubuntu в ~/nfs и просто скопировал необходимые файлы с LiveCD с Ubuntu в нее:

sudo apt-get install nfs-kernel-server nfs-common # добавляем поддержку NFS в Ubuntu
sudo mount -t nfs -O uid=1000,iocharset=utf-8 172.17.112.46:/nfs/Public/iso ~/nfs # монтируем NFS шару в ~/nfs
wget http://mirror.yandex.ru/ubuntu-releases/16.04/ubuntu-16.04.2-desktop-amd64.iso # качаем LiveCD с Ubuntu
sudo mount -o loop ubuntu-16.04.2-desktop-amd64.iso /mnt # монтируем его в /mnt
mkdir -p ~/nfs/ubuntu16.04_live_amd64 # создаем папку на nfs шаре
sudo cp -a /mnt/. ~/nfs/ubuntu16.04_live_amd64 # копируем все файлы с LiveCD в нее

В результате содержимое папки ubuntu16.04_live_amd64 у нас полностью идентично корню LiveCD с Ubuntu:

Просто? Просто. Теперь пробуем загрузиться по PXE выбрав в меню LiveCD:

С гигабитной сетью все получилось достаточно быстро. Основное время здесь правда тратится на загрузку vmlinuz.efi (7 Mb) и initrd.lz (27 Mb) по TFTP. И вот здесь мы подходим к главному? А можно ли как-то грузить эти файлы тоже с NFS или с HTTP ресурса? Можно! И ответом здесь является использование вместо PXELinux (который к сожалению так не умеет), загрузчика iPXE. Настоятельно рекомендую вам познакомиться с ним и изучить примеры и т.п. на официальном сайте. В архив pxe-mikrotik-disk1.rar уже входит ipxe.lkrn , собранный мной из исходников с включенной поддержкой HTTP, NFS и т.п.:

Обратите внимание, есть поддержка DNS, HTTP, iSCSI, NFS, TFTP и др. вещей. Т.е. грубо говоря используя iPXE вы можете разместить необходимые файлы не только на NFS шаре, но и где-нибудь в интернете, например, на http://yourdomain.ru/files/ ... и загрузчик будет брать их оттуда. При выборе опции Load iPXE SuperBoot Menu в PXELinux открывается меню загрузчика iPXE:

И вот здесь уже, согласитесь, есть чем впечатлиться. Сама конфигурация этого меню находится в файле boot.ipxe, который был взят мной из этого проекта bradgillap/IPXEBOOT на GitHub'е. Внутри подробные примеры и комментарии для всех вариантов загрузки, фактически это означает что вы с минимальными усилиями сможете настроить у себя загрузку любого из приведенных пунктов меню, просто разместив необходимые файлы у себя в сети и скорректировав boot.ipxe .

Ну и последнее о чем хотелось бы рассказать - это о загрузке *.wim образов WinPE через PXE. Для этого в моем примере используется именно iPXE и wimboot. Пример конфигурации вы можете увидеть в menu.cfg от PXELinux в пункте меню "Load iPXE [wim-boot.ipxe]". Фактически там грузится ipxe.lkrn, который читает файл конфига wim-boot.ipxe. Просто размещаете файлы wimboot, bootmgr, bcd, boot.sdi и boot.wim вашего WinPE дистрибутива где-либо в сети (на HTTP, NFS ресурсах) и все замечательно загружается. Примеры опять же, смотрите в wim-boot.ipxe.

Кстати, в меню iPXE SuperBoot от bradgillap есть пункт External Linux Installs. Фактически это внешнее (т.е. находящееся в интернет) загрузочное меню, которое позволяет вам установить некоторые Linux-based ОС, а также загрузить некоторые варианты LiveCD онлайн. Т.е. для того чтобы установить тот же Ubuntu, фактически достаточно только соответствующим образом сконфигурировать DHCP . Все остальное, даже на этапе загрузочного меню может быть взято из сети.

p.s. Чуть не забыл ;) Архив pxe-mikrotik-disk1.rar со всеми необходимыми загрузчиками и примерами конфигураций (пароль на архив стандартный - decker.su). Также буду рад любым вашим мнениям и отзывам в комментариях. Если у вас уже есть свои конфигурации для PXE загрузки распространенных LiveCD дистрибутивов, например, DrWeb Live CD, Kaspersky Rescue Disc и др. популярных инструментов - делитесь ими в комментариях. Также, если у кого-то есть опыт (или ссылки на соответствующие статьи) о настройке бездисковых RDP клиентов, например на базе Thinstation - это тоже приветствуется.

Как вы уже поняли, я далеко не гуру в Linux'е и по-сути как работает PXE я узнал только вчера. Поэтому в архиве по факту используется несколько загрузчиков: PXELinus (SysLinux) как основной, а из него уже можно загрузить iPXE или Grub4DOS, хотя по факту, в реальной жизни достаточно использовать что-то одно. Все это оставлено просто в качестве примера, чтобы было наглядно понятно как работать и с тем, и с другим, и с третьим. Так что, как говорится, "ногами не пинать", а ценные комментарии всегда приветствуются.