Способ запуска самого X-сервера зависит от того, с каким XDM вы хотите работать - с локальным или удаленным.
Рабочая станция X: XDM и локальный X-сервер
XDM будет нормально запускать X-сервер автоматически, и сам XDM запускается обычно в процессе запуска X (в инициализационных скриптах).
X-Терминал : Удаленный XDM
Просто запустите X без клиентских программ, с такими правами, чтобы удаленный XDM мог связаться с вашим X-сервером. Ниже приведена команда запуска X без контроля доступа: