X-servern är programvaran som kommunicerar med ditt grafikkkort, likt en drivrutin för windows typ. Om du bara startar din X-server så ser du endast ett finmaskigt nät och en pekare, "X-et". När X-servern rullar kan du sedan starta en fönsterhanterare (via .xinitrc) eller ett Desktop Environment typ KDE eller Gnome.
X-servern kommunicerar även med inmatningsenheter, som mus och tangentbord. Programmen som körs i x-miljön, kallas x-klienter. De brukar kommunicera med x-servern via TCP/IP. Därigenom kan de kommunicera med helt andra datorer än den de körs på. Detta är något som har utnyttjats ofta i stordatormiljöer. Då har man haft en stordator i någon källare. Sedan har folk kunnat logga in till den via x-terminaler (en slags mycket enkla datorer som inte kan mycket mer än att köra en x-server). Med en x-server i datorn, kan man låta sin egna dator fungera som en x-terminal för att göra jobb på någon stordator. När jag studerade, hände det att jag utnyttjade den möjligheten för att logga in på skolans unix-datorer från en pc, när x-terminalerna var upptagna.
