Voor standaard Ubuntu heb je inderdaad de mogelijkheid om tijdens installatie te kiezen voor een minimale installatie. In beide gevallen (ubuntu-desktop-minimal en ubuntu-desktop) wordt de ganse standaard desktop geïnstalleerd, maar in geval van minimal worden enkel een browser en kleine tools (terminal, editor) geïnstalleerd, en geen applicaties zoals libreoffice, rythmbox, enz. Xubuntu heeft maar één metapakket voor de volledige standaard desktop.
Je kan inderdaad een server installeren, en dan één van die metapakketten, maar dan ga je wellicht ook pakketten installeren voor server die niet bij een desktop installatie standaard geïnstalleerd worden.
Hoe een echte minimale installatie werkt, waarbij je zelf helemaal bepaalt welke pakketten je installeert, weet ik niet.