Volgens mij ligt dat aan Virtualbox zelf.
Ik heb ook enkele virtuele commandline-only VM's draaien in VB, en die draai ik allemaal "headless", dus zonder enige schermuitvoer.
Als ik iets op de terminal wil doen in zo'n VM dan doe ik dat via SSH, dat is ontzettend veel sneller.