De map in kwestie is een 'fake'. Er zit enkel een symbolische link in.
Linux heeft een bepaalde structuur. In /usr zitten 'toepassingen van de gebruiker'. In een /bin map altijd programma's zelf. libraries in /lib. Omdat die structuur echter niet standaard is, er zijn verschillende interpretaties voor, en omdat sommige progs daar X zullen zoeken, is er daar een link. My guess, je hebt tutorials gelezen van bv. Redhat/Fedora. Juist voor die compatibiliteit werd die link daar gezet, maar je kan zien dat het eigenlijk verwijst naar /usr/bin/X Configuratie van X zal je vinden in
/etc/X11/xorg.conf
Dat is ook het bestand dat je aanmaakt en overschrijft.
Als je de drivers wil van NVIDIA, doe zoals @nermos beschrijft, maar purge eerst drivers van Ubuntu.
sudo dpkg -P xserver-xorg-driver-nv
(Als ik mij niet vergis!, Ikzelf heb ATI...)