Inderdaad, een besturingssyteem hoort op een interne harde schijf.
Je probleem is dat ubuntu zijn opstartlader (Grub) op het MBR heeft gezet. Deze grub is afhankelijk van een configuratiebestand dat in de map /boot/grub/menu.lst staat op je ubuntu installatie. Nu is het zo dat er een hoop bios'en zijn die niet in staat zijn om op een USB schijf te geraken, en zo grub niet aan zijn configuratiebestand op de USB-schijf geraakt.
Een interne installatie van Ubuntu is dus aan te raden met bijvoorbeel deze handleiding:
http://www.ubuntu-nl.org/documentatie/installatie/dualboot_gutsy/Hoe dan ook het *zou* kunnen werken als je de installatie overdoet en op uw interne harde schijf een kleine partitie (100MB) aanmaakt van het formaat ext3 die u aankoppelt als /boot (en de externe schijf als /).
Hoe dan ook, ik weet niet of u hiermee het Ubuntu-starten-van-USB-probleem oplost, maar in elk geval is het starten van windows dan wel mogelijk
