Je moet het zo zien:
Grub2 staat in de MBR van de opstartschijf voor wat betreft het
begin van GRUB2. De rest van GRUB2 is te groot om daar te passen en staat "ergens verderop"; de comp weet waar precies.
Grub2 is nodig om je computer de keuze te kunnen laten maken uit het OS waar jij mee wilt starten. Daarom wordt het
"automatisch" meegeïnstalleerd en jij kunt kiezen waar de 'staart' komt!
Je comp "weet" dat, en gaat naar Grub2 op zoek.
Wat is er gebeurd bij jouw installatie: het vervolg van Grub2 is op je USBstick terecht gekomen. Dus: zonder USBstick opstarten wordt een puinhoop!!
(De mededeling:
en als de USB er niet in zit werkt helemaal niets en komt de melding van 'grub' over een device.
gaat daarover)
Hiermee is tevens een deel van het antwoord op je vraag gegeven: GRUB(-staart) verhuizen naar de HD waar Windows op staat. Omdat ik taxeer dat je nog maar "net" begonnen bent met de UBUNTU-installatie, is het misschien het beste om met frisse moed/tegenzien opnieuw te beginnen, en dan op de manier zoals geschetst: Grub2 op de windowsschijf (en de USBstick vóórafgaande aan de installatie leegmaken).