De reden is dat de schijf waarop je muziek zit niet automatisch gemount is. Ze wordt enkel gemount "op vraag", wanneer je je partitie aanklikt, zoals je zelf beschrijft. Rythmbox gaat automatisch zijn bibliotheek bijwerken. Als de partitie niet beschikbaar is, dan ziet Rythmbox enkel een lege muziekdirectory en gaat dus alle nummers één voor één beginnen verwijdereren.
Het is zeer vervelend dat rythmbox geen optie heeft om het automatisch bijwerken van de bibliotheek af te zetten. Als jou muziek op een verwijderbare schijf zit, dan zit er niets anders op dan goed op te letten dat je eerst de schijf aankoppelt, dan pas rythmbox opstart.
In jou geval begrijp ik dat het om een interne tweede partitie gaat. In dit geval kan je die partitie gaan mounten in /etc/fstab. Dan wordt ze automatisch gemount bij de opstart (net zoals je / en eventueel je aparte /home) en ga je het euvel nooit meer hebben.