Hmm, vreemd dat je paneel zomaar verdwijnt... Welke versie van xfce4-panel gebruik je?
Als het bij deze ene keer blijft, dan zal het niet erg zijn,

maar als je nog een paar keer voor hebt dan zal er toch iets aan de hand...
Deed mij denken aan een van mijn eerste bugjes:
Bug #185448. Het paneel verdween toen als je er een icoontje insleepte. Blijkt enkel vanaf hardy opgelost te zijn...