Waar jij waarschijnlijk last van hebt heet "tearing", misschien helpt dat om je zoektocht te vergemakkelijken.
Er zijn een aantal opties die je kan proberen:
Kijk eens in de instellingen van nvidia-settings en vink overal "sync to VBlank" aan.
Als je geen gebruik maakt van 2 beeldschermen kan je ook de optie Dynamic Twinview uitzetten in xorg.conf
Hierdoor wordt de refreshrate van je monitor wel goed gezien.
Een andere optie is het installeren van het pakket libvdpau (of libvdpau0 of 1, dat weet ik niet zo uit mijn hoofd), en dan SMplayer gebruiken.
Als je in de afspeelvoorkeuren dan VDPAU kiest, zal je videokaart het grootste deel van het rekenwerk op zich nemen.
Dat maakt alles sowieso een stuk vloeiender, maar hopelijk lost het ook je probleem op.