Das bekannte Entgleisen der Timer. Man kennt es.
Schicke am Anfang ein Event an den Client mit der aktuellen Uhrzeit des Servers, dann lass den Client den Timer ausführen. Sollte er dann hinterherhinken, dann weil er ohnehin laggt (Performance des PC nicht vom Internet).
Kommt aber A selten vor und B könntest du dagegen eh nichts machen.