Mhhh komisch, kann ich mir nicht vorstellen, da ja PHP 5.4 ja wie 5.3 ist. 5.3 ist doch mit drin enthalten.
Also php kannste downgraden wenn du vorher das aktuelle php deinstallierst und dann einfach die alte Version runterlädst und drauf haust.
Hab ich noch nie gemacht, so sollte es aber ablaufen :D, aber dann kein apt-get upgrade/update oder so machen.