Letzendlich pushst du ja sowieso nur das was du geändert hast - Das ist ja auch der Sinn bei Git, dass du eben nur die Änderungen commitest welche geändert worden sind.
Also in dem Falle eben dein eigenes Plugin. Alle anderen Files bleiben unbebührt. Aber klar, du kannst natürlich auch alles bis auf deinen eigenen Themes Ordner ignorieren.