auf dem Criteria-Objekt kannst du Facetten mit removeFacet(NAME) entfernen. Das müsste bspw. gehen, wenn du dir einen CriteriaRequest-Handler registrierst.
Ansonsten könntest du \Shopware\Bundle\SearchBundleDBAL\ProductNumberSearch::search dekorieren und dir das ProductNumberSearchResult zurück geben lassen. Mit getFacets bekommst du alle aktiven Facetten. Die Klasse hat keine Remove-Methode, darum müsstest du ein neues ProductNumberSearchResult instanziieren und $products, $totalCount und $facets aus dem Original-Objekt da reingeben - bis auf die Facette, die du entfernen willst. Also so etwa: