1985 wurde Pfahls Präsident des Bundesamtes für Verfassungsschutz. 1987 holte ihn der damalige Verteidigungsminister Manfred Wörner (CDU) auf Vorschlag von Strauß als beamteten Staatssekretär in das Ministerium. Er war dort verantwortlich für Rüstungskontrolle, Beschaffung und Export von Waffen. Anfang 1992 schied Pfahls, angeblich freiwillig, dort aus dem Amt. Spekuliert wurde in diesem Zusammenhang über eine Verwicklung in geheime Waffenlieferungen aus den Beständen der Nationalen Volksarmee der DDR an Israel (die Neuentwicklung „Kalaschnikow, AK-74“ aus dem Ex-DDR-Munitionslager Kavelsdorf).