Nach seinem Rücktritt als Bürgermeister im Jahr 1981 wechselte Klose als Abgeordneter in den Deutschen Bundestag. Dort profilierte er sich als Fraktionschef und versierter Außenpolitiker. Innerparteilich gehörte er bis 1991 zum engsten Führungskreis der SPD und war als Schatzmeister tätig.
Im Jahr 1991 wurde Klose zum Vorsitzenden der SPD-Bundestagsfraktion gewählt, musste diesen Posten jedoch 1994 an Rudolf Scharping abgeben. Insgesamt blieb er bis 2013 im Bundestag aktiv.