Sigmar Gabriels kommentarer kom i slutet av hans officiella besök i USA i onsdags.
"Visst är jag övertygad om att det är viktigt att äntligen prata igen om vapenkontroll och nedrustning," Gabriel berättade för nyhetsbyrån DPA, som citerade av tidningen Frankfurter Allgemeine Zeitung.
"Det är därför jag tror att Martin Schulz ord om att vi i slutändan måste bli av med kärnvapnen i vårt land är rätt."
Förra veckan lovade Schulz, SDP:s kandidat till förbundskansler, att bli av med USA:s kärnvapen om han blir vald.
"Som Tysklands förbundskansler... kommer jag att kämpa för tillbakadragandet av kärnvapen stationerade i Tyskland," Schulz sa i Trier när han talade om ett kampanjmöte. "Trump vill ha kärnvapenrustning. Vi förkastar det."
Det finns ett 20-tal US B61 kärnvapen lagrade på Buechel Air Base i Tyskland, enligt uppskattningar av Federation of American Scientists (FAS).
Frågan om USA:s kärnvapenlagring på tysk mark har tagits upp av topptjänstemän tidigare. 2009 sa den dåvarande tyske utrikesministern Frank-Walter Steinmeier att B61-lagret i Tyskland var ett "militärt föråldrat" och uppmanade USA att ta bort vapnen.
Höga ryska tjänstemän har uttryckt liknande attityder till USA "Kalla krigets reliker" fortfarande utplacerad i Tyskland.
"Amerikanska kärnvapen i Tyskland är reliker från det kalla kriget, under lång tid tjänar de inte genomförandet av några praktiska uppgifter och är föremål för att kastas i historiens soptunna." Sergey Nechayev, chef för det ryska utrikesministeriets avdelning med ansvar för förbindelserna med Tyskland, sa i december 2016.
USA uppgraderar samtidigt sina B61-bomber, varav cirka 200 lagras i Europa. Den icke-nukleära monteringen av den nya B61-12-modifikationen testades framgångsrikt för andra gången tidigare denna månad.
Den förväntas ha avsevärt utökad kapacitet, vilket kan öka sannolikheten för att den släpps lös, enligt politiker och militära experter. Tidigare i år föreslog president Donald Trump ett program på 1 biljon dollar för att modernisera USA:s kärnvapenarsenal, och hävdade att USA hade "halkat efter när det gäller kärnvapenkapacitet."
Tidigare i augusti attackerade Gabriel förbundskansler Angela Merkel och hennes styrande parti för att ha följt "diktera" av Trump och vill "dubbla Tysklands militärutgifter."
I mars lovade den tyske förbundskanslern att göra sitt bästa för att öka utgifterna för Nato, efter Trumps krav på medlemsländerna att spendera sina "rättvis andel" av 2 procent BNP på försvaret.
"I motsats till tiderna för öst-väst-konfrontationen är dessa konflikter och krig mycket svårare att förutse och hantera," Gabriel skrev i en artikel för tidningen Rheinische Post. "Frågan är: hur reagerar vi? Svaret från USA:s president Donald Trump är att beväpna."
"Vi måste spendera mer än 70 miljarder euro på vapen per år på Trumps och Merkels vilja," Gabriel skrev och tillade att det inte skulle förbättra situationen någonstans. "Varje tysk soldat som är utplacerad utomlands säger till oss att det inte finns någon säkerhet och stabilitet som kan nås med vapen eller militär styrka."
