Lagändringen var en av flera som antogs under en maratonsittning mellan torsdagen och fredagen förra veckan.
Strafflagen kommer hädanefter att specificera att det blir förbjudet att uppvisa ”propagandamedel och kännetecken för författningsstridiga organisationer och terroristorganisationer”.
Lagen hänvisar specifikt till de 21 grupper som namnges i en genomförandeförordning från Europeiska rådet från februari i år – däribland Hamas, Hizbollahs väpnade gren, Folkfronten för Palestinas befrielse (PFLP) och det kurdiska arbetarpartiet PKK.
Det socialdemokratiska partiet SPD var först emot förslaget, som man menade stred mot författningen. Men sedan partiet anslutit sig till kristdemokratiska CDU i frågan kunde ändringen antas.
– Vi vill inte att man på tysk mark ska vaja med terrororganisationers flaggor, sade CDU-ledamoten Thorsten Frei till tidningen Welt am Sonntag veckan före omröstningen, och påpekade att förbudet ska ses som en tydlig signal av stöd till landets judar.