Organizację założono 27 sierpnia 1922 r. i pierwotnie podzielono na cztery dzielnice. Jej siedzibą do września 1939 r. była nieruchomość w Berlinie znajdująca się pod adresem Potsdamerstraße 118b, Berlin W35. Pierwszym prezesem był Stanisław Sierakowski. W 1933 r. ZPwN za swój symbol przyjął znak rodła zaprojektowany przez artystkę Janinę Kłopocką. 6 marca 1938 r. podczas I Kongresu Związku Polaków w Niemczech, który się odbył w Teatrze Ludowym w Berlinie, uchwalono Pięć prawd Polaka, które stanowiły ideową podstawę działalności związku. W Kongresie wzięło udział 5 tys. delegatów. Po wybuchu II wojny światowej związek został zdelegalizowany, majątek skonfiskowany, a część działaczy trafiła do obozów koncentracyjnych. Warto dodać, że wszyscy członkowie ZPwN wpisani zostali na specjalną listę „wrogów Rzeszy”, tzw. Sonderfahndungsbuch Polen, przygotowaną przez kontrwywiad służby bezpieczeństwa SS, tzw. Sicherheitsdienst w Berlinie. Na jej podstawie przeprowadzano masowe aresztowania polskiej inteligencji oraz dokonywano czystek etnicznych ramach w Operacji Tannenberg i Intelligenzaktion. Po wojnie, w 1945 r. związek wznowił działalność w zachodniej strefie okupacyjnej Niemiec. W 1950 roku ZPwN został zarejestrowany w RFN, początkowo z siedzibą we Frankfurcie nad Menem, a od 1956 r. siedzibą Związku Polaków w Niemczech jest Bochum.
Związek prowadził działalność kulturalną, gospodarczą i polityczną – założyli też swój własny bank w Berlinie. Organizacja angażowała się w ochronę interesów polskiej mniejszości narodowej w Niemczech, a także w ochronę polskiego dziedzictwa kulturowego jakie znajdowało się w granicach Niemiec. Dzięki ostrym sprzeciwom polskiego mieszczaństwa w Opolu oraz działaczy związku, udało się dla przykładu zachować niektóre elementy średniowiecznego Zamku Piastowskiego w Opolu, tzw. Wieżę Piastowską.
Oprac. TK