Né dans une famille modeste et sociale-démocrate, il adhère au SPD (Sozialdemokratische Partei Deutschlands) en 1912. Au lendemain de la Première Guerre mondiale, il participe à la fondation du KDP (Kommunistische Partei Deutschlands) et entre, en 1928, au Comité central du parti.
Exilé pendant la Seconde Guerre mondiale, il revient à Berlin en 1945 pour reconstruire le KPD. Après la fusion en avril 1946 du KPD et du SPD qui donne naissance au SED (Sozialistische Einheitspartei Deutschlands - parti du pouvoir en RDA), il est l’un des pères fondateurs de la République Démocratique Allemande.
Vice-président du conseil ministériel de RDA de 1949 à 1960, il est nommé premier secrétaire du comité central du SED en 1953. En 1960, il succède à Wilhem Pieck à la présidence du Conseil d’État.
D’un dogmatisme intransigeant, il soutient les interventions de l’armée soviétique à Budapest (1956) et à Prague (1968). Ces mêmes chars qui, en juin 1953, matent le soulèvement ouvrier à Berlin. Face à l’exode massif d’Allemand de l’Est via Berlin, il décide – avec le soutien de Moscou – l’édification du mur de Berlin dans la nuit du 12 au 13 août 1961.
Son intransigeance idéologique, à l’heure de la détente dans les relations Est/Ouest, excède Moscou. Sur pression de l’URSS, il cède sa place de Secrétaire général du SED à Erich Honecker en 1971. Jusqu’à sa mort en 1973, il conserve sa fonction de président du Conseil d’État.