Die Gründung der späteren Mittelbau-Außenlager erfolgte ab dem Frühjahr 1944, zunächst noch dem KZ Buchenwald zugehörig. Rund um Nordhausen sollten nach dem Vorbild des Mittelwerks unterirdische Verlagerungsbetriebe für den Junkers-Konzern entstehen. Daneben begann man, die für den geplanten Rüstungskomplex im Südharz nötige Infrastruktur zu schaffen. Im Sommer 1944 kamen weitere Untertageverlagerungsprojekte der Mineralölindustrie hinzu.
Der enorme Arbeitskräftebedarf für diese Projekte wurde zu einem großen Teil durch KZ-Häftlinge, aber auch durch zwangsrekrutierte ausländische Zivilarbeiter, Kriegsgefangene und dienstverpflichtete Deutsche gedeckt. Trotz des rücksichtslos angetriebenen Einsatzes insbesondere der KZ-Häftlinge ist angesichts des nahenden Kriegsendes kaum eines der ambitionierten Untertageverlagerungsprojekte auch nur annähernd fertiggestellt worden.
Die meisten im Zusammenhang mit der Untertageverlagerung eingerichteten Mittelbau-Lager lagen in einem relativ eng umrissenen Gebiet um Nordhausen. Neben dem Hauptlager Dora, das mit durchschnittlich etwa 15.000 Häftlingen belegt war, bildeten die Lager Ellrich-Juliushütte (gegründet am 2. Mai 1944, belegt mit durchschnittlich etwa 8.000 Häftlingen), Harzungen (1. April 1944, 4.000 Häftlinge), Rottleberode (13. März 1944, 1.000 Häftlinge) und die SS-Baubrigaden III und IV (zusammen etwa 3.000 Häftlinge) den Kern des Mittelbau-Komplexes. Nach der Verselbstständigung des KZ Mittelbau kamen mit der Verlagerung neuer Rüstungsprojekte in den Südharz weitere Außenlager hinzu. Schließlich befanden sich im Frühjahr 1945 über 40.000 Häftlinge in den mittlerweile etwa
Die Gefangenen kamen aus fast allen Ländern Europas, vor allem aus der Sowjetunion, aus Polen und aus Frankreich. Die meisten von ihnen waren aus politischen Gründen inhaftiert worden. Seit Mai 1944 wurden auch Juden nach Mittelbau-Dora verschleppt. Im Zuge der Auflösung des „Zigeuner-Familienlagers“ in Auschwitz-Birkenau brachte die SS zwischen April und August 1944 zudem viele Sinti und Roma in den Südharz.
