Oddziały zostały utworzone w maju 1940 rozkazem Himmlera, ale już wcześniej istniało kilka elitarnych pułków funkcjonujących w ramach SS (SS-Verfügungstruppen, SS-VT), które walczyły w kampanii wrześniowej. Służyło w nich 18 tysięcy żołnierzy. Przed kampanią we Francji postanowiono rozbudować Waffen-SS do czterech dywizji. W czerwcu 1941 roku formację tę tworzyły 4 dywizje i wiele samodzielnych brygad. Służyło w nich łącznie 220 tys. żołnierzy.

Po ataku na ZSRR doceniono bitność esesmanów i zaczęto tworzyć kolejne dywizje, w tym z ochotników z innych państw, np. z Norwegii, Danii, Holandii, Belgii, Łotwy. Z czasem powstały jednostki bośniackie, ukraińskie i inne. Pod dowództwem Waffen-SS walczył również korpus kozacki.

W grudniu 1944 Waffen-SS osiągnęło szczyt swojego rozwoju. W jego skład wchodziło 38 dywizji (niektóre nie w pełni skompletowane), około 15 brygad i mnóstwo mniejszych jednostek, w których służyło aż 950 tys. żołnierzy, z czego Niemcy stanowili niewiele ponad jedną trzecią (nie licząc volksdeutschów). Waffen-SS miało także sztab armii (6 Armia Pancerna SS) i 16 sztabów korpusów.

W końcowej fazie wojny kilka elitarnych dywizji Waffen-SS (m.in. Leibstandarte SS Adolf Hitler, Totenkopf, Wiking, Das Reich, Hohenstaufen, Hitlerjugend, Nederland) było najlepiej wyposażonymi i najbitniejszymi oddziałami armii niemieckiej.

Ponosząc ogromne straty (w kwietniu 1945 było już tylko 580 tys. żołnierzy), oddziały Waffen-SS walczyły do końca wojny. Mają na koncie wiele zbrodni, z których większość popełniły na froncie wschodnim. Jako część SS, Waffen-SS zostało uznane przez Międzynarodowy Trybunał Wojskowy w Norymberdze za organizację zbrodniczą.

Z powodu odrębnej struktury dowodzenia i własnych służb łączności oddziały Waffen-SS miały trudności z bliską współpracą z wykonującymi te same zadania oddziałami Wehrmachtu. Kultywujący pruską tradycję oficerowie Wehrmachtu żywili szczerą pogardę do swoich odpowiedników z Waffen-SS, gdyż zgodnie z prawdą twierdzili, że kariera kadry Waffen-SS zależała w równym stopniu od ich "zapału ideologicznego" co od ich zdolności dowodzenia na polu bitwy. Fakt, że oddziały Waffen-SS były faworyzowane przez Hitlera i innych funkcjonariuszy NSDAP podczas decydowania o przydziałach sprzętu i rekrutów, także wpływał negatywnie na współpracę między Waffen-SS a Wehrmachtem, który uważał, że wykorzystałby te środki w znacznie bardziej efektywny sposób.

Dużą rolę w kreacji legendy Waffen-SS miała również oficjalna hitlerowska propaganda.