Début septembre 1939, l’Allemagne envahit la Pologne. Le 3 septembre 1939, la France est en guerre avec l’Allemagne de Hitler, qui attaque la ligne Maginot le 15 juin 1940. Strasbourg, Colmar, Mulhouse sont occupées les jours suivants et l'Alsace et la Moselle sont annexées de fait. Pendant la guerre, environ 100.000 Alsaciens sont incorporés de force dans la Wehrmacht. La plupart d’entre eux ne reviennent pas. L’histoire les appela les « Malgré Nous ». Le 19 mars 1945, l’Alsace est définitivement libérée à l’issue de combats et de bombardements franco-américains intenses et redeviendra française à la fin de la guerre.
La Seconde Guerre mondiale frappa beaucoup plus cruellement l’Alsace-Moselle que le reste de la France. Les épreuves commencent dès 1939 ; en cas de guerre, le gouvernement a prévu l'évacuation des populations vivant entre la ligne Maginot et la frontière allemande, mais aucune infrastructure ne peut les accueillir. Dès le début de septembre, les habitants doivent gagner, parfois à pied, des gares des Vosges, en ne prenant que ce qu’ils peuvent porter ou traîner dans des voiturettes de fortune.
Ils sont répartis au hasard, surtout dans le Limousin, où la population n'accueille pas à bras ouverts ces nouveaux arrivants, qu’elle appelle des "yaya", puisqu’on les entendait dire "Ja" pour "Oui". Souvent habitués à un certain confort en Alsace, les réfugiés doivent s’installer dans des granges en ruines ou dans des masures insalubres. Cela explique pourquoi tant d'Alsaciens ont voulu rentrer chez eux, une fois l'armistice signé en juin 1940 ; ils ont bien compris que les gens de l'intérieur ne les considéraient pas comme de véritables Français et s'entendent dire, après la capitulation de la France : "Vous avez de la chance, vous les Alsaciens, vous êtes toujours du côté des vainqueurs". Ils ne se faisaient aucune illusion sur les intentions de l’Allemagne vis-à-vis de l’Alsace-Moselle mais espéraient retrouver l’Allemagne d’avant 1914.
Dès le début, la population alsacienne adopte une attitude réservée par rapport aux Allemands. Les Alsaciens se méfient des Nazis et ne parlent jamais de politique devant eux. Certains vont même jusqu'à remplacer la phrase de salut par celle, moins signifiante de "Ein Liter" ("un litre").
Ce n'est qu'une fois de retour chez eux, que les Alsaciens s’aperçoivent que tout a changé. Le gouvernement allemand décide d'annexer l'Alsace-Moselle sans en faire la proclamation officielle. Il n’hésite pas à proclamer son admiration pour la politique d’assimilation que la France avait menée après 1918 et se déclare prêt à la mettre en œuvre en sens inverse. Pour ce faire, il place en haut lieu des hommes sûrs, c’est-à-dire des nazis allemands, qui ne connaissent rien à l’Alsace. La rue principale de Mulhouse, qui s'appelle la rue du Sauvage, fut ainsi rebaptisée quelques jours "Adolf-Hitler-Straße"... Le gouvernement de Vichy se contente de protester silencieusement à chaque nouvelle violation du droit, et le bruit ne tarde pas à se répandre qu'une clause secrète a livré l'Alsace-Moselle à l'Allemagne.
L'ultime transgression juridique, la mobilisation obligatoire dans l'armée allemande, ne sera bravée qu'en 1942. En temps de guerre, le service militaire équivaut à être enrôlé et à participer au combat. C'est ainsi que 130.000 Malgré-nous, 100.000 Alsaciens et 30.000 Mosellans, se retrouveront de force sur le front de l'Est, à combattre l'armée de Joseph Staline. La plupart seront affectés dans la "Wehrmacht" ou dans la "Waffen SS", particulièrement touchées lors des combats. Nombre d'entre eux seront fait prisonniers par l'armée soviétique durant la débâcle allemande et connaîtront les camps de détention soviétiques, dont le plus connu est celui de Tambov.
D'autres décident de déserter la "Wehrmacht" pour se rendre à l'Armée Rouge, espérant ainsi rejoindre le Général de Gaulle et la France Libre. Les soviétiques n'ont cependant pas connaissance du drame de ces Alsaciens et Mosellans et beaucoup seront considérés comme des déserteurs et fusillés. Les autres seront déportés au camp de Tambov, après un passage dans les mines de charbon de Karaganda.
Libérés en grande majorité durant l'automne 1945, une partie des Malgré-nous passe pourtant plusieurs années supplémentaires en captivité. Sur une page éditée par l'Académie de Strasbourg, on peut lire:
"À Tambov, les conditions de détention sont effroyables. Les prisonniers y survivent dans une effarante promiscuité et dans une hygiène déplorable, à l'abri de baraques creusées à même le sol pour mieux résister au terrible hiver russe où la température descend en dessous de -30°C. Un peu de soupe claire et environ 600 grammes de pain noir, presque immangeable, constituent la ration journalière estimée à 1.340 calories (en comparaison, en 1944, les détenus d'Auschwitz recevaient 2.000 calories par jour). On estime qu'environ un homme sur deux mourait à Tambov après une durée moyenne d'internement inférieure à quatre mois. 10.000 Français terminèrent ainsi leurs jours au camp de Tambov."
La Résistance en Alsace-Moselle est évidemment très spécifique. Territoires annexés, ils ne peuvent pas être intégrés à la Résistance intérieure française. Les mouvements actifs n'appartiennent pas au Conseil national de la Résistance, ils ne reçoivent aucune aide alliée et n'ont que peu de relations avec les autres résistants en France. D'autre part, malgré des contacts avec la résistance allemande au nazisme, tels ceux de Georges Wodli, la résistance en Alsace et en Moselle ne peut être véritablement considérée comme une résistance allemande bien qu'elle se déroule sur le territoire allemand.
Peu après l'entrée des troupes allemandes à Metz le 17 juin 1940, un groupe de lycéens, rejoint par des apprentis et quelques employés des postes, forment "l'Espoir Français", mais 19 arrestations entre le 18 juin et le 15 juillet 1941 décapitent le mouvement. Dès le 12 août, une première opération de sabotage sur des lignes téléphoniques est attestée. Le 15 août, pour la Fête de l'Assomption, un rassemblement a lieu place Saint-Jacques à Metz, où des bouquets de fleurs bleues, blanches et rouges sont déposés au pied d'une statue. On peut également rappeler le drapeau français, hissé sur la mairie d'Hagondange le 11 novembre 1942.
Enfin, de nombreux anonymes ont aidé les résistants, en leur fournissant des informations, en cachant ou ravitaillant des prisonniers de guerre évadés... Ils ont également participé à des actions plus ciblées, notamment à des filières d'évasion de prisonniers de guerre. Plusieurs milliers de jeunes refusent l'enrôlement dans la "Wehrmacht" et le "Reichsarbeitsdienst" et deviennent des clandestins recherchés...
Une fois la guerre terminée, les Malgré-nous ont été considérés comme des traîtres. Beaucoup d'entre eux ont connu la persécution que la population française réservait aux collaborateurs et aux femmes ayant eu des relations avec l'occupant allemand. Ils ont été fortement attaqués par les militants du parti communiste français pour leurs dénonciations de la situation dans les camps d'internement soviétiques. Les derniers prisonniers officiellement libérés ne l'ont été qu'en 1955.
Certains Malgré-nous ont bien déserté pour rejoindre la Résistance ou la Suisse mais leurs familles étaient alors déportées dans des camps de travail ou de concentration. Cette menace a obligé la plupart à rester dans l'armée allemande.