Su andadura por la Segunda Guerra Mundial fue de lo más exitosa ya que rápidamente fue ascendido a Mayor General y nombrado comandante del cuerpo de guardia de Hitler durante el ataque a Polonia. Una vez finalizado dicho ataque, Rommel es nombrado comandante de la 7ª División Panzer integrada en el XV cuerpo Panzer todo ello bajo las órdenes del General Hoth.
El comienzo de la invasión francesa el 10 de mayo de 1940 provoca el aumento de popularidad de la 7ª División Panzer también llamada la división fantasma, pues en innumerables ocasiones ni los altos mandatarios alemanes, ni el Estado Mayor de Rommel sabía de la posición exacta del comandante y su división ya que Rommel basaba su éxito en la rápida penetración y la buena colocación al frente de sus tropas.

Enero de 1941 es otra fecha en la cual Rommel logra un nuevo ascenso, está vez al rango de Teniente General. Una vez hecho su nombramiento efectivo, Rommel es enviado a Berlín donde recibe el mando de Africakorps para poder ayudar a sus aliados los italianos frente la amenaza inglesa. El 14 de Febrero de 1941 Rommel entra en Tripolo con la 5ta división Panzer ligera donde encuentra, por primera vez, las tropas enemigas en El Aghelia.

El 31 de Marzo lanza uno de sus mejores y más existoso ataque contra las tropas enemigas en Mersa Brega lo que produce el avance británico desde Tripolitania y empujándolos contra Libia sin dejarles opción a defenderse. Tales fueron las consecuencias de dicho ataque que en abril de 1941 marchaba hacia el oeste de Egipto logrando así el control del norte de Africa. Gracias a estas acciones bélicas, Erwin Rommel es ascendido a Mariscal de Campo a la temprana edad de 50 años ( temprana debido a que Rommel se convirtiñó en el Mariscal más joven de la historia). Tal era la popularidad y poder de Rommel que en agosto de 1941 el Africakorps pasa a llamarse Afrika Panzer Gruppen con Rommel al mando de todas las fuerzas alemanas en el norte de Africa.

La ofensiva llamada Crusander obliga a Rommel, el 18 de noviembre de 1941, a retirarse hasta El Aghelia en Libia. Heridoen su honor, en enero de 1942 Rommel decide lanzar una nueva ofensiva y obliga a los ingleses a retirarse hasta la línea de Gazala.Una nueva condecoración se le es concedida otorgándosele la Cruz de Caballero con Hojas de Roble, Espadas y Diamantes. Dicha condecoración colocaba a Erwin Rommel al nivel más elevado de los mandatarios del ejército alemán. El 26 de Junio logra hacer retroceder nuevamente al ejército británico hacia Egipto capturando El Alamein localidad muy próximo a Alejandría. En este momento Rommel se ve obligado a parar la ofensiva debido a la precaria situación de abastecimiento tanto militar como alimenticia de la que disponía su división. Debido a unos problemas de salud Rommel es obligado a regresa a Berlín para ser tratado. Aprovechando este momento, en Octubre de 1942 los ingleses vuelven contraatacar destruyendo las fuerzas alemanas y los anglo-americanos inician la Operación Torch. Esta operación se dividía en la ofensiva simultánea de ambos ejércitos por lo que obligan a Rommel a un replegamiento intensivo. Dicho replegamiento provoca en febrero de 1943 el lanzamiento de la última ofensiva en el norte de África.

Todo indicaba una derrota alemana en el norte de Africa y, debido a esto, Rommel decide otorgar el control de Afrika Panzer Grupppen al General Von Armin con el que él puede viajar a Berlín con la finalidad de avisar a Hitler sobre la verdadera situación del Africakorps. En Mayo de 1943, sin reservas, las fuerzas alemanas se rinden y los aliados obtienen cerca de 200.000 prisioneros.

A finales de 1943 se le es encargada la misión de la creación de la Muralla del Atlántico con el único propósito de detener la invasión aliada. Para llevar a cabo dicho propósito Rommel precisaba de un gran número de soldados cosa imposible debido a la mala distribución de las tropas y el mal equipamiento.

El 20 de julio de 1944 Rommel es implicado en un atentado contra Hitler cuando se celebraba una junta de Estado Mayor. Debido a esa acusación se le concede a Rommel dos opciones: ser juzgado como traidor y sufrir la humillación tanto propia como de su familia o suicidarse. La muerte de Rommel pasó a ser una de las más trágicas debido a que decidió suicidarse el 14 de octubre de 1944 y, de esta forma, que su familia pudiese vivir tranquila. Gracias a todos los servicios prestados a su nación Alemania Hitler le otorga el reconocimiento de un funeral con todos los honores como corresponde a un Mariscal de Reich.