Alytaus herbą - baltą rožę raudoname lauke - 1581 metų birželio 15 dieną Steponas Batoras miestui įteikė Magdeburgo teises ir savivaldos privilegijas. Iki tol Alytus buvo pakankamai žinoma vietovė - 1387 metų dokumente ji vadinama miesteliu, 1466 metais - valsčiumi.
Mūsų miesto heraldiką atkūrė Kaune gimęs, vėliau Vilniuje miręs Arūnas Tarabilda. Dailininkas Alytaus herbą jis stilizavo paskutiniaisiais savo gyvenimo metais (1968-1969). Vos 35 metus gyvenusio iliustratoriaus, Vytauto Kalinausko, Stasio Krasausko bendrakursio, dienas sutrumpino antitarybinė veikla, pašalinimas iš komjaunimo ir siuntimas tarnauti radiacija užkrėstoje zonoje Rusijoje.
Nežiūrint trumpo gyvenimo A. Tarabilda atkūrė ne tik Alytaus, bet ir Druskininkų, Neringos, Palangos kurortų, taip pat Kaišiadorių, Šiaulių, Šilalės, Širvintų, Vilkaviškio herbus.
1970 metais, uždraudus heraldikos komisijos veiklą, Lietuvos miestams neleista naudotis atkurtais herbais. 1995 metais Alytaus miesto herbą iš naujo atkūrė Vilniaus dailės akademijos profesorius Juozas Galkus. Šį darbą aprobavo naujoji heraldikos komisija, o patvirtino šalies prezidentas.