1581 m. birželio 15 d. Lenkijos karaliaus ir Lietuvos didžiojo kunigaikščio Stepono Batoro (1576-1586) duotoje privilegijoje rašoma, kad Alytui suteikiamos Magdeburgo teisės ir herbas: balta rožė raudoname lauke. Ši vienintelė privilegija su spalvotu herbo piešiniu neišliko. Ji kartu su kitomis valdovų suteiktomis magdeburginėmis privilegijomis ir aktais sudegė 1737 m. gaisro metu.
Miestiečiai, likę be jokių dokumentų, nenorėdami, kad kas nors tuo pasinaudodamas pasikėsintų į jų teises, paprašė padaryti išrašą iš Lietuvos Metrikos. Išrašą gavo 1740 m., o 1749 m. Alytui dar kartą buvo patvirtintos savivaldos teisės.
Nei Lietuvos Metrikoje, nei vėlesniuose 1581 m. privilegijos patvirtinimuose nėra herbo piešinio. Herbo piešinį galima nustatyti pagal 1614 m. ir 1631 m. dokumentuose rastus
Alytaus miesto antspaudus. Jų centre pavaizduotas renesansinis skydas su penkialape heraldine rože. Suteikiant šį simbolį Alytui, įtakos tikriausiai turėjo šv. Mergelės Marijos kultas. 1524 m. Jono Zaberezinskio bažnyčios aprūpinimo privilegijoje bažnyčia tituluojama Šv. Jono Krikštytojo, Panelės Marijos dangun ėmimo ir Šv. Mikalojaus vardu. Viena iš mugių mieste vykdavo Marijos dangun ėmimo dieną – rugpjūčio 15 d.
Viduramžiais rožė buvo vienas iš labiausiai paplitusių Europos heraldikos simbolių. Šie simboliai puošė karališkųjų šeimų herbus. Heraldinė rožė tai stilizuotas rožės žiedas, kurį sudaro penki simetriški žiedlapiai, penki taurėlapiai ir apvalus viduriukas. Garsiausios viduramžių Europos giminės, turėjusios rožę savo herbe – Jorkai, Lankasteriai ir Tiudorai. XV a. kilęs karas dėl Anglijos sosto vadinamas Rožių karu. Šį karą laimėjusi Tiudorų giminė savo herbe apjungė dvi rožės – raudoną ir baltą. Ši rožė, dar vadinama Tiudorų rože, iki šių dienų naudojama kaip Anglijos simbolis.
Kai kurios Anglijos grafystės, naudoja rožes savo herbuose: Lankašyras – raudoną rožę, Jorkšyras – baltą rožę. Rožę kaip heraldinį simbolį naudoja kai kurie Vakarų Europos miestai. Lietuvoje balta heraldinė rožė puošia ir Giedraičių miestelio herbą. Giedraičiai neturėjo istorinio herbo. Pasak legendų miestelį įkūrė kunigaikščių Giedraičių giminės atstovas, todėl kuriant miestelio herbą panaudota Giedraičių giminės rožė. Bajoriškų giminių herbuose rožės simbolis buvo labai plačiai paplitęs. Abiejų Tautų Respublikoje herbą „Rožė“ turėjo virš trijų šimtų bajorų giminių. Vienas garsiausių šio herbo savininkų, poetas Adomas Mickevičius (1798-1855).
1776 m. Abiejų Tautų Respublikos Seimas panaikino beveik visų Lietuvos valstybinių miestų savivaldas. Alytus taip pat neteko savo savivaldos. Ketverių metų (1788–1792 m.) Seimas 1791 m. priėmė naują Miestų įstatymą. Šiuo įstatymu buvo atkurtos visų miestų savivaldos teisės, prarastos 1776 metais. Tik reikėjo įrodyti jas buvus ir gauti privilegiją. Alytaus savivalda pradėjo veikti 1791 m. rugpjūčio mėnesį. 1792 m. buvo pagaminti du nauji spaudai, tačiau juose vietoje heraldinės rožės išraižytos trys ant žemės augančios lelijos. Kas turėjo įtakos herbo pakeitimui, nežinoma. Manoma, kad lelijos nusižiūrėtos iš Alytaus apylinkėse gyvenusių bajorų Orlovskių heraldikos.
Po III Abiejų Tautų Respublikos padalijimo 1795 m. Alytus buvo padalintas. Dešinysis Nemuno krantas atiteko Rusijos imperijai, kairysis – Prūsijai. Kairiakrantis Alytus 1807–1815 m. priklausė Varšuvos kunigaikštystei, 1815–1915 m. autonomijos teisėmis į Rusijos imperiją įėjusiai Lenkijos Karalystei. Šios miesto dalies gyventojai išsaugojo 1740 m. privilegijos nuorašą, 1792 m. miesto spaudą ir gana aktyviai mėgino atgauti miesto savivaldą.
1845 m. Rusijos imperijoje atliktas naujas administracinis padalijimas, pradėta rūpintis miestų herbais. Kairiakrančio Alytaus gyventojai nusiuntė Lenkijos Karalystės vidaus reikalų valdančiajai komisijai savo herbo piešinį. Raudoname lauke buvo pavaizduota ant stiebelio su žaliais lapeliais išsiskleidusi balta rožė. Šis herbas nebuvo patvirtintas. 1856 m. caras Aleksandras II (1855-1881) įsakė peržiūrėti ir patvirtinti visų gubernijų ir miestų simbolius. Lenkijos Karalystės vidaus reikalų valdančioji komisija vėl pareikalavo atsiųsti duomenis apie herbines privilegijas, antspaudus. Kairiakrančio Alytaus gyventojai nusiuntė 1740 m. privilegijos nuorašą ir 1792 m. spaudo pavyzdį, bet Alytaus herbas ir vėl nebuvo patvirtintas.
1918 m. atkūrus Lietuvos nepriklausomybę, Alytus atgavo miesto teises, tačiau miesto herbas oficialiai nebuvo patvirtintas. Tarpukario metais buvo išpopuliarintas miesto herbas su trimis lelijomis. Šis nuopelnas priklauso dailininkams T. Daugirdui, B. Šaliamorui, kurie sukūrė herbą, grafiškai pavaizdavo spalvas. Jie pridėjo ir naują elementą – skydą papuošė penkialape karūna. Prie šio herbo išpopuliarinimo daug prisidėjo ir to meto spauda.
1966 m. prie sovietinės Lietuvos kultūros ministerijos buvo įkurta Respublikinė heraldikos komisija. Ši komisija pradėjo vadovauti istorinių miestų herbų atkūrimui ir naujų miestų herbų kūrimui. Buvo nutarta atkurti pirmąjį istorinį Alytaus miesto simbolį. Herbą atkūrė dailininkas A. Tarabilda. 1968 m. gegužės 15 d. atkurtą Alytaus herbą aprobavo Respublikinė heraldikos komisija. Tačiau nuo 1970 m. Heraldikos komisijos veikla uždrausta, miestams neleista vartoti herbų.
Prasidėjus tautiniam Atgimimui, vėl pradėti naudoti senieji miestų herbai. 1988 m. liepos mėnesį Alytaus miesto Liaudies deputatų tarybos Vykdomasis komitetas pritarė A. Tarabildos sukurto herbo naudojimui. 1989 m. sausio mėnesį atidarytos naujosios miesto Rotušės posėdžių salę papuošė vitražas su miesto herbu – balta rože raudoname lauke.
Atkūrus Nepriklausomybę buvo sudaryta Heraldikos komisija, kuri turėjo koordinuoti herbų, herbinių ženklų ir herbinių vėliavų kūrimą, derinimą bei tvirtinimą. 1995 m. dailininkas J. Galkus pagal senuosius miesto antspaudus atkūrė Alytaus miesto herbą: baltą rožę raudoname lauke. 1995 m. gruodžio 11 d. šį herbą patvirtino Lietuvos Respublikos Prezidentas.
Vilmantas Dunderis,
Alytaus kraštotyros muziejaus muziejininkas