Miestas įsikūręs pusiasalyje, apsuptame Ančios ežero. Rašytiniuose šaltiniuose Veisiejai minimi nuo Mindaugo laikų (1253 m.). Senoji Veisiejų dalis paskelbta urbanistikos paminklu. Saugomas gatvių tinklas, XVIII a. antrosios pusės–XIX a. pradžios aikštės planas, užstatymo fragmentai, senosios miesto dalies panorama ir gamtinė aplinka. Miesto užstatymas – linijinis. Miesto centre yra XVI a. antrosios pusės barokinio ir klasicistinio plano elementų. Gatvių tinklas puikiai dera prie netolygaus vietovės reljefo. Į centrą sueinančių gatvių perspektyvos uždaros. Yra akligatvių. Mieste yra architektūros paminklas – barokinės struktūros klasicistinių formų bebokštė bažnyčia, pastatyta 1817 m.