Senamiesčio skverą juosia Bažnyčios ir Alyvų Tako gatvės. Prieš Antrąjį pasaulinį karą čia buvo gyvenamieji, prekybininkų ir amatininkų namai, kurie subombarduoti per pirmą vokiečių lėktuvų antskrydį. Po karo namai nebuvo atstatyti, o buvo suformuota aikštė. 1956 m. ji pavadinta Gegužės 1-osios aikšte, o 1977 m. buvo sutvarkyta, įrengtas fontanas, pastatytas paminklas tarybiniam veikėjui Juozui Vitui. 1990 m. paminklas demontuotas. 2012 m. buvo rekonstruotas skveras. Naujai įrengtą margaspalvį fontaną papuošė rašytojo Jurgio Kunčino eilės.