Seniai seniai, po maro, prasidėjo didelis badmetis. Vietinis kunigas negalėdamas žiūrėti kaip miršta jo parapijiečiai, surinko iš likusių gyvų gyventojų pinigus ir išplaukė Nemuno aukštupiu pirkti grūdų. Tačiau kelionė užtruko, ir kunigas su bendrakeleiviais ilgai negrįžo, o gyventojai nuo bado mirė vienas po kito. Nesulaukę kunigo, jį pradėjo keikti, kad šis pasielgęs nesąžiningai. O kai kunigas su savo laivo įgula priartėjo prie Alytaus, pakilo didelis viesulas, trenkė žaibas į laivą ir šis akmeniu pavirto. Kiti pasakoja, kad kunigas velnio sugundytas, sumanęs grūdus parduoti Kaune ir taip daugiau pinigų užsidirbti. Vėliau šį akmenį žmonės Klebono akmeniu praminė. Sako, kad karts nuo karto ant akmens velniukas sėdi, o varnas budriai kiekvieną vakarą ant jo budi.