Piliakalnis naudotas I–VI amžiuje. Jį nuo aukštumos saugojo pora gynybinių pylimų, sutvirtintų akmenimis ir medinėmis užtvaromis. Papėdėje iki XII a. veikė kapinynas. XVI amžiuje ant piliakalnio buvo pastatytas Kartenos dvaras, kurį supo 3 tvenkiniai. Prie tvenkinių stovėjo vandens malūnas. Manoma, kad šalia dvaro iškilo rašytiniuose šaltiniuose minima evangelikų reformatų bažnyčia. Dvaras sudegė XVII a. viduryje, per karus su švedais. Piliakalnį vietos gyventojai vadina „Vyšnių kalnu“. Pasakojama, kad Kartenos ponas labai mėgo vyšnias ir pasodino didelį sodą Dvarui sudegus, sodas išliko ir kiekvieną pavasarį baltais žiedais papuošdavo kalvą. Kitas padavimas byloja, kad švedams užpuolus dvarą, gražuolė pono duktė pasislėpė lobių rūsyje, kuriame liko gyva palaidota po rūmų griuvėsiais. Ją išvaduoti galima tik sykį per 300 metų. Kartą, priartėjus išvadavimo laikui, ji prisisapnavo ligotam žmogui ir mainais už sveikatos sugrąžinimą paprašė ją išvaduoti. Šiam sutikus, gražuolė liepė pasidaryti daug šermukšnio kryželių ir, kai tik jis pateks į pilies požemius, bučiuoti per juos visus kas prieis. Davęs pažadą, žmogus greitai išgijo ir ankstų Velykų rytą nuėjo prie Vyšnių kalno. Kur buvęs, kur nebuvęs šalia atsirado kažkoks tarnas ir įvedė į pilies požemius, kuriuose ant aukso skrynios sėdėjo juoda mergina. Netrukus žmogų apnyko visokiausios baidyklės, kurias jis bučiavo kaip sapne prisakė gražuolė. Su kiekvienu pabučiavimu mergina vis balo ir balo. Ir kai juoda liko tik galva, atslinko baisi rupūžė, iš kurios gerklės veržėsi ugnis. Žmogus pabūgo, metė viską ir pabėgo. Išbėgdamas dar išgirdo merginą vaitojant: „Kad tu būtum negimęs... Man vėl 300 metų teks kentėti...“ Sugrįžęs namo žmogus netrukus vėl susirgo. Prieš mirtį norėjo parodyti artimiesiems tą vietą, kur požemiuose lobiai paslėpti, bet mirė Vyšnių kalno nepasiekęs. Piliakalnis labai apardytas arimų, aikštelėje stovėjusio Naujųjų laikų dvaro, dirvonuoja. Jo šiaurės vakarų aikštelės krašte, ties pylimu sukurta kompozicija iš ratu sudėtų didelių akmenų. Nuostabus piliakalnis – tikras Lietuvos Stounhendžas. Ratu išdėlioti didžiuliai rieduliai, jų yra 19, o centre ant pačio didžiausio stovi paminklas (pastatytas 2003 m. minint Kartenos 750 metų sukaktį). Prie paminklo sumūrytas nedidelis aukuras su apvalia duobute.