Il castello di Pietrapertosa domina l?abitato dall?alto dei suoi 1150 metri sul livello del mare. Il torrione circolare, visibile dalla strada di accesso al paese, caratterizza il paesaggio circostante. La sua storia è molto antica: sicuramente un primo baluardo difensivo nell?area fu opera dei Greci della costa, che nel IV ? V secolo a.C. costruirono una fortificazione in grado di controllare le vie di comunicazione dirette verso l?interno. Di essa restano, sulla vetta del monte, due nicchie di dimensioni differenti. A quella più piccola si giunge tramite undici gradini scavati nella roccia. Dai due nicchioni, attraverso un?altra scala scolpita nella roccia, si accede ad una vedetta che costituisce un ottimo punto di visione del paesaggio. Il fortilizio di cui oggi restano tracce fu costruito invece nel X secolo dopo Cristo. A volere l?avamposto militare furono dei musulmani guidati da un certo Bomar; all?epoca i saraceni imperversavano in Basilicata. E saraceno è anche il nome del primo nucleo del centro abitato, aggrappato alle pendici della fortezza: la Rabata.
Per raggiungere il castello si utilizza una ripida scalinata a ridosso delle ultime case del paese. Giunti in cima si possono osservare oltre al torrione di avvistamento, parte delle mura perimetrali e un arcone di ingresso.
Il torrione circolare è unito ad un muro in pietra, delimitato dall?altro lato dalla roccia che conduce in cima all?insediamento. Nel muro si aprono due finestre rettangolari e l?arco a tutto sesto leggermente ribassato che dà accesso al cortile, un ambiente rettangolare scoperto, oggi pieno di detriti. Si possono ravvisare almeno due livelli nella struttura della fortezza, anche se l?esistenza di un terzo è più che probabile.
L?opera di costruzione del castello sfruttò nel miglior modo possibile la geomorfologia del sito: la roccia costituisce non solo la base su cui poggia la struttura ma è anche perfettamente raccordata alla muratura. In questo modo venne realizzata una fortezza difficilmente espugnabile sia sul versante del fiume Salandrella che su quello del fiume Basento. Dall?alto del castello è possibile ammirare il paese sottostante così come l?orografia della zona: una successione di altopiani degradanti che genera un anfiteatro di roccia, all?interno del quale è distesa Pietrapertosa. Il paesaggio che si gode dalla sommità della fortezza è aspro e spigoloso ma al tempo stesso suggestivo.
Anche il castello di Pietrapertosa, come altre costruzioni lucane il cui passato è in parte o del tutto avvolto nel mistero, è il teatro di una leggenda popolare. Un giorno, un pastore che si era approssimato al castello, oramai in stato di abbandono, per far pascolare le pecore, udì un?invocazione di soccorso: ?Aiutami! Aiutami, mio signore, sono imprigionata nelle mura della torre!?. L?uomo si spaventò, abbandonò il bestiame e corse verso il paese dove raccontò l?accaduto. I compaesani però non crederono alle sue parole e lo derisero. Deluso, il pastore tornò al monte dove trovò tutte le sue bestie ammazzate.
Il pecoraio, affranto, cominciò a piangere e lamentarsi, quando avvertì nuovamente una richiesta di aiuto. Il pastore a quel punto divenne inviperito: afferrò un bastone e pensando che qualcuno volesse prendersi gioco di lui, colpì violentemente la torre con il legno. Così facendo, provocò un buco dal quale fuoriuscì un?ape luminosissima che volando via esclamò: ?Ah, finalmente! Erano mille anni che non vedevo la luce, da quando il saraceno mi rinchiuse fra le pietre poiché voleva che io non esprimessi alcun desiderio in favore di nessuno?. Poi l?insetto scomparve ed il pastore rimase solo a lamentarsi del bestiame perduto. Stava pensando di non far ritorno dalla moglie per non raccontarle che quella sciagura era stata causata da un?ape, suscitando ilarità e scherno anche da parte sua. A quel punto l?ape ricomparve e consolò il disperato dicendo: ?Ho ucciso le bestie per preoccupare i tuoi eventuali accompagnatori, ma so che sei buono e sarai ricompensato?. Il pastore si addormentò ed il mattino successivo, al risveglio, trovò un sacco colmo d?oro e numerosissimi capi di bestiame.