Nelle immediate vicinanze del castello di Sant'Angelo a Scala si trova l'antico palazzo Carafa realizzato con ogni probabilità fu realizzato nel XVII secolo come una delle dimore fortificate della famiglia da cui esso prende il nome.
Come gran parte degli edifici nobiliari dell'epoca esso è situato al centro di un grosso giardino terrazzato e si elevava su due piani con due ali simmetriche con corte centrale.
Il palazzo è appartenuto alla famiglia Carafa per quasi cento anni e ha dato i natali, nel 1476, a Gian Pietro Carafa, il futuro Papa Paolo IV passato alla storia come “intemerato punitore di ogni male e acerrimo campione della fede cattolica”.