La leggenda vuole che sia stato costruito in una notte dal diavolo che strinse un patto con il banchiere Georg Fugger (discendente dalla potente famiglia dei banchieri di Augusta e marito della nobile trentina Elena Madruzzo). I genitori della futura moglie avrebbero concesso le nozze solo se avesse disposto di una sontuosa dimora degna dei Madruzzo.
Il banchiere innamorato e disperato decise di vendere l’anima al diavolo in cambio di un palazzo signorile degno della famiglia Madruzzo.
Nelle clausole del contratto il Fugger ne inserì una che gli salvò la vita. Una volta terminato il palazzo il diavolo avrebbe dovuto anche raccogliere tutti i chicchi di riso sparsi al suo interno. Li raccolse tutti tranne uno che era nascosto sotto un crocefisso. Il diavolo adirato sprofondò nell’inferno e una grande fiamma si alzò annerendo un muro del palazzo Galasso, questo muro annerito è tuttora visibile.