Lungo il versante settentrionale della Val Pusteria sopra Panzendorf nei pressi di Sillian si erge una collina in cima alla quale sorge un castello di vaste dimensioni. Costruito in posizione strategica, da qui si gode di una bellissima vista sulla Val Pusteria nonché sulla Valle di Kartitsch che si estende di fronte. È accessibile attraverso una stradina come anche diverse passeggiate. Torri rettangolari e rotondi, un mastio impressionante, un muro aggiuntivo di protezione come anche 38 bombardiere caratterizzano l'edificio.

Notevoli sono anche i pali di protezione che impedirono al nemico di appoggiare delle scale al muro e di arrampicarsi sul muro. Il complesso risale a diversi periodi di tempo, un fatto che risulta in una struttura poco omogenea e irregolare. In generale può essere diviso in tre complessi, il più antico dei quali risale al XIII secolo. Centro di Castel Heinfels è il mastio alto 20 m circa, al quale è stato annesso il palazzo. La parte occidentale del castello medioevale è il complesso più grande e allo stesso tempo il miglior conservato. Il gioiello è una sala con decorazione a stucco che risale al XVIII secolo, la cosiddetta Sala dei Cavalieri.

Ancora qualche fatto storico in merito al castello: nel XIII secolo il castello fu nelle mani dei Conti di Gorizia, che vi costruissero una base militare. Dopo l'estinzione di questa famiglia passò nelle mani dell'Imperatore Massimiliano I che impegnò il castello e la corte al Vescovo di Bressanone per la mancanza di denaro. I Nobili di Wolkenstein-Trostburg seguirono come proprietari. Nel 1613 un incendio devastante distrusse la maggior parte di Heinfels. Dopo fu assegnato allo stato che lo rivendette alle località appartenenti alla corte regionale Heinfels. Dal 1977 le rovine di Castel Heinfels sono in proprietà privata.