Si è soliti identificare il castello con quello di Alsuca, espugnato nel 590, secondo quanto ha tramandato lo storico dei Longobardi, Paolo Diacono.
Castel Telvana svolse un importante ruolo strategico sulla via militare romana, la Claudia Augusta Altinante, che si suppone passasse a mezza costa, (Telve di Sopra Torcegno).
Il nucleo primitivo (XIII sec.), appoggiato sulla roccia sommitale del rilievo, si raggruppa attorno a una singolare torre di vedetta quadrata: appena 5 metri per lato, tocca i 26 metri di altezza.
Interessante la sua angolazione analoga a quella della rocca superiore di Arco: le diagonali, infatti, sono una parallela e l´altra perpendicolare alla direzione della valle.
L´accorgimento, qui, è per sfruttare al massimo la visibilità.
Due ordini di cortine, ora mozzate, proteggono la residenza baronale; una, alta, fungeva da appoggio alla guarnigione; l´altra, più bassa, era una postazione per le batterie di difesa.
Il muro, che raggiunge spessori notevolissimi, reca sul coronamento labili resti della primitiva merlatura.
Accanto al primo grande cortile quadrilatero, si apre verso la valle un secondo recinto.