Il castello omonimo
Il castello di Paninsacco che spesso ricorre nella storia delle lotte fra i comuni, le signorie e i guelfi e i ghibellini, fu fabbricato, secondo una versione di Paolo Beni, suffragata da Galeazzo Trissino, da Paninsacco Trissino, figlio di Olderico III nell'anno 1212. In tale anno è sorto anche, sempre secondo la versione del Beni, il tempio di Santa Maria.
Altri sostengono invece che il Trissino abbia ricostruito in tale data un antico castello entro le cui mura eresse il piccolo tempio. Ciò farebbe pensare che i primi abitatori della Valle dell'Agno, che furono gli stessi delle altre regioni del Vicentino, abbiano avuto nel colle un luogo di difesa e di offesa, una sicura fortezza per le continue e aspre guerriglie.
E' certo comunque che il castello è stato per secoli il dominio dei Trissino le cui origini sono molto incerte e per le quali la storia registra numerose versioni. La loro comparsa sicura nel territorio vicentino risale al 1186.
Oltre a questo di Paninsacco, il più famoso fra tutti, altri castelli sorsero sui colli circostanti Valdagno, come quello di Castelvecchio (detto un tempo Castelnero) e di "Castello" che oggi dà il nome ad una grossa contrada a ovest di Valdagno.
Non è possibile valutare appieno l'importanza storica del castello di Paninsacco, se si trascura di fare una menzione alla nobile famiglia dei Trissino che comandò nel territorio di Valdagno, con delle interruzioni, dalla fine del XII secolo fino al tempo in cui esso passò sotto il dominio diretto della Repubblica di Venezia, cioè fino all'anno 1516.
Abbiamo detto con delle interruzioni, perché, a più riprese, Valdagno passò, per vicende d'armi, dalle mani dei Trissino in quelle di altri feudatari e cioè vicentini, veronesi e padovani. Per primi se ne impadronirono i vicentini nel 1260 col Podestà Guido Bazelero di Bologna, in quella che i cronisti del tempo chiamarono la "Guerra di Valdagno".
Vicenza, dopo questa guerra, rimase signora del paese per molti anni. I Trissino infatti nel 1266 - con l'aiuto degli Scaligeri di Verona, anch'essi ghibellini e perciò nemici di Vicenza che era guelfa - riconquistarono Valdagno e il castello di Paninsacco, loro principale baluardo.
Un'altra interruzione del dominio dei Trissino, della durata questa di circa 50 anni, ebbe inizio verso il 1291, quando Vicenza, passata sotto il potere di Padova che era in guerra contro gli Scaligeri, amici dei Trissino, strappò a questi il territorio di Valdagno e lo conservò fino al 1340.