1466. aastal esmamainitud Kiltsi mõisa (saksa k Schloß Aß) eestikeelne nimi pärineb ta keskaegsetelt omanikelt von Gilsentelt. Mõis oli tollal välja ehitatud kivist vasallilinnusena. Linnusest on hilisema mõisahoone sees säilinud üks haakpüssidele mõeldud laskeavadega ümartorni ruum, samuti hulk esimese korruse müüre. On teada, et linnusel ei olnud sisehoovi. Kompleksi kuulus ka jõge paisutanud vesiveski, mis paiknes arvatavasti hilisema neogooti stiilis mõisa vesiveski kohal (kaasajal varemeis). Linnus purustati Liivi sõjas, mil 7. veebruaril 1558 toimus linnusesse varjunute ning Vene vägede vahel tõsine lahing.

17. sajandil kuulus mõis von Uexküllidele, 18. sajandil aga järgemööda von Zoegedele, von Rosenitele ja von Benckendorffidele. Von Benckendorffide ajal ehitati vasallilinnuse varemed ümber esinduslikuks hilisbarokseks peahooneks, mis valmis 1790. aastal. On ka arvatud, et mõisahoone sisaldab 17. sajandi ehitusosi, kuid sellele pole senini kinnitust leitud.

Mõisa peahoone on esiväljaku poole pööratud otsaga. Hoone fassaadinurkades on kuppelkatustega ümartornid (üks neist pärineb kindlalt keskajast) ning tagumistes nurkades neljatahulised tornid. Kolme akna laiusel fassaadiosal — vestibüülil — on lame kolmnurkfrontoon. Frontoonil on tekst "Gebaut anno 1292 und renovirt 1790" (ehitatud 1292 ja renoveeritud 1790). 1292. aasta on arvatavasti küll veidi üle pakutud, sest vasallilinnuse säilinud osi hinnatakse pärinevat 15. sajandist. Kiltsi mõisa teevad Eestis ainulaadseks peahoone esist väljakut ääristavad kaarjad tiibhooned — ait ja kõrvalhäärber —, mis on kujundatud kaaristuna.

1801. aastal ostis mõisa hilisem maailmakuulus meresõitja ja maadeavastaja Adam Johann von Krustenstern (1770-1846), kes elas seal oma viimased eluaastad. Ta juhtis 1803-06 esimest Vene ümbermaailmareisi ning koostas mitmeid tolle aja parimaid merekaarte, sh täpse Lõunamere atlase. Adam Johann von Krusenstern on maetud Tallinna Toomkirikusse.

Mõisa viimane võõrandamiseelne omanik oli Alfred von Uexküll-Güldenbandt. Alates 1920. aastast asub mõisahoones kool. 1990test aastatest alates on mõisat restaureeritud, seal on avatud ka muuseumituba, mis muuhulgas kajastab ka Adam Johann von Krusensterni elu ja tegevust. Mõisahoonet on 2000-04 põhjalikult restaureeritud nii seest kui ka väljast. Kontakt (muuseumituba): tel. 325 3411

Ajaloolise jaotuse järgi Virumaale Väike-Maarja kihelkonda kuulunud mõis jääb kaasajal Lääne-Virumaale Väike-Maarja valla territooriumile.