Mõis (Kölljall) rajati Buxhoevdenite läänivalduse keskusena ja temast on esimesed teated aastast 1509, ent see piirkond oli Buxhoevdenite käes juba 13. sajandil. Kõljala küla (Gölliall) on esimest korda mainitud 1250. aastal. Hilisematel sajanditel oli Kõljala mõis pikemalt seotud Wulfide, von Pollide ja von Osten-Sackenitega, ent alates 1840. aastast kuni mõisa riigistamiseni kuulus Kõljala 28 adramaa suurune mõis taas Buxhoevdenitele. Saaremaa mõisad olid algul arhailisemad

Saaremaalgi levis 17. sajandil nn vanabalti planeeringuga mõisahoone, kus ühekorruselise ehitise keskel asus massiivne mantelkorsten. Selle alaosa oli väike kiviseintega ruum, mille seinad ahenesid ülalpool väikeseks korstnaks. Tuli tehti otse selle ruumi põrandale.

Lihtsamad ja tagasihoidlikumad vanabalti planeeringuga mõisahooned eristusid talumajadest ainult klaasitud akende ning katuse keskosas asuva võimsa korstnapitsi poolest. Talumajades tollal korstnaid polnud. Saaremaal oli enamik mõisaid lihtsamad ja arhailisemad, kuna mõisnikud ei olnud väga jõukad. Arvatakse, et vähemalt kaks Saaremaa mõisahoonet – Kõljala ja Loona – sisaldavad 17. sajandist pärit ehitusosi. Mõlemad mõisad ehitati 18.–19. sajandil ümber.

Saaremaa dolomiiti kasutati juba sajandeid tagasi

1850-ndad aastad olid historismiajastu algus Eestis. Klassitsism taandus ning esiplaanile tõusid vanad stiilid n-ö uues kuues (neogootika, neobarokk jne). Saaremaal lisati tihti varasemale ühekorruselisele lihtsale kivihoonele sel ajal kunstipärane keskosa rikkalike arhitektuuriliste detailidega. Nii tehti ka Kõljala mõisas. Teine historismiajastu omapära oli kohaliku dolomiidi oskuslik kasutamine ehituses. Kõljala ja Paadla mõisahooned on siiani meisterliku kiviraiduritöö musternäidised (pilkupüüdvad ehisvaasid jm). Kõljalas on need ka säilinud. Kauneist kolme kaaravaga väravaehitistest on aga praegu alles vaid üks.

Kõljala mõis oli uhkelt hoonestatud juba 17. sajandil. Praeguse härrastemaja põhiosa pärineb 18. sajandi lõpust, kuid neljasambaline portikus selle ees 19. sajandi keskelt.

1921–1955 asus mõisas põllutöökool ja 1980. aasta lõpul renoveeriti maja Pihtla kolhoosi kontoriks. Praegu on hoone eravalduses. Soomlastest omanikud on sinna kogunud vanavara ja suvel on mõis avatud kõigile huvilistele. Omanikud said oma valdusse ka mõisa vana sepikoja, mis praegu on üsna armetus seisus ja vajab kordategemist. Pihtla vallavanema sõnul oleks mõttekas sepikoda restaureerida nii, et seal võiks ka töötada, saaks näiteks hobuseid rautada. Omanikul on seal hobusetall. Sepikoja ümber olevale krundile passiks kaarikusõidurada. Praegu on näha, et sellele on mõeldudki, sest ehitusmaterjali on varutud ja sepikoja ümbrust puhastatud.

Kõljala mõisas on elanud kuulsad mehed

1677. aastal ostis Kõljala mõisa Saaremaa kuberner, ülemmaakohtu president, maanõunik Jürgen von der Osten-Sacken, kelle suguvõsa käes oli Kõljala mõis üle poolteise sajandi. Kõljalas sündinud vendadest Ludwig Christophist (1737–1813) ja Lorenz Gottlieb von der Osten-Sackenist (1738–1795) said järjepanu aadlimarssalid. Nende vend Karl Magnus oli vene suurvürsti Konstantin Pavlovit?i kasvataja ning saanud temalt kingiks 400-köitelise, peamiselt 17.–18. sajandi klassikute teoseid sisaldava raamatukogu. See kogu oli Kõljalas veel 19. sajandi lõpul.

Mõisamaja ees oli varem kaks Karl XI kingituseks saadud messingkahurit. Kõljala mõisa viimane omanik oli õigusteaduse kandidaat, maanõunik, aadlikonvendi saadik, aurahukohtunik ja vaestekohtu president, hiljem Kuressaare linnavolinik Konstantin Friedrich Wilhelm von Buxhoevden (1865–1922). Tema isa asutas Saaremaa aurulaevaseltsi Osilia.