Någon gång i slutet på 1700-talet byggdes Ullaberg. Dess tidiga historia är inte så väl dokumenterad. Man tror att huset har tjänstgjort som gruvfogdebostad. Omkring 1870 var här gruv- och lantarbetarbostad. Cirka 30 personer bodde i huset. Senare stod huset och förföll. I mitten av 1930-talet skänkte ägarna huset till hembygdsföreningen och den kyrkliga syföreningen. Efter en mycket radikal renovering blev Ullaberg hembygdsgård.
Sedan 1948 har Ullaberg varit privatbostad. Efter ägarbyte 1978 genomfördes en modernisering. Taket lades till stor del om och huset fick nya el-, vatten- och avloppsledningar. Något senare tillkom ett kallgarage i passande stil.
Uppvärmning sker med direktverkande el. Men det finns tre fungerande rökgångar för vedeldning i två braskaminer och en rörspis.

Ullaberg är ett värdefullt kulturarv. När begreppet byggnadsminne infördes var Ullaberg ett av de första hus i Södermanlands län som fick denna utmärkelse. Det är framför allt husets ståtliga yttre som tilldrar sig mångas uppmärksamhet. Invändigt bär Ullaberg spår av den mångskiftande historien. Man måste vara varsam vid renoveringar. De arbeten som utförts på senare tid har gjorts enligt råd från antikvarisk expertis. Sådana råd erhålls gratis från Länsmuseet. Exempelvis är fönstren enkla fönster i gammal stil (med innanfönster). De renoverades för några år sedan.

Ullabergs trädgård är ganska vildvuxen och besöks av bl.a. hare, rådjur och älg. Men trots det är blomprakten överväldigande framför allt av gammeldags perenner som passar till husets stil. Tyvärr lyckas inte frukt- eller grönsaksodling så bra. Däremot får vinbärsbuskarna vara i fred. Efter 25 års experimenterande har trädgården anpassats efter både människors och vilda djurs behov.