Berget ovanför Båtakåsen. Det är namngivet efter Karl Svensson som ägde Björsgård vilket nu är avstyckat och endast framhuset är kvar. Karl köpte hela berget i slutet av 1930-talet av Bengt i Broen i Heberg vars utmarker det varit. Således är bergets namn ganska nytt. Det bör ha funnits ett äldre namn på berget, men det har i så fall blivit bortglömt. Den norra delen av berget, vilken inte är betad, är bevuxen av asp, sly och en och annan bergtall. Den betade yttre delen exponerar ett säreget kulturlandskap, med trappstegsformade sluttningar mot väster. Mot syd och öster är sluttningen något brantare, men slätare. På avsatserna på västra sidan samlas vatten, och gör sluttningen i princip oframkomlig.
Karl i Björsgård lät bränna ned hela berget 1941. Sedan dess har marken hållits öppen av betande djur, vilket skapat det unika landskapet.
I den sydöstra sluttningen planterades en fruktodling. De gamla fruktträden står till viss del kvar idag.
På toppen av berget finns en ganska välbevarad bronsåldersgrav i form av ett röse med en hällkista. Utsikten härifrån är magnifik, något som redan våra förfäder tycks ha uppskattat. I närheten finns lämningar av flera gravrösen. Rösena är idag platta, inte kulliga som man gärna tänker sig. Anledningen är att rösena genom åren skattats på sten för olika ändamål. Trots detta är de väl synliga än idag, efter nästan 3000 år.
Under andra världskriget var det en del militär aktivitet på Grimsholmen. LV6 hade stora kanoner och strålkastare på plats. Olyckligtvis fanns det inte så många flickor på bygden för soldatpojkarna.
I mitten av 1940-talet stod försvarsminister Fucht på Kalsaberg och talade för bygdens folk om planer på att anlägga ett permanent skjutfält på Grimsholmen. Bönderna som ägde marken ville gärna sälja till staten, men Karl Isaksson lyckades samla en stark opinion mot planerna, och en protestlista sändes in. När kriget till sist tog slut lades ärendet ned, och det blev aldrig något skjutfält. I efterhand blev markägarna rätt nöjda med det resultatet, eftersom man strax efteråt började sälja tomtmark i stället. Militären har ändå med ojämna mellanrum haft övningar på Grimsholmen.