​
De geschiedenis van kasteel Vosbergen verteld (en onderzocht) door mevrouw G.A. Kamerlingh Onnes – barones Van Dedem.
In 1936 erfde mijn vader Vosbergen. Wij woonden toen in Driebergen en verhuisden meteen naar Heerde. Het huis zowel als het landgoed waren zeer verwaarloosd en mijn vader, die de oorlog zag aankomen, voelde niets voor een restauratie. Als grap hebben we er met zijn allen weekje gekampeerd. Daarna kwam er van allerlei volk in: in de mobilisatie Nederlandse soldaten en tijdens de bezetting vele Duitse militairen. Padvinders mochten er ook gebruik van maken. Na de oorlog zag mijn vader nog minder in een restauratie. Er kwam een echtpaar in, dat van Monumentenzorg wat geld kreeg om ramen en vloeren te herstellen om er vervolgens een “kunstcentrum” in te vestigen. Dit bleef zo van 1952 tot 1970. Toen kwam er een boerderij vrij, waarin zij hun centrum konden voortzetten, terwijl mijn man en ik de hint kregen om nu nog te proberen te restaureren, omdat in de toekomst de zeer royale subsidies wel eens konden opdrogen.
​
Vosbergen bestaat uit 4 vierkantjes waarvan (bouwkundig) vierkantje 1 het oudste is, waarna wij kunnen gissen naar 2 en 3. Vierkantje 4 is pas na het zogenaamde rampjaar (1672) gebouwd, zoals wij tijdens de restauratie op een steen vonden.
Het goed Vosbergen is ontstaan uit een omvangrijk bezit aan landerijen o.a. in Heerde, in handen van Peter en Geerlich Doys, magistraten uit Deventer. Geerlich’s Heerder bezittingen kwamen bij testament in handen van zijn achterkleindochter en haar man Gerrit Krijt. Het is waarschijnlijk pas hun zoon, die het huis bouwde, dat het jaartal 1623 in de gevel draagt. Op een kaart van Jacob van Geelkercken uit 1636 staat het huis voor het eerst afgebeeld. De Krijts, die het Katholieke geloof bleven aanhangen, waren daardoor van openbare ambten uitgesloten. Het is mogelijk dat dit de reden was om naast de reeds bestaande watermolen een tweede molen te bouwen. De hoge kosten van deze bouw konden door de financiële ellende van het Rampjaar (1672) niet meteen “ingehaald” worden. De molens maakten papier uit oude kleren (lompen).
​
In 1715 kocht Alexander van Dedem Vosbergen met bijbehorende landerijen. Alexander, telg uit een riddermatig geslacht, zat vanaf 1681 in het stadsbestuur van Harderwijk. Alexander hielp zijn oudste zoon Gijsbert Frederik om ambtsjonker van Heerde te worden door in 1717 Vosbergen aan hem over te dragen, waardoor zijn zoon tevens gegoed genoeg werd om “wachtend” lid van de Ridderschap van de Veluwe te worden. Zijn oudste zoon Alexander werd als ambstjonker in 1765 toegelaten tot de Ridderschap van de Veluwe. In 1798 sterft hij ongehuwd. Zijn broer Jan Albert, die militair was, erfde Vosbergen. Na de dood van zijn broer vestigt hij zich met zijn zoon Gijsbert Frederik Arnold Willem op Vosbergen.
Na zijn ongehuwde overlijden komt Vosbergen in handen van zijn zuster Catharina (1778-1851), getrouwd met Boldewijn Sloet van Hagensdorp. Aangezien er vanaf 1772 geen huisvrouw meer op Vosbergen had gewoond en e.e.a. qua stijl uit de jaren '40 van de 18e eeuw zou kunnen stammen, lijkt het waarschijnlijk dat dit echtpaar nogal wat gemoderniseerd heeft. Na het overlijden van hun grootvader Sloet probeerden de kinderen uit het huwelijk van zijn jongste dochter (met man Van Dedem) het huis te behouden en er ’s zomers te komen. Het waren Gijsbert Willem Karel van Dedem, Elisabeth Lecky – van Dedem en Pauline de Beaufort – van Dedem. Gijsbert was na een loopbaan als advocaat in Semarang, burgemeester van Hoorn geworden na zijn terugkeer, lid van de 2e Kamer en tenslotte Minister van Koloniën in het kabinet van Van Tienhoven. Na de val van dit kabinet onderneemt hij een reis naar Brits-Indië en overlijdt daar. Zijn vrienden laten een graf ontwerpen door de bekende bouwmeester Cuypers. Het graf bleek een paar jaar geleden nog steeds in goede staat te zijn op het kerkhof van Calcutta.
Gijsberts zusters zijn beide hofdames geweest van Koningin Sophie, de eerste vrouw van Koning Willem III. Vele jaren later wordt Pauline de Beaufort grootmeesteres van Koniging Emma, de tweede vrouw van Willem III. Ter nagedachtenis aan hun broer brengen de zusters een plaquette aan in de Hervormde kerk van Heerde.