Wir befinden uns am Schloss von Obergimpern, es ist in Privatbesitz, das betreten des Hofes ist nicht gestattet, die Anlage kann nicht besichtigt werden.
Die Geschichte der Ortsherrschaft reicht weitaus weiter zurück, als der Schlossbau, welcher aus dem 18. Jhd. stammt. Drehen wir uns um, und schauen in Richtung Nordwesten, links am Baum vorbei, so lag auf dem großen Areal hinter dem Gebäude vor uns, ziemlich genau an der Stelle, wo heute der Kindergarten steht, eine Wasserburg, deren Wassergraben vom Krebsbach, welcher von Richtung Rappenau nach Neckarbischofsheim fließt, gespeist wurde. Genaue Beschreibungen oder Abbildungen gibt es zu dieser Wasserburg nicht, ebenso wenig, wann oder warum sie aufgegeben wurde. Auf dem Areal wurde noch bis Mitte des 19. Jhd. die Schlossgärtnerei betrieben.
Das heutige Schloss geht auf den Wirtschaftshof der Wasserburg zurück, der südöstlich auf einer Anhöhe lag. 1740 wird das Hauptgebäude als zweistöckiges wohlgebautes Haus mit Gewölbekellern und umliegenden Stallungen und Scheunen genannt, welches sicher bereits unter der Ortsherrschaft derer von Helmstadt, oder früher, erbaut wurde.
Mit aussterben der Obergimperner Linie derer von Helmstadt 1685, wurde das Lehen Obergimpern von der Kurpfalz an die Freiherren von Yrsch vergeben, deren Nachfahren noch heute im Besitz des Schlosses inkl. Zubehör sind.
Die Freiherren von Yrsch lebten überwiegend in Mannheim, bei der Residenz der Kurpfalz, wo sie höhere Ämter begleiteten. Auf dem Hofgut waren meist Verwalter eingesetzt. Freiherr Johann Carl von Yrsch ließ aber auf dem Eulenberg, westlich von Obergimpern, im 18. Jhd. ein Hofgut errichten, bei der Aufteilung auf seine Söhne fiel der Ort Obergimpern mit dem Amtmannsitz an seinen Sohn Johann Nepomuk von Yrsch, der das ehem. Verwalterhaus, inzwischen Schloss genannt, durch einen Anbau erheblich vergrößerte.
Schaut man seitlich auf das Schloss, so kann man drei Eingänge zu drei relativ gleichgroßen Gewölbekellern erkennen, die quer zum Schloss verlaufen. Das ehemalige Gutshaus entsprach im Grundriss ca. der Größe des ersten Gewölbekellers, also ca. einem Drittel der heutigen Größe. Mit der Erweiterung unter Johann Nepomuk erreichte das Schloss die heutige Grundrissgröße.
1778 wurde die Residenz der Kurpfalz von Mannheim nach München verlegt, in diesem Zuge wurde auch der Amtsträger Johann Nepomuk nach München abberufen, so dass das frisch ausgebaute Schloss wieder dem Verfall preisgegeben wurde. 1792 wurde der Erbauer vom Kurfürsten Carl Theodor in den Grafenstand erhoben.
1862 nahm sein Enkel, Graf Sigmund August Carl von Yrsch, Obergimpern als Altersruhesitz. In diesem Zuge wurde das Schloss im Stil des Klassizismus renoviert, es wurde aufgestockt, erhielt ein Mezzanin, ein Halbgeschoss, bzw. Zwischengeschoss zur Unterbringung Bediensteter, sowie ein sehr flaches Walmdach. Die geplanten Türmchen wurden jedoch nicht realisiert.
Über die Erbtochter Luitgard von Yrsch kam das Schloss durch Heirat mit Götz von Bülow an die Familie von Bülow, einer Linie des Mecklenburgischen Uradels, welchem auch Loriot (Vicco von Bülow) und der Schauspieler Johann von Bülow entstammt, in deren Besitz das Schloss bis heute ist.
Den letzten größeren Umbau, bzw. Renovierung wurde in den 1960er Jahren durchgeführt, hier wurde das Mezzanin wieder entfernt um eine größere Dachneigung zu erhalten, dadurch erhielt das Schloss sein heutiges Aussehen. Seit 1991 wird das Schloss dauerhaft von der Eigentümerfamilien bewohnt, davor diente es meist nur als Sommersitz, während man die restliche Zeit in der Residenzstadt München lebte.