Einstein liebte den Rummel um seine Person nicht. Zumindest nicht immer. Hin und wieder genoß er es durchaus, sich mit geistreichen Künstlern oder Politikern zu treffen und öffentlich zu zeigen. Und ebenso unterlag er auch gern dem Zauber der Frauen. Zweimal war der geniale Physiker mehr oder weniger unglücklich verheiratet und hatte mehrere Geliebte. Er selbst hielt sich für die Ehe nicht geschaffen und bezeichnete sich als "Einspänner".
Seine erste große Liebe erlebte er im schweizerischen Aarau. Seine Eltern hatten ihn dorthin geschickt, nachdem er aus dem Münchner Luitpold-Gymnasium wegen einer Auseinandersetzung mit seinem Klassenlehrer abgehauen war. In Aarau wohnte er bei einer Familie Winteler, deren Tochter Marie er liebgewann. Doch als er zum Studium nach Zürich umzog, war es rasch vorbei mit seiner "lieben kleinen Sonne" und dem "Engelchen". Denn im Studium lernte er die serbische Physikstudentin Mileva Maric kennen. Er verliebte sich bis über beide Ohren in die drei Jahre ältere Kommilitonin und schrieb ihr glühende Liebesbriefe der Art: "Wenn ich nur bald wieder bei Dir in Zürich sein könnte, mein Schätzchen! Sei tausendmal gegrüßt und kolossal geputzerlinet."
Doch blieb nicht alles eitel Sonnenschein. 1902 brachte Mileva ihr erstes Kind zur Welt, das Lieserl. Zur Entbindung war sie ins Elternhaus gereist, während Einstein seine Stelle im Berner Patentamt antrat. Historiker vermuten, daß Einstein seine Tochter nie gesehen hat und sie zur Adoption freigegeben wurde. Belege hierfür gibt es aber nicht. Sollte es so gewesen sein, so läßt sich auch über die Motivation der Freigabe nur spekulieren. Vielleicht hatte Einstein Sorge, mit einem unehelichen Kind die Stelle am Patentamt nicht zu erhalten. Das Lieserl jedenfalls verschwand und blieb bis heute unauffindbar. Nach der Hochzeit im Januar 1903 bekamen sie noch zwei Kinder. Hans Albert, der später in die USA emigrierte und dort Professor wurde. Der zweite Sohn Eduard wurde psychisch krank und starb in der Heilanstalt Burghölzli in der Schweiz. Etwa acht Jahre nach der Hochzeit entfremdeten sich die beiden Ehepartner zunehmend. Einstein beklagte sich über Eifersucht, später bezeichnete er seine Frau als "unfreundliche humorlose Kreatur" und "sauersten Sauertopf, den es je gab".
In dieser Phase traf Einstein Elsa, eine Cousine ersten und zweiten Grades: Ihre beiden Mütter waren Schwestern und ihre Väter Cousins. Elsa war geschieden und lebte mit ihren beiden Töchtern, Ilse und Margot, in Berlin. Dort verliebten sich die beiden bei einem zufälligen Treffen ineinander. "Ich habe Dich in diesen wenigen Tagen so liebgewonnen, daß ich Dir's kaum sagen kann", gestand er ihr in einem Brief.
Einstein sah zunächst für diese Liaison keine Zukunft, obwohl seine Ehe indes auf einen traurigen Höhepunkt zusteuerte. Im Jahr 1914, kurz nachdem das Paar von Zürich nach Berlin gezogen war, verfaßte Einstein ein "Memorandum", in dem er die Ehe wie ein "loyales geschäftliches Verhältnis" regelte. Hierin verlangte er von Mileva unter anderem: "Du verzichtest auf alle persönlichen Beziehungen zu mir, insoweit deren Aufrechterhaltung aus gesellschaftlichen Gründen nicht unbedingt geboten ist. 1) Du hast weder Zärtlichkeiten von mir zu erwarten, noch irgendwelche Vorwürfe zu machen. 2) Du hast eine an mich gerichtete Rede sofort zu sistieren, wenn ich darum ersuche."
Im Juli 1914 kam dann das unvermeidbare Ende. Mileva reiste mit den Kindern nach Zürich, fünf Jahre später wurde die Ehe geschieden. Bereits seit 1917 wohnte Einstein in der Haberlandstraße 5 Tür an Tür mit Elsa. In der Straße seiner Wohnung befand sich auch das Kaiser-Wilhelm-Institut für Physik, dessen Direktor er war.
Als Sekretärin hatte Einstein Elsas Tochter Ilse angestellt. Es dauerte jedoch nicht lange, bis er für die 20jährige weit mehr empfand als nur Freundschaft. Im Mai 1918 fragte er sie sogar, ob sie seine Frau werden wolle. In ihrer Ratlosigkeit wandte sich Ilse an einen väterlichen Freund, Georg Nicolai: "Albert lehnt jede Entscheidung ab, er ist bereit, mich oder Mama zu heiraten", schrieb sie ihm in einem sehr intimen Brief. Und weiter: "Ich habe ihn sehr lieb, habe die größte Achtung vor ihm als Mensch. . . . Ich habe nie den Wunsch oder die geringste Lust verspürt, ihm körperlich nahe zu sein. Anders bei ihm. . . . Er hat mir selbst einmal zugegeben, wie schwer es ihm fällt, sich zu beherrschen. . . . Helfen Sie mir!"
Ein Antwortbrief ist nicht erhalten, aber Nicolai wird von einer Heirat abgeraten haben, zumal dies zwangsläufig einen Bruch zwischen Mutter und Tochter bedeutet hätte. Damit war die Angelegenheit erledigt, Einstein und Elsa heirateten im Juni 1919.
Im selben Jahr erreichte Einstein auch den Gipfel seines Ruhmes. Im November verkündeten britische Astronomen, sie hätten bei einer Sonnenfinsternis eine Vorhersage der Allgemeinen Relativitätstheorie bestätigt, wonach Himmelskörper wie die Sonne den Raum um sich herum krümmen und Lichtstrahlen dementsprechend auf gebogenen Bahnen um sie herumlaufen müssen.
Von diesem Tage an war Einstein weltberühmt. "Gegenwärtig debattiert jeder Kutscher und jeder Kellner, ob die Relativitätstheorie richtig sei", schrieb er einem Freund. Auf gesellschaftlichen Empfängen war der geniale Wissenschaftler mit dem wirren Haar und den treuen Augen ein umworbener Gast, und die Damen umschwirrten ihn wie die Motten das Licht. Einstein blieb davon nicht unbeeindruckt. Mit Vorliebe lud er Frauen in sein Landhaus in Caputh bei Potsdam ein. Regelmäßiger Gast war eine wohlhabende Witwe namens Toni Mendel. Weitere Affären wurden bekannt, etwa mit Estella Katzenellenbogen, Inhaberin einer Blumenladenkette, und Margarete Lebach, einer hübschen Österreicherin.
Immer wieder kam es mit Elsa zu Eifersuchtsszenen, man sprach sogar von Trennung, wie der Architekt des Sommerhauses, Konrad Wachsmann, später berichtete. Letztlich akzeptierte Elsa aber das Verhalten Ihres Mannes. Später brachte sie ihre Situation einmal so auf den Punkt: "Es ist nicht ideal, die Frau eines Genies zu sein. Das Leben gehört einem nicht selbst. Es scheint allen anderen zu gehören." Sie blieb bei ihm bis zu ihrem Tod im Jahre 1936.