Heinrich Zimmern besucht zunächst die Grundschule in Graben nahe Karlsruhe und wechselte im Alter von 12 Jahren auf das Gymnasium in Saarbrücken, wo er 1881 die Reifeprüfung ablegte. Von 1881 bis 1883 studierte er Theologie und semitischen Sprachen mit der Spezialisierung auf das Assyrische in Leipzig, Berlin und wieder Leipzig. Als erster Schüler Friedrich Delitzschs in Leipzig (und später dessen Nachfolger auf dem Lehrstuhl) gehörte zu den Mitbegründern der Assyriologie in Deutschland und der "Leipziger Schule". Auch war maßgeblich an der Gründung des semitistischen Institutes im Jahre 1900 beteiligt. Mit ihm nimmt wird die große Reihe und die Blüte der Leipziger Altorientalistik fortgesetzt.

1883 legte er in Karlsruhe die erste theologische Prüfung ab. Im Jahre 1885 promovierte er an der Universität Leipzig mit der Dissertation Babylonische Bußpsalmen umschrieben, übersetzt und erklärt zum Dr. phil. Heinrich Zimmern setzte seine Keilschriftstudien an der Universität Erlangen fort, um, wie er in einem Lebenslauf schrieb, „sich der wahrheitsgemäßen Erforschung des alttestamentlichen Geschichtsverlaufes“ zu widmen. 1887 trat er eine Stelle als wissenschaftlicher Hilfsarbeiter in der Bibliothek der Universität Strassburg an. 1889 habilitierte er sich an der Universität Königsberg für das Fach semitische Philologie und 1890 wechselte er als Privatdozent an die Universität Halle. 1894 wurde Zimmern als außerordentlicher Professor für Assyriologie nach Leipzig berufen. 1899 nahm er einen Ruf nach Breslau als Ordinarius für semitische Philologie an. Schon im nächsten Jahr wurde er schließlich als ordentlicher Professor für orientalische Sprachen an die Universität Leipzig berufen. Zimmern verfasste ein dreibändiges Werk Zur Kenntnis der babylonischen Religion, in dem er vor allem auf die Inhalte von Ritualtafeln für Wahrsager, Beschwörer und Sänger einging (1896-1901, Nachdruck 1976). Er war Mitherausgeber des hebräischen und aramäischen Handwörterbuchs und verfasste zahlreiche Beiträge der Enzyklopedia Biblica.

Zimmerns Verdienst um die Hethitologie ist weniger offenkundig, da er meist nur als Assyriologe wahrgenommen wird. Aber schon kurz nach der erfolgreichen Entschlüsselung des Hethitischen durch Bedrich Hrozny las er 1918 eine Einführung in das Hethitische für seine zahlreichen Schüler. Auch förderte er den bereits bei Brugmann promovierten Indogermanisten Johannes Friedrich sowohl was dessen Keilschrift- und Akkadischkenntnisse betrifft wie auch dessen Unterbringung im akademischen Betrieb der Leipziger Universität. Auch belegen die Korrespondenzen mit dem Schweizer Assyriologen  und Hethitologen Emil Forrer, dass Zimmern stets für Diskussion und Fragestellungen zur Interpretation hethitischer Texte im Lichte der altorientalischen Überlieferung zur Verfügung stand.