Er wordt aangenomen dat moderne mensen afkomstig zijn uit de kloofvallei in Oost-Afrika, en naast fossiele hominide overblijfselen hebben archeologen de oudste menselijke nederzetting van Afrika in Tanzania ontdekt.
Vanaf rond het eerste millennium CE werd de regio bewoond door Bantu-sprekende volkeren die vanuit het westen en noorden migreerden. De kusthaven van Kilwa werd rond 800 CE gesticht door Arabische handelaren, en Perzen vestigden zich eveneens in Pemba en Zanzibar. Tegen 1200 CE had de kenmerkende mix van Arabieren, Perzen en Afrikanen zich ontwikkeld tot de Swahili-cultuur.
Vasco da Gama voer in 1498 de kust op en de kustzone viel al snel onder de controle van de Portugezen. Tegen het begin van de 18e eeuw was Zanzibar een centrum geworden voor de Omani Arabische slavenhandel.
In het midden van de jaren 1880 begon de Duitse Carl Peters de regio te verkennen en tegen 1891 was de kolonie van Duits Oost-Afrika opgericht. In 1890, na zijn campagne om de slavenhandel in de regio te beëindigen, maakte Groot-Brittannië Zanzibar tot een protectoraat.
Duits Oost-Afrika kreeg na de Eerste Wereldoorlog een Brits mandaat en werd omgedoopt tot Tanganyika. De Tanganyika African National Union, TANU, kwam samen om de Britse overheersing in 1954 tegen te gaan - ze bereikten intern zelfbestuur in 1958 en onafhankelijkheid op 9 december 1961.
TANU's leider Julius Nyerere werd premier en toen een republiek op 9 december 1962 werd uitgeroepen, werd hij president. Nyerere geïntroduceerd ujamma, een vorm van Afrikaans socialisme gebaseerd op coöperatieve landbouw.
Zanzibar werd onafhankelijk op 10 december 1963 en fuseerde op 26 april 1964 met Tanganyika tot de Verenigde Republiek Tanzania.
Tijdens het bewind van Nyerere, de Chama Cha Mapinduzi (Revolutionaire Staatspartij) werd uitgeroepen tot de enige legale politieke partij in Tanzania. Nyerere trok zich in 1985 terug uit het presidentschap en in 1992 werd de grondwet gewijzigd om democratie met meerdere partijen mogelijk te maken.