De Karabiner 98k was de laatste in een lange rij geweren die door Mauser voor het Duitse leger was ontworpen. De oorsprong van de Karabiner 98k, die zijn oorsprong vindt in het Lebel Model 1886, was het meest direct afstammeling van de Gewehr 98 (Model 1898), die voor het eerst een intern, metalen tijdschrift met vijf cartridges introduceerde. In 1923 werd de Karabiner 98b geïntroduceerd als het primaire geweer voor het Duitse leger na de Eerste Wereldoorlog. Omdat het Verdrag van Versailles de Duitsers verbood geweren te produceren, werd de Karabiner 98b een karabijn genoemd, ondanks het feit dat het in wezen een verbeterde Gewehr 98 was.
In 1935 verhuisde Mauser om de Karabiner 98b te upgraden door verschillende componenten te wijzigen en de totale lengte te verkorten. Het resultaat was de Karabiner 98 Kurz (Short Carbine Model 1898), beter bekend als de Karabiner 98k (Kar98k). Net als zijn voorgangers was de Kar98k een schietgeweer dat de snelheid van het vuur beperkt en relatief onhandig was. Een verandering was de verschuiving naar het gebruik van gelamineerde voorraden in plaats van afzonderlijke stukken hout, omdat testen hadden aangetoond dat multiplexlaminaten beter bestand waren tegen kromtrekken. In dienst getreden in 1935, werden meer dan 14 miljoen Kar98ks geproduceerd tegen het einde van de Tweede Wereldoorlog.
De Karabiner 98k zag dienst in alle theaters van de Tweede Wereldoorlog waarbij het Duitse leger betrokken was, zoals Europa, Afrika en Scandinavië. Hoewel de geallieerden op weg waren om semi-automatische geweren te gebruiken, zoals de M1 Garand, behield de Wehrmacht de bout-actie Kar98k met zijn kleine vijfronde tijdschrift. Dit was grotendeels te wijten aan hun tactische doctrine die het lichte machinegeweer benadrukte als de basis van de vuurkracht van een ploeg. Bovendien gaven de Duitsers er vaak de voorkeur aan om machinepistolen, zoals de MP40, te gebruiken in gevechten of stadsoorlogvoering.
In het laatste anderhalf jaar van de oorlog begon de Wehrmacht de Kar98k af te bouwen ten gunste van het nieuwe aanvalsgeweer Sturmgewehr 44 (StG44). Hoewel het nieuwe wapen effectief was, werd het nooit in voldoende aantallen geproduceerd en de Kar98k bleef het primaire Duitse infanteriegeweer tot het einde van de vijandelijkheden. Bovendien zag het ontwerp ook dienst bij het Rode Leger dat licenties kocht om ze vóór de oorlog te vervaardigen. Hoewel er maar weinig werden geproduceerd in de Sovjetunie, werden gevangen Kar98ks veel gebruikt door het Rode Leger tijdens zijn vroege oorlogstekort.
Na de Tweede Wereldoorlog werden miljoenen Kar98ks gevangen genomen door de geallieerden. In het Westen werden velen gegeven om naties te herbouwen om hun militairen te bewapenen. Frankrijk en Noorwegen namen het wapen en de fabrieken over in België, Tsjechoslowakije en Joegoslavië begonnen hun eigen versies van het geweer te produceren. Die Duitse wapens die door de Sovjetunie waren meegenomen, werden bewaard in geval van een toekomstige oorlog met de NAVO. Na verloop van tijd werden veel van deze gegeven aan ontluikende communistische bewegingen over de hele wereld. Veel van deze kwamen in Vietnam terecht en werden door de Noord-Vietnamezen tegen de Verenigde Staten gebruikt tijdens de Vietnam-oorlog.
Elders diende de Kar98k ironisch genoeg met de Joodse Haganah en later de Israëlische Defensietroepen in de late jaren 1940 en 1950. Die wapens die werden verkregen uit gevangen Duitse voorraden hadden alle nazi-iconografie verwijderd en vervangen door IDF en Hebreeuwse markeringen. De IDF kocht ook grote voorraden Tsjechische en Belgische geproduceerde versies van het geweer. In de jaren negentig werden de wapens opnieuw ingezet tijdens de conflicten in voormalig Joegoslavië. Hoewel het tegenwoordig niet meer door militairen wordt gebruikt, is de Kar98k populair bij schutters en verzamelaars.