Oorspronkelijk betekent het Hebreeuwse woord rabbi ‘mijn meester’ of ‘mijn leraar’ en was een informele eretitel. Een rabbi was dus niet vanaf het begin per definitie een rabbijn.
Het woord rabbijn, een moderne term, staat voor iemand met het ambt van Toraleraar, meestal als leider van een joodse gemeente of als rechter. Vóór 70 heeft het woord rabbi (soms ook ribbi of rebbi) nooit deze technische betekenis en ook lang daarna kon het nog in niet-technische zin als eretitel gebruikt worden (met name in grafschriften). Palestijnse rabbijnen heetten Rabbi, Babylonische werden Rav (meester) genoemd. Het rabbijnse jodendom is pas ontstaan na de verwoesting van de tempel in Jeruzalem in 70 n. C. en als reactie op die verwoesting (Jochanan ben Zakkai). De rabbijnse beweging, die in de decennia na 70 geleidelijk aan vorm begint te krijgen, concentreert zich op de studie en ontwikkeling van de halacha en op uitleg van de Tenach als geheel. Rabbijnen zijn dus primair halachische experts.De rabbijnse scholen ontwikkelden zich gaandeweg tot elitaire instituten, dikwijls op grote afstand van het gewone joodse volk, waar zij naast het verwerven van geleerdheid ook leerden een heilig leven te leiden. In de tannaïtische periode (tot begin derde eeuw n. C.) werd door de rabbijnen de Misjna ontwikkeld en ten slotte schriftelijk vastgelegd door de man die kortweg als Rabbi werd aangeduid, nl. Jehoeda ha-Nasi. In de amoraïtische periode (derde t/m zesde eeuw) werd op basis van de Misjna de Talmoed gecompileerd; tevens ontstonden talloze midrasjim, uitlegkundige werken over Tenach. De voorstelling dat de rabbijnen sinds 70 n. C. het jodendom hebben gedomineerd is onjuist. Het rabbinaat heeft slechts gaandeweg, in een moeizaam proces van eeuwen en na veel tegenstand, een leidinggevende positie in de joodse gemeenschap wereldwijd kunnen veroveren, een positie die zich pas na de zesde eeuw in de middeleeuwen consolideert. Het is de rabbijnse beweging geweest die door de afgelopen 15 eeuwen heen als de samenbindende factor in het jodendom heeft gefunctioneerd.