Over de oorsprong van deze zegswijzen bericht de augustijner monnik Benedictus Anselmus het volgende: In vroeger tijden leefde er een geducht ridder, Polyphemus met het ijzeren voorhoofd genoemd. Paus en keizer hadden, na bloedige vijandschap, vrede gesloten en om die te vieren feesten en toernooien verordend. Ieder, die aan een toernooi deelnam, moest de kleuren van de paus of van de keizer dragen. Polyphemus zwoer echter, dat hij nimmer het teken der dienstbaarheid wilde dragen, noch het rode kruislint van de paus, noch de sjerp met gouden rand van de keizer. Hij trotseerde de banvloek en de rijksdag. Aan de smeekbeden van zijn vrouw, om toch aan het feest deel te nemen, gaf hij geen gehoor. Met de woorden: ‘Als ge maar een zweem van liefde voor mij had, zoudt ge mijn verzoek toestaan en een van die tekens aan uw helm hechten’, verliet ze huilende haar man, die nu een beetje verlegen werd met de situatie. Op dat ogenblik schetterden de trompetten voor het toernooi. Snel greep de geduchte Polyphemus de kleine, met goud geborduurde pantoffel van zijn verstoorde vrouw, die ze in de haast verloren had, maakte die aan zijn helm vast en spoedde zich naar het strijdperk. In het toernooi was Polyphemus de enige overwinnaar; en toen de zuster van de keizer hem de prijs (een met goud geborduurde sjerp) over de schouders hing, fluisterde ze hem toe: ‘Heer ridder, gij stelt u noch onder de paus, noch onder de keizer; niemand kan u overwinnen; maar toch staat gij onder de pantoffel’