1932 kümmerte sich erstmals der Kegelclub Wangen um die Wurst- und Brotverteilung an der Hauptfasnacht. Vier Jahre später entstand die Fasnachtsgesellschaft Wangen. Laut Protokoll vom 18.Februar 1936 einigte man sich auf den Namen "Die Schlossherren vom Ryffen", und seit 1955 existiert die Dialektfassung "Ryffe-Lüt".

Die Maskenfigur wurde 1962 nach Idee des Archäologen Jean Melliger von Alois Oberlin geschaffen. 1992 schuf Markus Kläger, Holzbildhauer aus Pfäffikon, die Holzmasken. Die rot-grünen Burgherrenkleidern auftretender Ryffe-Lüt sind meist mit dem Fasnachtswagen unterwegs, welcher die Ryffenburg darstellt.

Einer Orts-Sage folgend, soll bei Nuolen auf Wangner Genossenboden einst das sagenhafte Wasserschloss Ryffen gestanden haben. Es handelt sich dabei aufgrund archäologischer Ausgrabungen in den Jahren 1930-1934 vermutlich um ein altes Bad aus dem 14.Jahrhundert. Der Schlossherr (Ryffe-Herr) und seine Gefolgsleute werden alljährlich durch den Prinzen Karneval geweckt und verschwinden nach der Fasnacht wieder im Ryffeloch.

Wer kannte es nicht, das Ryffeloch? Von dem die Alten immer wieder behaupteten, dass sich dort ein Römerbad am See befunden habe? Nur behutsam wagte man sich in die sumpfige Nähe, und manch einer nahm einen Schuh voll stinkigen Wassers mit auf den Heimweg. Nicht selten stahl man sich mit Abfallmaterial dorthin, um es im sumpfigen Gelände verschwinden zu lassen. Es ging die Sage um, dass im Römerbad eine schwere Kiste voller Goldmünzen versteckt sei. Nur in der Heiligen Nacht käme die Kiste nach oben. Auf ihr eine grausige Kröte als Wächterin sitzen. Zwei tapfere, aus Nuolen gebürtige Kerle hatten es auf die Goldkiste abgesehen. Schon in der Adventszeit hatten sie Bretter zusammengesucht, um sie in der Nähe des Ryffenlochs zu verstecken. Anstatt in die Weihnachtsmette zu gehen, stahlen sich die beiden Brüder in die Nähe des Ryffen, legten sich die Bretter zurecht, um recht nahe an das Sumpfloch zu gelangen. Um Mitternacht schwebte ein Glanz über dem Ryffenloch, aber die Kröte mit der Kiste voll Geldes kam nicht zum Vorschein. Umsonst hatten die beiden sich eine Keule zurechtgeschnitzt, um die Kröte zu erschlagen. Die Burschen waren aber für einige Zeit gezeichnet, denn seitdem liefen sie mit gehörig geschwollenen Backen herum.