The Celibate Rifles est un groupe de punk rock australien, originaire de Sydney, en Nouvelle-Galles du Sud. Formé en 1978, le groupe a beaucoup tourné en Amérique et en Europe, tout en réalisant quatorze albums studio. Ian Martin quitte le groupe en 1980 et est remplacé par Damien Lovelock. Il était près de dix ans leurs aînés, mais il a donné aux Rifles un accent beaucoup plus lyrique nécessaires pour l'énergie constante de la bande.

Kent Steedman, Dave Morris, Michael Couvret, Phillip Jacquet et Ian Martin forment le groupe en 1979 alors qu'ils étaient encore au lycée à Sydney

,. Les deux premiers albums seront regroupés sous une compilation par extrait pour l'Europe au doux nom de Mina Mina Mina. Dave Morris et Kent Steedman, les deux piliers du groupe toujours actif depuis 31 ans mais avec une formation changeant quasiment tous les deux ans jusqu'en 1991 ou le groupe restera stable pendant 10 ans, puis un autre changement depuis 2001.

Celibate Rifles sortent l'EP quatre titres, Jacques the Fish en autoproduction en mars 1982. Hot Records les signe en 1983, et rééditent leur premier EP et sortent leur premier album Sideroxylon en mai 1983. Il resteront sur ce label jusqu'au début des années 1990, Dave Morris et Kent Steedman resteront les deux piliers du groupe. La pochette de leur second album sera en fait une déclinaison de traduction du nom du groupe, avec une maîtrise du chant de Damien Lovelock et ce son résolument « australien ». Preuve incontestable d'un groupe de scène : leur live enregistré au CBGB à New York, avec un son lourd entre les Ramones et Radio Birdman.

Les nouveaux singles des Celibate Rifles, Pretty Pictures (octobre 1983) et Merry Xmas Blues (décembre) comprend des morceaux de guitares acoustiques. Avec 14 albums en 31 ans de carrière, et toujours la même veine en concert, Darroch quitte le groupe en 1984 pour former The Eastern Dark. Il meurt deux ans plus tard dans un accident de voiture en mars 1996,. Kent Steedman joue avec son compère des Radio Birdman, Rob Younger, dans les New Christs puis avec Crent, et aussi avec Ed Kuepper et ses Saints avec notamment l'album S.L.S.Q. Michael Couvret, lui, joue avec The Lime Spiders puis Voodoo Lust vers 1988.

Paul Larsen quitte The Celibate Rifles pour se joindre à The Screaming Tribesmen en 1990, et Nik Reith le remplace à la batterie,. À la fin 1991, le groupe signe avec Festival Records, et publie en mars 1992 un double album, Heaven on a Stick, produit par Rob Younger,. Sortent aussi le single Groovin' in the Land of Love (décembre 1991) et le double single 7" Where the Wild Things Are... (mars 1992). Ce dernier fait participer le groupe de hard-rock Hard-Ons. À la fin de 1992, Hot Records édite en version CD remasterisée les cinq premiers albums live du groupe. Le groupe revient à Hot Records qui publie Yizgarnnoff (en mai 1993) – un second album live – et Sofa – une compilation de 20 chansons (décembre 1993). À la fin 1993, Rieth et Steedman se joignent à Deniz Tek pour enregistrer son album, Outside (1994). Rieth et Steedman tourneront avec The Deniz Tek Group pendant les quelques prochaines années et enregistreront un nouvel album en 1996, Le Bonne Route. En avril 1994, The Celibate Rifles publient Spaceman in a Satin Suit. Le groupe contribue à une reprise de Boys! (What Did the Detective Say?) du groupe The Sports, qui est incluse dans l'EP Eternally Yours ... for Earth Music (août 1994),.

En août 2011, The Celibate Rifles joue en tête d'affiche du concert Big Freeze.