Gli Sponge furono formati a Detroit dal chitarrista Mike Cross e dal cantante Mark “Vinnie” Dombroski dopo lo scioglimento dei Loudhouse, una mediocre band industrial metal.
Insieme al chitarrista slide Joey Mazzola, registrarono Rotting Pinata (Chaos, 1994), un album di grunge-pop poco ispirato ma a tratti contagioso (Plowed, Molly, Rotting Pinata e Drownin).

Corni, pianoforte e violoncello impreziosiscono il decadente concept album Wax Ecstatic (Columbia, 1996). Wax Ecstatic, in stile Inxs, scalò le classifiche, ma un pathos fuori posto alla David Bowie rovinò la maggior parte delle ballate.

New Pop Sunday (Beyond/BMG, 1999) offre la migliore imitazione di Bowie finora (Planet Girls) e una serie di ritornelli orecchiabili (Polyanna, Live Her Without You), ma la caduta verso il glam-rock e il pop ha tolto qualsiasi merito artistico che si poteva addurre alla musica degli Sponge.