I Ponys di Chicago, formatisi nel 2001 e guidati dai chitarristi Jared Gummere e Ian Adams (anche alle tastiere), e occasionalmente dalla bassista Melissa Elias, suonavano un vivace assortimento di rock moderno, garage-rock, pop psichedelico e power-pop su Laced With Romance (In The Red, 2004). Let's Kill Ourselves meritava di diventare l'inno della loro generazione, con quel riff di chitarra cosmica che si alterna a un ritornello slanciato spinto da un groove, esattamente a metà strada tra Rolling Stones e Velvet Underground.
Il canto di 10 Fingers 11 Toes imita i primi Pere Ubu ma si discosta dal tipico suono garage degli anni '60 (Sonics, Raiders). Un altro picco è l'esuberante seppur derivativo Little Friends, dove le sue chitarre staccate e le voci isteriche evocano i Talking Heads e i Devo di un'altra epoca e, ultimo ma non meno importante, vantando un riff d'organo epico. L'insistente interazione di chitarra di queste canzoni, a un ritmo esuberante, deve qualcosa anche ai Television.
Il loro modo di plagiare i classici è straordinariamente spudorato e, allo stesso tempo, creativo. Fall Inn si apre con una palese copia del riff di chitarra di And Then He Kissed Me dei Crystals, soltanto per prendere in prestito il tono beffardo dei Sex Pistols. Trouble Trouble sposa la più abusata delle progressioni marziali (riecheggiando i classici della storia della musica rock, dai Blues Brothers ai Fleshtones) con una fantastica fuga d'organo per la quale persino Ray Manzarek dei Doors avrebbe dato la vita.
L'arte dei Pony è di natura semiotica e mitologica. Prendono segni carichi di significato emotivo e poi procedono ad assemblare costrutti che risuonano con l'anima della loro generazione. Il ritmo ska di Chemical Imbalance ricorda i primi Clash con un ponte di chitarra galattico preso da Gut Feeling dei Devo.
I sei minuti di The Only One suonano come un incrocio tra Waiting For The Man di Lou Reed e Jean Genie di David Bowie.
Hanno meno successo quando si prendono troppo sul serio, in particolare con la (relativamente) lunga I'll Make You A Star, che suona come una versione mainstream di una ballata di Jimi Hendrix.

Se l'esuberanza giovanile del debutto sarebbe rimasta ineguagliata, Celebration Castle (In The Red, 2005) mostrava quanto meno un sound più corposo. Se la martellante Shadow Box e la sincopata Get Black erano parenti stretti delle granate del primo album, la stessa traccia di apertura, Glass Conversation, aveva immediatamente dimostrato un tono melodrammatico ritrovato. Il nucleo emotivo dell'album ruota attorno alle minacciose, meditabonde e lente torture di We Shot the World, mentre il blues di Today e l'arrabbiata She's Broken (di una cantante donna) portano in primo piano i sentimenti viscerali che si celano sotto la superficie corrosiva del primo album.
Se il primo album rappresentava la reincarnazione dell'entusiasmo punk-rock, il secondo album era una reincarnazione dello zeitgeist dell'era post-punk.

Dopo che l'album fu registrato, Adams se ne andò e fu sostituito da Brian Case, che aveva già registrato tre album con i 90 Day Men: (It (Is) It) Critical Band (Southern Records, 2000 ), To Everybody (Southern, 2002) e Panda Park (Southern, 2004).

In confronto al primo album e alle sue parate vertiginose di ritornelli e riff ad alta energia, Turn The Lights Out (Matador, 2007) era un album di psichedelia shoegaze, tutta trascendentale e ipnotica. Il problema è, più che altro, che questa nuova interpretazione del loro garage-rock nasconde il fatto che il materiale è meno impressionante, sia musicalmente che liricamente. Soltanto due canzoni hanno avuto veramente successo, Double Vision e Small Talk, mentre canzoni come 1209 Seminary riciclavano stereotipi e le altre mancavano di qualunque slancio.

Dopo la pubblicazione dell'EP Deathbed Plus 4 (Matador, 2010) la band si è di fatto sciolta. Nel frattempo Case aveva formato nel 2008 i Disappears.