Il cantautore Shai Halperin, di Philadelphia , che aveva già pubblicato Meet Yr Acres (2001), formò i Capitol Years con Kyle Lloyd (batteria), Dave Wayne Daniels (basso) e Jeff Van Newkirk (chitarra).
Sull'EP Jewelry Store (2003) e sull'album Pussyfootin (2004) il loro sound era ancora grezzo e disomogeneo, una strana miscela tra power-pop, garage-rock e hard-rock, ma i momenti più calmi preannunciavano già le loro melodie mature.

Il sound pop della band sbocciò su Let Them Drink (2005), una fedele riproduzione dei più dolci anni '60: i Beatles (Ramona), gli Hollies (Juicer), i Byrds (Stones) e le prime canzonette psichedeliche dei Pink Floyd (Let Them Drink).
Il lato più ruvido sopravvive in una manciata di tracce (Solid Gold, Mounds of Money, Lucky), ma è chiaro che il futuro è per quelli più sdolcinati.

Dance Away the Terror (2006) è un esercizio necrofilo di dream-pop antiquato, privo del genio produttivo surreale e inquietante dei Cocteau Twins ma, tutto sommato, segna un balzo in avanti nella scrittura di canzoni.