Il trio femminile newyorkese Palberta (Lily Konigsberg, Anina Ivry-Block, Nina Ryser) suonava garage rock con un'attitudine volutamente non musicale.
La loro prima cassetta, My Pal Berta (2013), contiene solamente undici brevi brani, suonati in modo sciatto e cantati in modo irregolare: canti demenziali come When I Come e She Don't Got It, danze stregonesche come Pop Song (la più famosa) e Anyway, e invettive infantili come Hair's Gonna Grow. Emblematiche delle loro capacità musicali sono la spensierata ballata jazz Ode to Gabe e lo sbilenco blues strumentale in stile Captain Beefheart Smile Song.
I cantanti si alternano e le voci spaziano da strilli bestiali a esplosioni punk.

La cassetta di dieci canzoni Shitheads In The Ditch (2014) ha raggiunto nuove vette di demenza calcolata con Beach e She don't Got it, di infantilismo anti-pop con All the Way e di anarchia alla Beefheart con Butt Thrust.

Dopo l'EP più energico Hot on the Beach (2015), con il demoniaco rave-up The Weekend (e il ridicolo e inutile loop di tredici minuti di Prolly for the Best), l'eclettica Bye Bye Berta (2017) di venti canzoni e 27 minuti ha segnato un importante cambiamento di tono. Rispetto alle prime registrazioni, i semplici ritornelli corali di She Feels That Way, Honey Baby e Why Didn't I sono quasi musica da chiesa. C'è sicuramente molta più varietà. Jaws è il migliore dei loro infantili attacchi alla Melt-Banana e Nose un eccellente e ripugnante esempio del loro barbaro garage-rock. Ode to Honey fonde Beefheart e i Roches. Sick è una jam blues-jazz. Il doo-wop sonnolento e ipnotico di Get Around si fonde con la musica concreta di Bells Pt A.

Il disco da 22 brani Roach Goin' Down (2018) è stato il loro album più variegato, pur avendo perso l'esuberanza giovanile delle prime registrazioni. Contiene i brani più ricorrenti della loro carriera: Ink of Truth, Big Time, Fake-Out, Gimme Everything You Got Girl e perfino un inno Sound of the Beat (che potrebbe essere una cover dei Fleshtones, senza organo e senza sassofono). Ma contiene anche un ampio spettro di formati musicali, dal garage-rock in stile Sleater-Kinney di Roach Goin' Down e Heaven to Rock n' Roll al gospel zombie di Momentous Space-Up, dal blues sbilenco (Jumping From Lamp to Lamp) al jazz sbilenco (Come Again, forse il migliore in assoluto). In My Fame - Jug è un tentativo di suonare come una band noise-rock degli anni '90. Cherry Baby è Captain Beefheart che decostruisce il doo-wop. Big Box Inn mescola filastrocche e punk-rock.

Hanno tentato di ripulire un po' il loro sound in Palberta5000 (2021), un album di sedici canzoni, con la vibrante e trascinante Before I Got Here, l'orecchiabile bedroom-pop di No Way, la sognante Corner Store, il garage-pop di Big Bad Want, il twee-pop di Summer Sun (con le migliori armonie vocali) e la spensierata In Again (con il miglior contrappunto di chitarra). Queste melodie diventano rapidamente monotone e noiose. Particolarmente deludenti sono i brani più lunghi, come Fragile Place di quattro minuti e All Over My Face di cinque minuti, dove diventa evidente che le ragazze hanno poca immaginazione/ispirazione quando vanno oltre la novelty da un minuto. La folle danza di piazza di Hey e il robot da corsa di Eggs n' Bac sono gli ultimi resti della loro esuberante eccentricità. L'aspetto intrigante della loro musica rimane il contrasto tra le armonie vocali (che richiamano sia la musica rinascimentale che quella sacra) e le parti strumentali (che sono imitazioni approssimative di country, blues e rock). Due delle migliori dimostrazioni si trovano verso la fine: Something in the Way e The Way That You Do.