Accord noms composés

Comment expliquer ce pluriel à mes élèves : des petits-beurre ? (ainsi écrit dans ma dictée : extrait de Métaphysique des tubes de Nothomb)

Règle de base :
Un adjectif + nom, des "s" partout
exemple : des basses-cours
Cas particuliers
Le mot 'garde' s'accorde quand il a le sens de 'gardien'.
exemples : des gardes-malades, des garde-manger

Peux-t-on dire qu'en réalité il s'agit de "petits biscuits au beurre" donc pas de "s" à beurre ???

Oui, c'est une question de bon sens. Quand le nom composé est formé d'un nom et de son complément, seul le premier peut prendre la marque du pluriel ...
- des timbres-poste : des timbres pour la poste
- des petits-beurre (il y a effectivement ellipse de "biscuits" ou "gâteaux")

C'est plus évident avec une préposition :
- des chefs-d'oeuvre, des pommes de terre, des coups d'oeil ...

Dans certains cas c'est le complément qui est toujours au pluriel : une bête à cornes ...

Hum, attention ...
- Il mange ses petits-beurre avec des petits-suisses chez ses grands-parents en leur faisant des clins d'oeil (ou d'yeux, c'est selon ...).

Dur ...