Depuis l'époque médiévale, l'homme a le souci de protéger les côtes des envahisseurs. Au 18ème siècle, on a ainsi construit le long de la côte des havres, une vingtaine de corps de garde. A Saint-Germain-sur-Ay, un corps de garde fut édifié à cette époque à la pointe du Banc pour surveiller l'entrée du port. Ce bâtiment n'existe plus aujourd'hui, du fait de l'envahissement de la mer. L'actuel corps de garde (celui de la Gaverie) est de construction plus tardive et faisait office de poste de douanes. En 1945, il fut transformé en chapelle Notre-Dame du Rosaire puis en chapelle du Grapillon. Cet édifice a été bien restauré. Il est inscrit à l'inventaire supplémentaire des monuments historique.