Situé probablement sur le passage d'une ancienne voie romaine, le site est à l'emplacement d'une ancienne motte féodale, déjà habitée à l'âge du bronze.
Il s'y trouvait autrefois le "château" du Coing, maison forte, ceinturée de douves (celles-ci subsistent encore), qui administrait la seigneurie d'Argentenay.
Anéantie en 1414, cette maison fut reconstruite.

Au 17ème siècle, la seigneurie appartient à Louis d'Ailleboust qui deviendra gouverneur du Québec et la dotera d'une sœur jumelle (Seigneurie d'Argentenay, située dans l'île d'Orléans, sur le Saint-Laurent au Québec).
L'actuelle propriétaire tient de sa famille une vieille procédure, reliée et datée de 1716 sur laquelle figure la description de cette maison :
"… une grande maison noble dans laquelle il y a plusieurs chambres et feux, grenier dessus, cour et puits. En bout de laquelle maison, il y a une grande chambre, cuisine, boulangerie et une grande tour ronde en forme de colombier et un petit logement. Le tout est entouré de murailles et d'un fossé rempli d'eau ; il y a deux portes, une grande en ogive et une petite carrée".

C'est au cours du 18ème siècle que cette maison disparaît.
Dans une déclaration faite devant notaire, le 14 novembre 1786, il est précisé qu'il n'y avait plus aucun habitant au Coing où existaient un colombier, une chambre pour le garde et une écurie.
D'autres documents montrent qu'en 1792, ce pigeonnier est encore en activité.

Au début  du 19ème siècle, il est aménagé comme un jardin naturel où il est de bon ton d'organiser des parties de campagne (comme cela est la mode dans la région).
On y plante des arbres fruitiers, des arbustes à fleurs.
Un petit pavillon est aménagé ; sur son fronton (aujourd'hui préservé) on grave ce texte :

"LOIN DES GRANDS SI PETITS ET DES PETITS SI VAINS
DISPUTANT DE BASSESSE ET VIVANT DE DEDAINS
LOIN D'ICY LE TRACAS, LE LUXE DE LA VILLE
L'ETIQUETTE, LES TONS ET LA FATUITE
O MŒURS DU BON VIEUX TEMPS, FRANCHISE, EGALITE SOYEZ LES DIEUX DE CET AZILE"