Situé sur la frontière entre deux royaumes , le Rouergue et le Languedoc, pour les différencier on écrivait La Guèpie en Rouergue et La Guépie et Albigeois, et cela jusqu’à la création des départements en 1790. Tarn, Tarn et Garonne et Aveyron. Une position stratégique, il était le dernier bastion sur la vallée du Viaur.
Sa construction remonte sûrement avant l’an mil, comme beaucoup de châteaux forts dans notre région, c’est en 1175, qu’on retrouve la première trace écrite du seigneur de La Guèpie, Raymond Bernard.
En 1212, Simon de Montfort après avoir rasé St Marcel de Campes, s’attaque au château de La Guèpie, abandonné de ses occupants, il est incendié et rasé de fond en comble, ainsi que le village qui été à l’époque accolé au château. St Marcel ne se relèvera pas de ses ruines et provoqua la fondation de Cordes . La Guèpie par sa position stratégique fut réedifié, la meilleure preuve c’est que le comte de Toulouse veut La Guèpie en possession directe. Gaillard de Balaguier consent à un échange avec le fief de la ville de Bes en Rouergue. Le comte de Toulouse Raymond VII, devient seigneur de La Guèpie. Par héritage le château revient à sa fille, épouse d’Alphonse de Poitiers, qui l’échange une nouvelle fois contre le château de Penne.
Bernard de Penne devient seigneur de La Guèpie et débute la branche des Penne-Gourdon
Pour 3 siècles environ.
La guerre de Cent Ans enflamme le Sud-Ouest , le Viaur devient une frontière entre le royaume de France et d’Angleterre. Le traité de Brétigny le remet aux anglais pour une 30 années. Il passe une période calme et prospère.
Puis les guerres de religion, la réforme touche La Guèpie, en 1562 l’armée catholique de Montluc ruine le château et dévaste le pays.
En 1592, la ligue catholique du duc de Joyeuse installe son artillerie sur la montagne vis-à-vis le château et tire deux cents coups de canon, et fait une brèche dans la muraille. Le baron pensant qu’il n’y avait rien à craindre, pourvu que l’ennemi n’approche pas de la breche, y laissa un soldat en sentinelle et s’en alla diner avec les autres soldats. Le malheureux soldat voyant que l’ennemi ne bougeait pas s’endort. Profitant de son sommeil l’armée du duc de Joyeuse attaque, les soldats se défendent avec beaucoup de valeur, mais accablés par le nombre et la fatigue, ils sont massacrés. Le baron prisonnier, fut tué de sang-froid et son corps resta tendu plusieurs jours à une fenêtre du château. 70 de ses hommes ont été tués en ce 1er Aout 1592. Le château fût rasé ainsi que le village.
1598, l’édit de Nantes apporte la paix, les seigneurs resteront protestants. Aujourd’hui il ne subsiste dans nos villages aucunes traces du protestantisme. C’est le frère du baron assassiné qui releva les ruines du château et lui donna son allure résidentielle qu’il avait au 17e siècle.
La révolution sonne la fin du château, il fut pillé par les habitants de la région , on compta plus de 120 personnes dont 2 officiers municipaux. Ils enlevèrent les portes, les fenêtres, les poûtres, les planchers, les pierres de taille. Il avait de très belles toitures et de beaux plafonds, tout fût vendu ou pillé. La commune mit fin à ce pillage et procèda à une vente et exigea la restitution de certain vol. Tout ceci est mentionné dans un procès-verbal aux archives départementales d’Albi. Le baron Isard de Freissinet et sa famille s’était réfugié en Suisse où il d écède en 1796. Hérite alors ses deux fils Casimir et Louis. Casimir revient pour la première fois en 1827, il tient à conserver les ruines du berceau de ses aïeux et fait faire quelques réparations pour conserver ce qu’il reste. Son frère Louis ne tient guère à La Guèpie, en 1844 il vend le château en entier à Raymond Maurel, mais son frère fait casser la vente et le château est partagé en deux. Casimir conserve les ruines que l’on visite, cette partie représente a peu près ¼ de la superficie. L’autre partie est vendue, démolie, il y a actuellement 2 propriétées privées dans l’enceinte du château.
Début des années 70 des pans de murs tombent, obligation de mettre le château en sécurité. Le maçon du village, Mr Ceccarelli fait les travaux, le descendant du baron n’étant pas en mesure de le payer lui donne pour le Franc symbolique. Il le garde jusqu’en 88, mais devant la tâche et le manque de subvention, il le cède à la mairie de St Martin Laguèpie, actuellement propriétaire.
En 1998 se crée une association « Lou viel Castel », qui veut le mettre en valeur et sauvegarder ses quelques pans de mur. L’éclairage du château est réalisé, suite à de nouvelles détériorations il est urgent de procéder à la consolidation des murs. Avec des subventions, la participation financière des deux communes et de l’association , ce fut chose faite en 2003.
Une mise aux normes permis en 2006 l’ouverture au public.