L'église de Saint-Yaguen est mentionnée dans le Liber rubeus de la cathédrale de Dax (seconde moitié du XIIe siècle) sous le vocable obscur de Sanctus Aginus, devenu Aganus dans les Rôles gascons de 1289 (tome II, n° 1589), puis Saint-Agané vulgairement Saint-Jacques au XVIIIe siècle (procès-verbal de visite de Mgr de Suarez d'Aulan en 1740). Les tentatives des érudits du XIXe siècle, dont le chanoine Daugé, de rattacher "Yaguen" à l'espagnol "Iago" (Jacques), au prétexte que le bourg était une étape sur le chemin de Compostelle, semblent dépourvues de fondement. A une époque indéterminée du Moyen Âge, l'église devient une dépendance du prieuré Saint-Caprais de Pontonx (sur l'Adour), fondé en 980 par le vicomte Retord de Tartas. Après le rattachement de ce prieuré au chapitre de la cathédrale de Dax au XVIIe siècle, elle est donnée, sous le nom de Saint-Agan, à l'ancien prieur Louis d'Albret avec les autres annexes de la cure de Tartas.

L'édifice actuel, en dépit de l'uniformité apparente imposée par la restauration intérieure des années 1960, est une construction complexe, constituée d'éléments d'époques diverses. Le plus ancien est l'abside en hémicycle, seul vestige du plan roman d'origine à vaisseau unique, qui correspond certainement au Sanctus Aginus cité dans le Liber rubeus. Ce petit bâtiment subit d'importantes transformations au début du XIIIe siècle : d'une part, l'allongement de la nef d'une travée occidentale (plus large d'un mètre que la travée orientale), calée à l'ouest par un clocher-mur ; d'autre part, l'ajout, au nord du vaisseau, d'une chapelle de deux travées terminée en absidiole semi-circulaire, dont le cul-de-four reçoit au même moment un cycle de peintures dédié à la Vierge, titulaire de la chapelle. Au XIVe siècle, les troubles liés à la guerre de Cent Ans contraignent sans doute la communauté de Saint-Yaguen, dépourvue de fortifications, à renforcer les capacités défensives de l'église : le chevet est augmenté d'une surélévation fortifiée et le clocher-mur se voit adjoindre deux tours latérales, qui lui donneront sa silhouette "trinitaire" originale.

L'époque moderne n'apporte que des modifications mineures à l'édifice, hormis la destruction probable de la voûte en pierre de la nef (qui aurait remplacé à une date indéterminée le lambris originel) lors du passage des troupes protestantes en 1569, et la reprise complète du décor peint de la chapelle de la Vierge vers le début du XVIIe siècle.

Aux XIXe et XXe siècles, en revanche, de lourdes interventions affectent l'aspect de l'église. Quelques travaux de réparation sont effectués sous la monarchie de Juillet suite à des menaces d'interdiction épiscopale (1844) : réfection des corniches et lambris en 1845, installation d'un nouvel escalier à la tribune et remplacement du plafond de la nef en 1846, etc. L'arrivée à la tête de la paroisse, en 1870, de l'abbé Louis Desbordes (1841-1925) accélère la mise en œuvre d'un vieux projet d'agrandissement de l'édifice, devenu insuffisant pour les besoins de la population en expansion. En 1870-1871, l'architecte départemental Alexandre Ozanne allonge la chapelle nord vers l'ouest pour la transformer en un véritable collatéral de même longueur que la nef, ajoute un bas-côté en pendant au sud (en perçant pour ce faire le gouttereau du XIIIe siècle) et remplace la vieille sacristie sud (ancienne chapelle Sainte-Madeleine, propriété d'un particulier tombée en déshérence) par une vaste sacristie empâtant l'hémicycle du chevet à l'est et au sud (inaugurée le 1er janvier 1871). Les trois vaisseaux et l'abside romane reçoivent des voûtes en briques et plâtre. On abat en outre divers corps de bâtiment (dont sans doute un presbytère et un grenier) accolés à une époque indéterminée à l'angle sud-ouest du vaisseau (ils sont visibles sur les plans cadastraux du début du XIXe siècle et de 1825). Le manque de ressources empêche toutefois l'exécution de la totalité du projet de 1869, qui n'est parachevé qu'une trentaine d'années plus tard. En 1889, les décorateurs bordelais Augier et Millet couvrent murs et voûte du chœur de peintures ornementales. En 1904-1905, enfin, l'architecte Henri Depruneaux construit un porche contre le mur occidental du clocher-mur et remanie profondément celui-ci (obturation des niches des cloches, création de nouvelles galeries de circulation sur la face orientale, réfection des toitures).

Après cette ultime campagne d'agrandissement, seuls des travaux d'entretien sont effectués dans la première moitié du XXe siècle, dont une reprise des fondations par l'architecte Albert Pomade en 1927. Dans les années 1950-1960, à l'initiative du curé Jean Mauvoisin, une série de travaux vise à moderniser et à "épurer" l'aspect intérieur de l'église : nouvelle porte d'entrée par l'entrepreneur Raymond Bergalonne en octobre 1958, pose de verrières modernes en dalle de verre par l'Albigeois Raymond Clercq-Roques en 1963, suppression en 1960-1963 de la quasi-totalité du mobilier ancien (XVIIe-XVIIIe siècles) et badigeonnage des peintures décoratives des murs et voûtes (J.J. Ponse, 1871, et Augier et Millet, 1889) par les entrepreneurs Louis Labadie et Mouchel. Les peintures (XIIIe et XVIIe siècle) du cul-de-four de la chapelle nord, en revanche, sont restaurées et mises en valeur. L'intérêt de ce décor vaut à l'édifice son inscription à l'inventaire supplémentaire des Monuments historiques en 2004.