Polkovnik James Madison starejši (27. marec 1723 – 27. februar 1801) je bil ugleden virginijski plantažnik in lokalni politik. Med ameriško revolucionarno vojno je služil kot polkovnik v milici, pri čemer je imel pomembno vlogo v organizaciji lokalne obrambe, vpoklica mož in zagotavljanja oskrbe. Podedoval je posestvo Mount Pleasant (pozneje znano kot Montpelier), veliko plantažo tobaka v okrožju Orange v Virginiji, in z nakupi ter združevanjem zemljišč razširil posesti — po nekaterih ocenah na približno 5 000 hektarjev — ter s tem postal največji zemljiški posestnik v okrožju.
Madison starejši je bil upravnik velikega plantažnega gospodinjstva; gospodarstvo posesti se je v veliki meri opiralo na prisilno delo zasužnjenih ljudi, ki so skrbeli za pridelavo tobaka in vzdrževanje posesti. Poleg upravljanja plantaže je bil aktiven tudi v lokalni upravi in družbenem življenju svoje skupnosti, kjer je zastopal interese zemljiških posestnikov in sodeloval pri občinskih zadevah.
Bil je oče Jamesa Madisona, poznejšega 4. predsednika Združenih držav Amerike, ki je podedoval Montpelier ter je bil eden osrednjih avtorjev ameriške Ustave in zagovornik federalizma. James Madison starejši je imel tudi druge otroke, med njimi Williama Taylorja Madisona, ki je služil v javnih in vojaških vlogah, ter je bil dedek konfederacijskega brigadnega generala Jamesa Edwina Slaughterja.
Madisonova uprava posesti, njegov položaj v lokalni milici in družinska omrežja so pomembno vplivali na možnost izobraževanja in politične kariere njegovega sina. Po smrti Jamesa Madisona starejšega je Montpelier ostal v družinskem upravljanju; danes je posestvo znano kot zgodovinska lokacija, ki obravnava tako politično zapuščino družine Madison kot tudi težko dediščino suženjske družbe, na kateri je temeljilo plantažno gospodarstvo.
