Vildtbanegård går helt tilbage til Christian den fjerdes tid. Indtil udskiftningen i starten af 1800-tallet lå Vildtbanegård ved siden af Vestergård, Toftegård og Tranegildegård i selve Tranegilde Landsby. Efter udskiftningen blev Vildtbanegård flyttet i retning mod Køge Bugt til nogenlunde det sted hvor Tranegildestien og Vildtbanestien siden begyndelsen af 1970'erne har krydset hinanden. To af de gamle træer kan stadig ses på stisystemet.
Men Vildtbanegård fik sit navn i 1624 da gården sammen med fire øvrige gårde i Tranegilde (en anden var Bredekærgård, der jo har bevaret sin placering), blev erhvervet af Christian den fjerde og jorderne blev udlagt til de til de såkaldte "Vildtbaner", hvor kongens hofjægere så kunne nedlægge fasaner og andet vildt. Disse vildtbaner, oprindeligt udtænkt af Frederik den Anden, strakte sig helt nede fra strandområdet v/ Jægerkroen langt ind i landet i retning mod Roskilde for denne Ishøj Kommunes vedkommende.
Gennem tiden havde Vildtbanegård mange ejere. I 1875 købte Jens Bay, medlem af Pile Mølles familien Bay, gården af Hans Faber.
Jens Hansen Bay blev født i 1836. Han kom til kommunen fra Langeland og var først forpagter på Benzonsdal. Han var far til bl.a. Valdemar Bay på Pilemølle der blev født på Benzonsdal.
Jens Bay krævede en grundig vurdering før købet, og af den fremgår det blandt andet, at gården jord var 75 tønder, altså en gård af en hvis størrelse og med den gode jord, der kendetegner området, og som Vildtbanegårds vedkommende strakte sig fra Ishøj Strand i nord/nord-vestlig retning ind over området hvor Ishøj Bycenter ligger den dag i dag.
Vildtbanegårds nabogård i sydvestlig retning, med matrikelnummeret 16A Ishøj, er Stenbjerggård, som har givet navn til Stenbjerggårds Allé.
