Leta 1424 se je dvorec prvič posredno omenil kot Erlach, leta 1480 pa se v urbarjih gospostev Lemberg pojavi ime Jelsche – Jelše. Vendar pa je dvorec v zapisih prvič zanesljivo omenjen šele leta 1666, ko je Žiga Gaisruck dobil v zakup dvorec Jelše. Gaisrucki so bili lastniki Jelš vse do leta 1799, nato pa je dvorec in gospoščino kupil Anton Nagy. Do leta 1837 je bila posest v lasti Rajmonda Novaka, ta pa jo leta 1845 naposled prodal Rudolfu in Tereziji Gödel. Od leta 1887 je bil lastnik dvorca pl. Artens. Pred II. svetovno vojno je bila lastnica gradu družba Jelšingrad, ki se je ukvarjala z lesno trgovino. Po vojni so v njem uredili prevzgojni dom, za tem pa je bil dvorec preurejen v dom upokojencev. Močan potres ga je leta 1974 močno poškodoval.

Stavba je sicer najtemeljitejšo obnovo doživela v 18. stoletju, ko je dobila baročni pridih. Sicer pa je bil dvorec obdan s parkom, na robu dvorišča pa so stale alegorične figure štirih letnih časov. Med vojno je bila notranjščina močno prizadeta, stara oprema pa je dobila nove, neznane lastnike. Vse, kar se še danes vidi od nekdanjega blišča, je orientalsko okrašen strop v mavrski sobi in osrednja freska v avli, ki naj bi prikazovala zmago Žige Dietrichsteinskega nad upornimi kmeti pri Brežicah leta 1515. Ta freska naj bi skoraj gotovo navdihnila znanega slovenskega pesnika Antona Aškerca, ki je med letoma 1883 in 1889 kot kaplan služboval v Šmarju, da je napisal znani ciklus Stara pravda. Jelšingrad trenutno išče novega lastnika v postopku prodaje.