相传，晋人陶渊明在做彭泽令以前曾做过车骑将军刘裕的镇军参军，在随军征战中他与刘裕的镇军部队曾在桃花营这地方驻过营。当时这里一片荒野，也无地名，只因驻军时正是桃花盛开的时节，这里漫山遍野都是桃花，到处红艳艳的。好一派圣景，士卒陶醉了，陶渊明也陶醉了。然而对景色的陶醉是一回事，行军打仗又是一回事，军队驻营要向中军帅帐报告驻扎方位，统带这一营兵马的游击将军犯了难，这是一块无名之地，这驻营方位怎么报？陶渊明是参军，参赞军机是他的职份，他由桃花产生灵感，便参议说这漫山遍野的桃花方在圆百里绝无仅有，就以桃花为标记，将这营地称为桃花营，游击将军采纳参军所说向帅帐报了方位，帅帐遂以遍地桃红为目标派马弁找到了这块营地。
镇军队伍在桃花营休整了一段时日，后来要开拔了，陶渊明对这锦秀之地以难舍难弃，他由感而发挥笔题下了一首五言诗，其曰：
军旅路重重，
总伴征衣红，
何日得安闲，
再顾桃花营。
陶渊明马上作诗，儒将风度，游击将军甚为钦佩，于是命人将这诗凿刻于古道旁边的一块大青石上。此诗被这一凿刻，往后过路行人便传开了，从此这里便有了地名——桃花营。
陶渊明卸任军职以后做了彭泽令，后来又不愿为五斗米的供奉而折腰辞了彭泽令，以田园生活隐居起来，隐于何处？正史上没有考究，野史上众说不一，但陶公后裔的族谱上却有记载，考称陶公隐居的去处就是他当年留诗刻碑的桃花营，他那千百年来被人们推崇备至的名作《桃花源记》也是以他隐居桃花营的田园生活为原型写出来的。只不过陶渊明在生安于田园生活，不愿引人瞩目，因此他的这一杰作在当时并未名噪天下。后来是他的后裔将这杰作流传开来，那世外桃源的美丽构想才被天下人所誉。
不过陶渊明所构想的太平社会终归只是一种向往，而现实却是残酷的，后来就连陶公自己的后裔也被官府的残暴害得死里逃生。在明代嘉靖年间，陶公后裔中出了一个名叫陶济安的血性汉子。这一年他被官府逼去南水的漕运码头服劳役，在劳役中他不堪忍受酷吏的残暴监管，聚众造反杀了监管逃了出来。聚众造反并且杀了朝廷命官是死罪，是钦犯，朝廷通缉他使他无处安身。因为悬赏缉拿他的告示上画有他的头像，凡是有行人的地方他都不敢落脚，只好找那些荒败的山神庙栖身，没有吃的就在山里采食野果，生嚼鼠蛙，以野人般地境地度日。即便这样他在一个地方也不敢久留，过一段时日又得找别处的山神庙栖身。
如此，他辗转了大半年。后来他来到大山之中，在一个桃花盛开的地方，他又看到了一座山神庙，他便去庙里落脚。在庙门前他看到石门的天眉处刻有“陶公庙”三字，开始他并未在意，管他桃公庙李公庙，他只要落脚的地方。进了庙堂，他又看到了一尊石雕头像，陶济安想，这回倒要看个究竟，看看这庙主到底是一个什么样的人，仔细一看，在头像正面的石座上刻凿着陶渊明的名字。原来陶公当年的后人把《桃花源记》传开来以后，陶公名满天下，为了追记先祖遗愿，陶公的近代后人在先祖隐居并由此写出了这个名作的地方立了一庙，庙宇所在之地的南州知府凤西知县是陶公名作的崇拜者，陶公后人立庙以后他们都曾到此朝供过，他们敬仰陶公，宣陶公为这片圣地的守山之神。现在头像石座两面依稀能看到他们的敬宣之词，只可惜年代久远，世人只知道有陶公的名作传世，却不知道还有他的庙宇在这山野之中。
陶济安找到的这个地方正是桃花营。这里人烟稀少，星星落落的有几户人家也是以猎狩为生。他们住居在山岭间的沟沟壑壑之中，终日在山里装猴子套，安马蹄夹，设陷阱猎狩野物，而成遍的土地却都是荒芜的。陶济安便想，这里地处偏远，又很闭塞，他不正好可以在这里落脚吗，况且这里有的是荒地，只要结交好山旮旯里为数不多的当地山民，只要肯开垦，落脚这里不愁没有田地耕种，庄户人家只要有了田地还怕没有衣食住行？并且据他们陶氏族谱的记载他也是陶渊明的后裔，如果在这里落脚，在这里繁衍子孙，在这里长久的生存，对先祖构想的那种太平社会也是一种尝试。于是在一个月黑之夜，他潜回老家把妻儿老少带来了桃花营。为了日后在这里传宗接代并自成一族，他把陶氏族谱也带了来。
陶济安带一家老少来到了桃花营，他们首先栖身在陶公庙，为了逃避官府的追杀，他们改了名换了姓。陶济安又结交好了大山中的山民，从此他们便在这里开垦田园。天道酬勤，他们终年日出而作，日落而息，常年垦荒不止，更耕种不绝，渐渐地他们便有了家业。
过了几年，朝廷新立天子，天下大赦，陶济安的命案不再受追究，于是陶家又恢复本姓，并进深山结交地保获准了任其开垦。又过了几年，陶家开垦的田地十分广阔，靠一家人的劳力他们已经无力顾及，于是陶济安向山外雇工。他雇了长工，也雇了春种秋收这些紧张季节的短工。山外人缺的是田地，而他缺的却是劳力，主雇之间正好是一种