欲了解谢灵运身世，须从谢家谱系开始。现在能查找到谢家的上代就是谢缵，系阳夏谢氏之祖。谢缵生谢衡，即剡令谢奕之祖父。谢衡也无多少历史信息记载。只知生有谢裒裒念 póu，282-346谢奕之父。谢鲲，谢裒之兄。谢广，谢裒之弟，字幼临，任过东晋六部尚书。
    谢裒自幼文笔出众，在西晋首都洛阳市的琅琊王司马睿的王府担任掾吏地方官府中**文书的人。

 当时是中国历史上“八王之乱，五胡乱华”混乱时期。晋永嘉元年公元307年九月，谢裒追随晋皇室司马睿，永嘉南渡。司马睿渡江至建邺。晋室政治中心，自此逐渐南移江东，史称“东晋”。
    谢裒与哥哥谢鲲带领北方的谢氏家族一起南下，被拜参军。东晋现有版图，是几十年前司马氏征服江东孙吴政权得来的江东地区。晋灭蜀汉后，司马氏对江东人民始终心怀忧虑。西晋时候，晋武帝就讲"东吴地方的人民屡教不改，老是反政府"，不安心当顺民，时不时就动乱，简直是一群**。所以西晋从头到尾都没怎么重用江东人才。从武帝时代到晋朝皇室搬家江南不过几十年，在这期间，江东叛乱不断，对当权者来说，实在是乱臣贼子。所以说，作为一个没有民众基础、内斗不止的政权，东晋政府能够立足江东已是万幸，需要依靠谢氏家族那样的北方人。
    公元317年三月晋元帝司马睿在建康即位，建东晋，改元建武。立宗庙社稷于建康。谢裒转郡尉，开始在军职。永昌元年322升太常卿;次年，担任吏部尚书、万寿子"子"是爵位。既然江东人民靠不住，司马氏想巩固政权，就必须重用靠得住的只有一同从中原过来的移民。陈郡就是现在的河南太康，属于司马氏中原地区带入江南而信得过的郡望之一。谢裒引领的阳夏谢氏与琅琊王氏等成为东晋士族。
    站在江东人民的立场看，司马氏政权属于外来政权。司马氏把政权中心移到江南以后，大批北方士族"空降"南方，从好的一方面来说，促进南方发展，从坏的一方面说，是和南方人抢夺生产、生活资源，再加上司马氏政权对于南方人的传统歧视，使双方对立更加严重。
    强权歧视一定引发暴力抗争。郡望制与政权紧密相连，而且建立在对南人的歧视基础上，导致东晋战乱频发。可靠的郡望是谢氏家族地位上升的基础。但是由于谢家族父祖名位不高，经过长期经营，到了东晋朝中后期，谢家才慢慢崛起。这一切的关键在于谢裒是司马睿的嫡系，并且追随他南渡。虽然郡望制从隋唐之后不再存在，但历史上确实起到稳定外来政权统治的作用。
    谢奕，就是当时东晋太常卿谢裒之长子。早年任剡县今浙江嵊州市县令。据《世说新语》载：谢奕作剡令，有一老翁犯法，谢以醇酒罚之，乃至过醉，而犹未已。太傅（谢安）时年七、八岁，著青布裤，在兄膝边坐，谏曰：“阿兄，老翁可念，何可作此！”奕于是改容曰：“阿奴欲放去邪？”遂遣之。谢奕性格粗鲁，有一次被王述惹恼，大声咒骂王述。王述一句都不回应，只是面对着墙壁不理他，过了半天，谢奕离去，王述才重新入座。当时的人因为这事还称赞王述。
    谢奕卒于豫州刺史官位上。《世说新语.尤悔》记载：有太傅谢安给他兄长谢奕送葬回来，正赶上天晚了，雨又急，赶车的驭手都喝醉了，掌握不住车子。谢安于是从车厢中拿下车柱来捅驭手，声色俱厉。我以为谢安给他兄长谢奕送葬回来的地方，或在始宁县县治今嵊州市三界镇谢家封地上。据《宋书.谢灵运传》"灵运父祖并葬始宁县，并有故宅及墅，遂移籍会稽，修营别业。"可见谢氏历代于此营建修葺，谢衡墓在始宁东山，谢玄、谢瑍之墓葬并在始宁东山。
    谢裒还有其他儿女如下：谢据，谢奕二弟，早卒，妻子太康王韬女王绥，生子谢朗。谢安，谢奕三弟，也就是“东山再起”的主角，东晋重要政治家，官至太保、卫将军、都督十五州诸军事。（谢安妻子沛国刘惔之妹刘氏; 长子谢瑶，娶琅琊王颐之女王氏; 两个女儿谢氏分别嫁给琅玡王导孙王珉 和太原王坦之子王国宝）。谢万，谢奕四弟，东晋名士，官至西中郎将、豫州刺史（谢万妻子太原王述之女王荃）。谢石，谢奕五弟，东晋卫将军、尚书令（谢石妻子为琅琊阳都诸葛恢幼女诸葛文熊）。谢铁，谢奕六弟，东晋永嘉太守。（谢铁妻子阮容，字元容，陈留人，乃阮籍、阮咸族人）。

 谢奕子辈：谢寄奴，谢奕长子，早卒。谢探远，谢奕次子，早卒。谢泉330-377:或作谢渊，谢奕三子，又名川，字仲度，小字末。颇有文才，官至义兴太守，妻子琅琊王氏，生一子，谢焕。谢攸335-384:谢奕四子，字叔度，晋孝武帝宁康元年373年任博士;后来官至散骑侍郎、主簿、博士散骑郎。配颖川庾女淑;生四女三子:谢令芬、谢令和、谢令范、谢珫、谢令爱、谢玙、谢球。谢靖338-385:谢奕五子《晋书·谢尚传》写成谢静，字季度。擅长写作。官至散骑常侍、太常卿、常乐县侯，配颖川庾氏，生二子:谢肃出继谢康，过继给谢尚做孙子、谢虔谢灵佑，谢虔之子，继谢鲲之后。谢豁342-385:谢奕六子，又名淡，字安度。官至中护军将军，徐州刺史。谢玄，谢奕七子，东晋重要将领，曾领兵在淝水之战后北伐。官至左将军，原配为泰山羊氏，继室为谯国桓氏。（谢玄就是谢灵运的祖父）。谢康:谢奕八子，谢康堂叔谢尚没有儿子，因此谢奕将谢康过继给谢尚，承袭咸亭侯，但谢康也很早去世，没有儿子。谢康的哥哥谢靖将儿子谢肃过继给谢康，承袭咸亭侯。后过继给谢尚。谢道韫，谢奕长女，嫁王凝之。（谢道韫系谢灵运的大姑婆）。谢道荣，谢奕次女，嫁范少连。谢道粲，谢奕三女，嫁郗恢。谢道辉，谢奕四女，嫁桓石民。
    谢奕孙子辈：谢攸（谢奕四子）长子谢珫，妻子为陈郡袁劭女袁琬。谢攸次子谢玙，妻河东卫氏。谢攸第三子谢球，妻琅琊王羲之第三子王涣之女王德光。谢攸长女谢令芬，嫁陈郡袁太泰子。谢攸次女谢令和，嫁太原王万年。谢攸第三女谢令范，嫁颍川陈茂先。谢攸第四女谢令爱，嫁琅琊王擜南换旨之。

 这里,我着重介绍的是谢玄（谢奕第七子）。谢玄343年-388年，别称谢羯、谢献武、谢车骑，字幼度。谢玄号称"诗酒风流"。谢玄自幼聪慧，且理解能力强，与堂兄谢朗一同为叔父谢安所器重。谢玄成年后，显示出了治理国家的才能。早年承父，亦任剡县令。朝廷几次征召，他都推辞不受。后来，他与王珣一起被桓温辟为掾属，都受到了桓温的礼遇和器重。转任征西将军桓豁的司马、领南郡相、监北征诸军事。当时前秦苻坚正是势力强盛之际，多次侵扰东晋边境。朝廷于是下令征召能够抵御外患的良将。谢安任人不避亲，推荐了谢玄。朝廷后召谢玄回朝，授其为建武将军、兖州刺史，领广陵相，监江北诸军事。谢玄在任上，广募顽强勇敢之人，刘牢之与何谦、诸葛侃、高衡、刘轨、田洛及孙无终等人都因为勇敢威武而应选。谢玄授刘牢之为参军，命他领精锐为前锋，百战百胜，号称"北府兵"，前秦对其颇为畏惧。太元八年383年，就是历史上著名的淝水之战。苻坚亲自率军驻扎项城，号称雄兵百万。晋孝武帝下诏命令谢玄为先锋，统领徐州、兖州、青州以及扬州之晋陵、幽州之燕国各支军队，和谢石、他的从弟辅国将军谢琰、西中郎将桓伊、龙骧将军檀玄、建威将军戴熙、扬武将军陶隐等抗击，共有八万人。谢玄先派遣广陵相刘牢之率五千人奔袭洛涧，首战告捷。谢玄很快就杀了苻坚手下的梁成和其弟梁云。敌人的步、骑兵同时崩溃，争着渡过淮水逃跑。刘牢之派兵追击，活捉敌将梁他、王显、梁悌、慕容屈氏等，获取其**物资。谢玄与谢琰、桓伊等人带领八千精兵渡过淝水。苻坚中箭，苻融临阵被杀。苻坚的军队溃败奔逃，自相践踏，投水而死的不计其数，淝水因而都堵塞不流通。其余人马抛弃铠甲连夜逃走，听到风声鹤叫，都以为是东晋军队已经来到，草行露宿，再加上挨饿受冻，死去的有十分之七八。获得苻坚的乘驾云母车，加上他的仪服、器械、军资、珍宝堆积如山，牛马驴骡骆驼等十万余头。孝武帝下诏派殿中将军慰劳谢玄军队，加授谢玄前将军、假节，但谢玄坚决推辞不接受。朝廷赐其上百万钱，上千匹彩绸。太元十三年388年，谢玄在会稽去世，终年四十六岁。朝廷追赠车骑将军、开府仪同三司，谥号"献武"。永初元年六月十四日420年7月10日，刘裕代晋称帝，建立刘宋，当时前朝东晋的封爵中只有王导、谢安、温峤、谢玄与陶侃子孙的爵位未被废除，谢玄的爵位康乐县公被降封为康乐县侯，食邑五百户。嵊州的车骑山，即为纪念车骑将军谢玄。
    谢玄儿子为谢瑍，一名庆，官至秘书郎，袭爵康乐公。娶王羲之的女儿王孟姜所生之女刘氏为妻，谢瑍早逝。谢瑍儿子即谢灵运，王羲之成了谢灵运的外太公。谢灵运袭爵康乐公，世称谢康乐是也!
    谢灵运高祖谢裒入藉江南，除谢裒因卒于任上（墓在南京市城南，今天的西善桥一带），谢家太祖辈谢衡（谢裒之父、谢奕之祖）墓在始宁东山，其曾祖谢奕、祖父谢玄、父谢瑍均归葬始宁。嵊州是谢家祖坟所在地又有曾祖谢奕、祖父谢玄两代任剡县（今嵊州）令。谢氏家族在此处经营数辈，营建始宁墅。而谢灵运又出生在始宁，其亲自改藉为“会稽”，确属名至实归。照祖藉算，谢家在嵊州始宁历四代。谢灵运作为今嵊州人属会稽郡，其真实性是毋用置疑的。旧时王谢堂前燕，早入嵊州百姓家。