他的父母都是爱尔兰的移民，他们于1830年达到美国。之后谢里登一家就开始西部拓荒的历程，全家搬到到了俄亥俄西部。一年后也就是1831年3月6日，谢里登出生，由于当时家庭拓荒情况，所以并不清楚其确切的出生地点。到了1848年，谢里丹获得其父亲老友国会议员里奇的推荐而得以进入西点军校骑兵科。学习期间，表现中轨中距，毕业时谢尔丹位列全班52人中的第34名。另外，由于谢尔丹矮小的身材（大约1.65公尺左右），得到了一个“小菲尔”的外号，以至日后这个外号一直伴随其军旅生涯。不过和其身材相比，谢尔登的脾气却一点也不小，甚至可以说是暴躁。在校期间就以向模样魁梧学生挑战而出名，常常为了些许口角而大大出手。 毕业后，谢尔丹却由于骑兵部队缩编，被作为步兵少尉而派到驻守德克萨斯邓肯要塞的第一步兵团。1855年被转调至加州的第4步兵团，次年又被派至俄勒冈的负责监视当地印地安部落的动向，并同时被提升为中尉。

1861年战争爆发后，谢里登马上就被提升为上尉，并返回了久违的骑兵部队。作为西部拓荒者的儿子，谢里丹从小就在马背上长大，对骑马也是很喜爱，骑术也自然是高超。这对其日后骑兵生涯有着极大的帮助。同年9月被召至西部战线的圣路易斯市。最初谢里丹被命令负责哈勒科将军的军需后勤工作。不过，事实证明谢里登在前线战场发挥的作用远远大过其在后勤任务上的贡献，于是其又被调至柯蒂斯将军麾下准备加入于密苏里南部对南军的作战。就在战役即将发动之时，谢尔曼结识这位小个子的俄亥俄老乡，并很器重他的才能。随即推荐谢里登去负责指挥新组建俄亥俄志愿步兵团，不过这个提议被否决。不过，这并不意味着谢里登的坏运气，实际上恰恰是其辉煌生涯的开始。1862年5月，谢里登被任命为密歇根第2骑兵团指挥，由此一夜之间从上尉越级晋升上校。

在成为团长后两个月，谢里丹开始勒他真正的战斗。当时兵力接近6，000人南军一个师的人马企图将在密歇根州波恩维尔驻守作为前哨的谢里登赶回北面去，而此时谢里丹手里之后不足900人。面对数倍于自己的南军，谢里丹玩一个障眼法的计策。其命令他的一部分部队，背着全部装备在波恩维尔的火车站集结。随即命令登上站台边的列车，随即不久又让他们全体再下车，接着大张旗鼓地走出车站。在波恩维尔镇内招摇一圈后，又悄悄返回车站，再上车下车地重演一遍，以期制造援军不断抵达的假象。而南军指挥查拉莫斯也真是被这个假象所迷惑，迟迟没有对谢里丹发动进攻。期间谢里丹指挥他的骑兵部队在当地充分利用这宝贵的时间修筑了坚固防御工事。等到查拉莫斯下决心攻击时，谢里丹已经作好了充分准备。而其部队最新装备的后膛来复枪也发挥了巨大作用，同时由于对北军兵力的疑惑也让南军难以毫无顾及地放手一战，结果南军在谢里丹精心安排的防线面前碰得头破血流。谢里丹至此初战告捷，事后因为他的机智和毅力被提升为准将，而此时谢里登刚刚31岁。之后，谢里登被调往田纳西首府纳施维尔以南的石河罗斯瑟恩斯将军的部队。谢里丹同样出色地以少数骑兵部队成功牵制住了南方的大军，领着布拉格将军的一万多南军在纳施威尔附近捉了一个多月的迷藏，直到各路北军开赴战场。在这两次成功的行动后，谢尔登的声名在西线被广为流传，也成了南军极为头痛的人物。

1863年4月，谢里丹晋升少将，并随同格兰特和谢尔曼在田纳西参加了切卡茅加战役同样是大获成功。他的骑兵从侧翼横扫了南军阵线，并对败退的敌军实施了有效的追击，俘虏将近8，000人。此时的谢尔丹已经是北军在西部战场最为优秀的骑兵将领，并得到尤里西斯·辛普森·格兰特的赏识，以成为了其的心腹之一。

1864年4月，格兰特被任命为联邦军总司令，并前往了东部。而谢尔丹也被其召到了华盛顿，被正式任命为波特马克军团骑兵总司令。谢尔丹携着在西部取得崇高荣誉，自信满满地投入东部战场。而北军也普遍期待谢尔登能够继约翰·巴富德之后成为北方另一个伟大的骑兵将领。然而，谢尔登也将面临和西部完全不同的挑战。

在5月展开的冷港战役中，谢尔丹的部队成功抢占了通向老冷港的路口控制权，这使北军有了可以从东南方运动从而威胁皮特斯堡以及里士满的机会，这同样也是提供了北军迂回了李的北弗杰尼亚军团的机会。谢尔登和南军费茨-李指挥的骑兵部队展开了两军的第一次战斗，谢尔登顺利击溃了南军占据了路口。为了重夺路口，南军安德森下属的一个师发动了反扑。结果，却又被谢尔登赶了回去，在此处坚守了两日，直到格兰特的援军抵达。虽然，北军最后很凄惨地输掉了这一仗，但是谢里登的表演依旧十分抢眼，更重要的是保证了通向彼得堡大路的畅通，为北军争取了极佳的战略态势。随后又和南军的厄尔部在里士满与彼得堡之间展开漫长的拉锯战。而在黄客站战役中，谢尔丹如愿以偿地和南方最出色骑兵将领詹姆士·埃韦尔·布朗·斯图亚特交手，在乱军中斯图亚特重伤落马（战役后不治），谢尔登乘此机会成功击退了南军，兵临里士满城下。1865年4月1日，其又和南军名将乔治·皮吉特在五岔口战役中交手。当时北军计划是以谢里丹的骑兵吸引皮吉特注意，引诱其离开自己的战线，随后第五军对皮吉特暴露的左翼展开攻击。作战中，谢里丹的诱敌行动很成功，然而第五军的攻击却很迟缓，攻击的时间和位置都不是谢尔登所计划的。尽管如此，北军的侧击还是出乎南军的意料，皮吉特随即遭到惨败。结果，北军以800人的伤亡击破了李的最后防线，皮吉特损失了近4，000人。格兰特对这个胜利表现的很兴奋，随即下令对南军发动了最后的全面突击。这一战成为可南军最后一次抵抗，也是李最后希望的破灭，他的防御已经彻底崩溃了。4月9日，罗伯特·爱德华·李在阿托克马斯和格兰特正式签署了投降协议。当时，谢里丹也在场，成为了这一历史时刻的见证人，当时他刚刚34岁，却已经是格兰特的左膀右臂了。

内战结束后，谢里丹被调往德克萨斯负责当地防务，尤其是监视墨西哥境内混乱的局面。当时法国的拿破仑三世正在插手墨西哥事务并与当地武装陷入战斗状态。1867年，谢里登改任密西西比军区司令，负责对于当地残余印地安人势力展开清理作战，以其彻底征服。1869年，格兰特入住白宫。和谢里曼一样，作为格兰特的嫡系人马，谢里登也是被大大提拔。同年，谢里丹被晋升陆军中将，成为芝加哥军区司令。任内，谢里丹依旧是对西部印地安人展开了一系列清剿。而在这系列军事行动里，谢里丹也成为了第一个发现今天黄石公园的白人，并在当时就支持将其纳为国家公园。1870年，在自己力争下，谢里登作为军事观察前往欧州，实地考察了彻底改变欧洲风貌的普法战争。谢里丹于1870年8月初抵达柏林。普王威廉（日后的德皇威廉一世）亲自接待了这位年轻的内战名将，随即邀请谢里丹和普军总指挥部一起行动。谢里丹也成为普军总指挥部里的唯一个外国人，其随着毛奇、奥托·冯·俾斯麦以及普王一路从普鲁士杀到了法国境内。最后在色当目睹了法兰西第二帝国的彻底失败。也在凡尔赛宫目睹了德意志的统一和崛起。谢里登在这一连串不寻常经历中，和普王威廉、毛奇以及俾斯麦都有了不错的私交。而普军优秀的武器装备、训练素质以及强悍的战术给谢里丹留下了极为深刻的印象，回国其一直在继续推动美军的现代化从而始终以欧洲的先进标准作为学习目标。

1871年10月，谢里丹在芝加哥大火期间也同样表现出色。当时他果断命令军队开入城内，全面接管芝加哥的管理，及时制止了抢劫和火灾的蔓延。并大火熄灭后，一直指挥城中的重建和秩序恢复。1875年，已经44岁的谢里丹和卢克将军的女儿艾玲结婚。1887年，谢里丹退休前夕，美国通过了新的军衔划分法案，谢里丹正式被授予陆军四星上将军衔。次年8月5日，由于严重的心脏病，谢里丹在密苏里的纳奎特（Nonqui）谢世。

作为一名军人，谢里登是很优秀的。其有着过人的胆量，在面对优势敌军时，仍然能够冷静地加以对抗，乃至主动发起进攻。和内战时期大多数将领不同，谢里登是那种比较善于灵活变通的指挥官，不会执着于无效的攻击或是死守某处。同样也极为善于用些小花招迷惑对手，然后出其不意地突击对手的致命弱点。谢里登是内战期间南北双方中第一流的骑兵将领，其战绩和晋升的速度恐怕也是在双方战将里空前的，这是约翰·巴福德和詹姆士·埃韦尔·布朗·斯图亚特都无法相比。