阿瑟·康普顿1892年出生于美国俄亥俄州伍斯特的一个学术世家。父亲伊莱亚斯·康普顿是伍斯特大学（现为伍斯特学院）的院长。阿瑟·康普顿后来进入这个大学学习。他的大哥卡尔·泰勒·康普顿也就读同一所大学，并且同样成为物理学家，后来曾担任麻省理工学院的校长。二哥威尔逊·H·康普顿是一名外交官，曾任华盛顿州立学院（现为华盛顿州立大学）校长。

康普顿1913年取得伍斯特大学学士学位，1914年和1916年分别取得普林斯顿大学的硕士和博士学位。毕业后，康普顿先后在明尼苏达大学短暂执教一年、到匹兹堡一家公司当工程师两年、到剑桥大学当研究员一年。1920年，他成为圣路易斯华盛顿大学的物理教授，1923年转到芝加哥大学。

康普顿1918年开始研究X射线的散射。1922年，他发现X射线对自由电子发生散射时，光子的能量减少，而波长变大。这一发现被称为“康普顿效应”或“康普顿散射”，后来又被他的研究生吴有训进一步证实。由于这项成就，康普顿被授予1927年诺贝尔物理学奖。

1934年，康普顿担任美国物理学会会长。

1941年，康普顿与美国科学研究与发展办公室主任万尼瓦尔·布什以及回旋加速器的发明者欧内斯特·劳伦斯一起，接管了发展原子弹的计划。康普顿负责其中的“S-1委员会”。这个委员会的任务是研究铀的属性以及制造方法。1942年，康普顿指定罗伯特·奥本海默为委员会的首席理论专家。委员会的工作在1942年夏天被美国军方接管，并成为曼哈顿计划的一部分。1941年12月7日，日本偷袭珍珠港之后，康普顿得到资助，在芝加哥大学研究钚，并且参与了一项目标为在1945年1月制造出世界上第一颗原子弹的计划。这项计划后来未在预定日期达成，但仅晚了6个月。康普顿的实验室表面上被冠以“冶金实验室”的名称，目标是建造可将铀转变为钚的连锁反应堆，并设计原子弹。1942年12月，在芝加哥大学的斯塔格体育场，冶金实验室一组由恩里科·费米领导的科学家成功实现了世界上第一个核反应堆的第一次持续的核连锁反应。整个战争期间，康普顿一直扮演着重要的科学顾问和管理者的角色。他曾在1942年担任美国科学促进会的会长。

战争结束后不久，康普顿于1946年回到圣路易斯华盛顿大学，成为该大学的第9任校长。在康普顿的任内，圣路易斯华盛顿大学于1952年正式在本科生中废止了种族隔离制度，又委任了第一名女教授。由于战争结束后大批退伍军人回到美国，圣路易斯华盛顿大学也在当时达到创纪录的注册学生数。康普顿在科学界的声望和人脉帮助他为该大学招来许多知名的科研人员。尽管如此，后来有历史学家批评康普顿在该大学实现种族融合的过程过于缓慢，使这所大学成为圣路易斯主要的高等院校中最晚向非洲裔美国人开放的一所。康普顿在1953年辞去校长职务，但仍保留教职，直到1961年退休。

除了诺贝尔物理奖以外，康普顿还先后获得过拉姆福德奖（1926年）、休斯奖章（1940年）和富兰克林奖章（1940年）等奖项。为纪念这位物理学家，有多项事物以其名字命名。月球上的康普顿环形山的命名是为了纪念阿瑟·康普顿和他的兄长卡尔·康普顿。圣路易斯华盛顿大学的物理研究大楼也以其名字命名。芝加哥大学有学生宿舍楼被称为康普顿宿舍。康普顿在芝加哥的旧居被列入美国国家历史古迹。美国国家航空航天局把大型轨道天文台计划中的伽玛射线天文卫星命名为康普顿伽玛射线天文台。