1835年3月24日斯蒂芬生于斯洛文尼亚克拉根福附近的圣彼得村，父亲亚历山大是个小店主，在克拉根福完成了小学学业，期间就展露了他过人的天赋，并且对文学产生了较大的兴趣。1853年高中毕业后，离开克拉根福来到了维也纳大学学习数学和物理，1857年大学毕业，并于1858年在维也纳大学获得哲学博士学位，之后，他在大学做过一段时间的义务教师，教授数学物理学。1863年被评为物理学教授，并在该大学任教。1866年斯蒂芬当选为物理学研究所的所长，成为维也纳科学研究院和欧洲的一些科研机构的成员，并在1875年担任科学院的秘书职务。

早在斯蒂芬的研究之前，德国物理学家 基尔霍夫已经将理想的辐射现象描述为一个“ 绝对黑体”，即在任何温度下对任何波长的辐射能的吸收率都等于1的物体，是一种理想的模型。1879年，斯蒂芬通过实验断定：黑体的辐射能力正比于它的绝对温度的四次方，1884年，这个结论在理论上经波尔兹曼验证，从而形成了“斯蒂芬－ 玻耳兹曼定律”。

1893年1月7日，约瑟夫·斯蒂芬在奥地利的维也纳去世，享年57岁。