古代日本从中国导入律令制体制的时候，将执掌祭祀的神祇官和执掌政治的太政官二者完全分开，形成了二官体制。太政官统括八省——中务省、式部省、民部省、治部省、兵部省、刑部省、大藏省、宫内省——是最高的国家机关。天平宝字2年（758年）到天平宝字8年（764年）之间曾使用了“乾政官（けんせいかん）”这一唐风称呼。

到了平安时代，摄政、关白代理天皇执政，因此这一时期太政官的地位比较低，但是作为国家的最高机关，太政官仍然在国政的处理过程中发挥着作用。

进入武家社会之后，太政官的实际作用逐渐被瓦解。镰仓时代，太政官仍具有政务处理机构的功能；但是到了室町时代，太政官就基本形式化了，其中的官职也仅仅作为名称而存在。

明治维新之后，律令制被彻底废止，律令制太政官制度也寿终正寝。

太政官与律令制的其他部门一样实行四等官制，设 长官、 副官、 判官（审查官）及主典（书记官）。太政官系统包括议政官（政策决定机关）、少纳言局和弁官局（事务部门）、巡察使（临时监察官），在这之下设置八省。太政官系统具有唐代的门下省与尚书省的功能：少纳言局责类似于门下省，弁官局则类似尚书省。

在古代中国，与太政官类似的总揽政务、辅佐皇帝审议政策的机构，被称为“台阁”。日本在向唐朝学习律令制的同时也用“台阁”来称呼太政官。这种称呼也被明治维新之后的太政官制继承，直到1885年用以“内阁”为中心的内阁制度取代了太政官制。