太尉始于秦朝時期。秦王嬴政登基后，改設三公九卿。三公即為丞相、御史大夫、太尉，分別為輔政，監(jiān)察及治軍領兵。但秦朝并沒有人擔任太尉，也就是形同虛設。,原因在于秦當時為中央集權制，軍政經(jīng)合為始皇帝一體，所以若將兵權拱手送于他人之手，秦王政的統(tǒng)治會受到嚴重威脅。

　　到西漢時期中央和地方各級官吏的名稱基本沿用了秦朝的制度。但與秦朝不同的是，在皇帝之下設立了三套平行的官僚體系，分別為丞相率領的外朝官、大將軍率領的內朝官、以及處理皇帝與皇族私人事務的宮廷官。

　　其中外朝官為西漢中央政府的最高行政權力由丞相、太尉、御史大夫三人分掌，其下分設九卿、列卿等。