他是民国第10年里政坛上翻江倒海的角色。虽然他名义上的官职最高不过陆军部次长、国务院秘书长，但他实际上是段祺瑞的智囊，皖系的核心。段祺瑞及其皖系的成败功罪，他起码要负一半责任。

民国初年，中国外交史上的大事之一，就是宣布独立自治的外蒙古一度复归。复归之功，当推徐树铮。

外蒙古从清代开始，它的政教领袖是哲布尊丹巴大活佛。到了20世纪初，哲布尊丹巴已经传了八世后，不得不向袁世凯政府低头，取消独立，保留自治，但拒绝袁世凯政府派特使来库仑。

1919年6月，徐世昌政府正式任命徐树铮为西北筹边使兼西北边防军总司令。10月，徐树铮持节出关。 10月底到达库仑。他效诸葛孔明擒纵之法，恩威并用软硬兼施，仅用半个多月时间，就迫使哲布尊丹巴就范。11月17日，外蒙自治官府递交取消自治的呈文。22日，中央政府颁布“俯如所请”的大总统令，外蒙正式回归。

北洋时期，徐树铮人称小徐，以区别于老徐(徐世昌)。

据说段祺瑞初遇徐树铮，长谈后称道：“先生才学，胜祺瑞十倍。”当时，徐树铮22岁，段祺瑞37岁。4年后，段祺瑞保荐徐树铮赴日本士官学校留学，1910年学成归国。从此，徐树铮一生追随段祺瑞。

段祺瑞和徐树铮有不少地方很相似。两人都熟读诗书，自奉俭约，从不中饱私囊。两人都有点清高，刚愎自用，徐树铮尤甚。小徐恃才傲物，目无余子，除了老段（段祺瑞，以区别于小段——段芝贵），没有把谁放在眼里。

1925年12月30日凌晨一时，徐树铮在河北廊坊车站被一群士兵拉下火车，押往站外枪杀。杀人者，就是后来赫赫有名的冯玉祥，而其起因，则是徐树铮数年前杀死了冯玉祥的舅舅陆建章。

据说下台后的段祺瑞在去天津的路上车经廊坊，停车开窗而望达10分钟，然后老泪盈眶掩面而泣。

段祺瑞去世时，留言子孙，每年家祭，祖宗牌位旁，要摆上徐树铮的牌位，给徐树铮磕头。