直隶大城（现河北省大城县）人，家居天津市。天津武备学堂学生，受清廷选派，保送日本陆军士官学校第一期炮科，毕业后名列第一，与当时的同学吴禄贞、蓝天蔚“深相结纳”，被称为“士官三杰”。后任北洋第三镇炮兵标统。
清光绪三十一年（1905年），张绍增入直隶督练公所教练处任总监督。清宣统二年（1910年）张绍增随贝勒载涛出洋考察欧美陆军，嗣后任陆军贵胄学堂监督。少年权贵载涛、载洵都是他的学生。清宣统三年（1911年）调任第二十镇师统制，驻沈阳、新民一线。武昌革命军兴起，奉命入关，师次滦州，张向清廷上书12条，主张立宪，还政于民。是年9月，清廷赏予侍郎衔，免去统制职，任命为宣抚大臣。张奏请开去差缺，回津就医，迅即准其所请。
1912年袁世凯任命张绍曾为长江宣抚大臣，为南北议和而奔走。是年任直隶进步党正部长。1913年调任绥远将军兼垦务督办。时值外蒙古叛乱内犯，张绍曾指挥三路军队迎敌，打退了叛乱蒙军，为保卫祖国边疆、维护祖国统一立了大功。大总统袁世凯表彰其功绩，授予他陆军上将、勋三位秩爵和一等文虎章。1914年4月，张绍曾奉调回京，加封“树威将军”称号。
天津张绍曾旧居
1915年夏，针对袁世凯复辟称帝活动，张绍曾和蔡锷私下议论袁世凯阴谋，并组织力量准备起事。当蔡锷在云南举起护国军大旗时，张绍曾极力响应。1917年黎元洪任大总统，年底张绍曾被任命为陆军训练总监。1921年，张绍曾到庐山发起“国事会议”主张全国议和，各省军阀解除兵权，但未获响应。1922年以后，张绍曾在唐绍仪、王宠惠、汪大燮三届北洋内阁中连任陆军总长。1923年黎元洪任大总统时，张绍曾任北洋内阁总理兼陆军总长，主张迎孙中山入京协商南北统一。直系倒黎后张绍曾下台。是年6月，他到天津当寓公。