雍正八年(1730年)，长期和清廷对抗的蒙古准噶尔部煽动青海和硕特部首领罗卜藏丹津及西北各族反清，雍正帝为维护多民族国家的统一，决定出兵征讨。因战事紧急，军令需要迅速处理和严守秘密，所以，即令在隆宗门内设立“军机房”，嗣改称“办理军机处”，简称军机处。
“命怡亲王允祥、张廷玉及大学士蒋廷锡领其事”，“廷玉定规制”。按照旨意，张廷玉就军机处的性质、官职、职能、纪律等方面都作出了严格规定，其中涉及到档案的地方就达多处，如：军机处参予官员奏折的处理和谕旨的撰拟；军机章京负责誊写、记档及日常工作；军机处设《存记簿》，“奉旨存议”事务，一律登记；“密事有件”，密封存档，届时折阅办理等。
这一整套严密的规章制度，不仅加强了皇权统治，避免了政出多门以及失、泄密现象的发生，而且更重要的是统一了办文机构，保证了档案的齐全、完整与安全，为利用和编撰方略(志)提供了方便。
康熙十一年(1672年)生，父康熙朝大学士张英。康熙三十九年(1700年)中进士。康熙朝历任检讨、直南书房、洗马、侍讲学士、内阁学士、刑部侍郎、吏部侍郎等职。雍正元年(1723年)升礼部尚书，次年转户部尚书，翰林院掌院学士，国史馆总裁，太子太保。
三年(1725年)，署大学士事。四年(1726年)，晋文渊阁大学士、户部尚书、翰林院掌院学士，并兼充康熙实录总裁官。六年(1728年)，转保和殿大学士兼吏部尚书。
七年(1729年)，加少保衔。同年，因西北用兵，设军机房於隆宗门内，与怡亲王允祥、大学士蒋廷锡董其事。雍正皇帝临终，命其与鄂尔泰并为顾命大臣。乾隆朝，以两朝元老为朝廷所重，死后配享太庙。终清一代，汉大臣配享太庙者惟张廷玉一人。
张廷玉在任期间的主要工作在于担任皇帝的秘书，对清廷政治制度的贡献是完善了奏摺制度与军机处的运作规则。与其他直接处理政务的大臣不同，历史上并没有留下太多关于张廷玉的具体事迹。
张廷玉为人谨小慎微，谨守「万言万当，不如一默」(清：黄山谷言)。故雍正赞扬他「器量纯全，抒诚供职」称其为「大臣中第一宣力者」。
曾先後纂《康熙字典》、《雍正实录》，并充《明史》、《国史馆》、《清会典》总纂官。
张廷玉身为大学士、军机大臣，兼管户部、吏部、翰林院，又担任国史馆和其他好几个修书馆的总裁官，职务繁多，工作忙碌，这是可想而知的。他自己说，雍正经常召见他，一天召见二、三次，习以为常。西北用兵以后，“遵奉密谕，筹画经理，羽书四出，刻不容缓”。
从内廷出来，到朝房办公，属吏请求指示和批阅文件的常达几十上百人。他经常坐在轿中批览文书，处决事务。傍晚回到家中，仍然“燃双烛以完本日未竟之事，并办次日应办之事，盛暑之夜亦必至二鼓始就寝，或从枕上思及某事某稿未妥，即披衣起，亲自改正，于黎明时付书记缮录以进”。雍正也说他和鄂尔泰二人“办理事务甚多，自朝至夕，无片刻之暇”。
然而他有什么政绩呢？翻阅有关史料，我们惊讶地发现，在整个雍正朝，张廷玉只做了两三件微不足道的小事情。他的事功不在于处理某件政事，而在文字工作和规划建立军机处制度以及完善奏折制度。
当雍正即位之初，办理康熙丧事，特命吏部左侍郎张廷玉协办翰林院文章之事，那时，“凡有诏旨，则命廷玉入内，口授大意，或于御前伏地以书，或隔帘授几，稿就即呈御览，每日不下十数次”。雍正五年，准备对准噶尔部用兵，七年，正式出兵。与此相配合，雍正设立军机处，协助他处理军务。
军机处的主要职能是遵奉谕旨，写成文字，并予转发。也就是说，军机处主要是做文字工作。张廷玉为军机大臣时，“西北两路用兵，内直自朝至暮，间有一二鼓者”。八、九年间，雍正身体不好，“凡有密旨，悉以谕之”。由于撰写谕旨的需要，雍正每天召见张廷玉多达十几次。
由于雍正不分昼夜地召见，以至张廷玉要到晚上一二更以后才能回去休息。雍正即位第一年，张廷玉即升为礼部尚书，后又长期担任大学士和军机大臣，可是他在雍正朝所做的主要工作，又确确实实是这些文字工作。
就连雍正本人，也认为张廷玉的作用是“纂修《圣祖仁皇帝实录》宣力独多，每年遵旨缮写上谕，悉能详达朕意，训示臣民，其功甚巨。”
承认他的功劳在于文字。且张廷玉所草之上谕，全合雍正本意，是以屡获表扬。这文书工作，由身为大学士、军机大臣的张廷玉来做，他自然就成了雍正皇帝的高级秘书了。乾隆时当过军机章京的赵翼说，军机大臣“只供传述缮撰，而不能稍有赞画于其间”。
军机处不过是皇帝的秘书处，军机大臣实际上只是皇帝的高级秘书，这种地位和身份，张廷玉自然不能独树一帜，建立创新的大功业。因此，他的作用和政绩只能由参预机务和书写文字方面来体现。
真正称得上是张廷玉大事业的，是他规划建立军机处制度和完善奏折制度。“军机处初设，职制皆廷玉所定”。军机处成为清朝的中枢机构并深深影响清代中后期的历史，这确实是张廷玉的大功业。
另外，确立并完善奏折制度，使它成为清朝的主要官方文书，同样是清朝官僚政治上的重大变化，并对清朝中后期的政治产生了十分巨大而深远的影响。
张廷玉任职年久，长期处机要之地，在雍正年间，他虽然“最承宠眷”，然而“门无竿牍，馈礼有价值百金者辄却之。”他在皇帝身边服务，担负的又是机要文字工作，深知言多必失的道理，因而处处小心谨慎，办事十分细致周到。
他对黄山谷说的“万言万当，不如一默”，极其倾倒，表示“终身诵之”。少说多做，既是他立身的主导思想，也是他的为官之道。他以皇帝的意志为意志，默默去做，不事张扬，事成归功于人主，事败自己首先承担责任。
雍正赞扬他“器量纯全，抒诚供职”。乾隆称许他“在皇考时勤慎赞襄，小心书谕”。作为领导人的秘书，这些确实都是很值得称道的品质。