按正史记载，作为浴血沙场能征善战的将军，张辽当为曹魏阵营的第一人。《三国志》将张辽列为曹魏五大将之首。王歆更赞曰：“曹魏多名将，而张辽为第一。”
《三国志·张辽传》中曾提到张辽“本聂壹之后，以避怨变姓”。张辽的先祖聂壹，就是汉武帝时期著名的“马邑之谋”的始作俑者。史载，在西汉元光元年(即公元前134年)，雁门马邑一带的豪商聂壹出于对匈奴的熟悉和对西汉王朝边患不息的焦虑，通过人向汉武帝建议：和亲之后汉朝已经取信于匈奴，只要诱之以利，必定能将之击溃。于是聂壹奉命以自身作饵，亲到匈奴阵营，向当时的军臣单于诈降，更称自己能斩杀马邑县令，迫使马邑举城投降，然后可尽得该城财物。单于信其言，又贪其利，便立刻策划起兵。聂壹回汉后，以一名罪犯的首级讹称为马邑长吏之头，以示时机已至，引诱匈奴军深入重地。
汉武帝派出五位将军连同车骑步共三十万在马邑设伏。这五位将军是卫尉李广骁骑将军，太仆公孙贺轻车将军，大行王恢将屯将军，太中大夫李息材官将军，御史大夫韩安国护军将军。各位领军都隶属韩安国，约定在单于进入马邑时纵兵出击。
计划本来顺利进行，讵料单于走到左云一带时，发现城野之间只见牲畜，不见一人，于是起了疑心。他派兵攻下一个碉堡，俘虏了一名尉史。该尉史揭穿了早已有三十多万汉军埋伏在马邑附近的真相，悉破阴谋的单于大惊退军，汉军设伏全无用武之地。“马邑之谋”亦以失败告终。聂壹一片丹心付于荒草，不但无功，还成了汉、匈两方都怀疑的人。为了避祸，他改姓为“张”。
三百年后，老张家有一个男娃出世了，他便是张辽。张辽年轻时，曾经做过郡吏。东汉末年，因其武力过人，被并州刺史丁原召为从事，并派他带兵到京城。后来又被大将军何进派去河北招兵买马，张辽回来时，189年，何进的势力已被消灭。于是又归附董卓，后来董卓兵败，张辽又带着手下的将士们归附吕布，担任骑都尉。198年，吕布在下邳被曹操击败之后，张辽率部投降，被拜为中郎将、赐关内侯，并担任鲁相。后因战功被晋升为裨将军。
张辽归降曹操以后，跟从曹操转战南北，讨袁绍，平河北，征荆州，战孙权，屡立战功，与曹仁、夏侯渊、张郃、徐晃被并称为曹操的五大良将。曹操剿灭袁绍的势力后，派遣张辽管辖鲁国各县，并跟随夏侯渊剿灭东海的昌豨，成功劝降。后随曹操去黎阳剿灭袁谭、袁尚联军，因战功而升为中坚将军。
曹操返许，命张辽和乐进攻下了阴安，再随曹操再攻下邺。更攻下了赵国、常山。205年，随曹操成功剿灭了袁谭，攻下海滨，并击败辽东的贼兵。张辽引军还邺城时，曹操亲自出迎张辽，更与张辽共载一车，并封张辽为荡寇将军。
接着张辽又率军攻打荆州，平定了江夏各县，在临颍屯兵，受封为都亭侯。207年，随同曹操进攻于柳城的袁尚，途中遇上乌桓军。张辽壮气奋发，劝曹操即时赴战，曹操壮其行为，亲自把所持的麾旗授予张辽。辽遂引军突击，大破敌兵，亲斩单于蹋顿於阵前。
那时候荆州尚未安定，随后张辽还驻荆州时，军中忽有谋反者骚动起事，半夜惊乱起火，全军乱作一团。此时张辽顾谓左右道∶“不可惊动。这一定不会是全营尽反，必然是引起叛变之人，想藉此惑乱他人而已。”于是传令军中，只要不是反乱者安坐勿动。而张辽则带领亲兵数十人，守立于阵中。很快骚乱就平息了，军中随即擒获首谋者，并将其斩杀，彻底平息了事态。
其时卢江人陈兰、梅成占据氐等六县作叛，曹操于是遣于禁、臧霸等讨梅成，又命张辽督领张郃、牛盖等讨陈兰。当时梅成诈降于禁，于禁引军便还。不料梅成趁机率众往投陈兰，二人据险扎营于天柱山自守。张辽意欲进山，诸将皆说∶“此山道路险恶，很难深入用兵。”而张辽却说：“这正是所谓'一与一，勇者得前耳 '(只有勇者可以前进)。”于是进至山下安营，起兵攻击，终于斩下陈兰、梅成首级，尽虏其众。曹操论诸将功劳，说：“登天山，履峻险，以取兰、成，荡寇 (荡寇将军张辽)功也。”
张辽不仅长于征伐，而且颇有战略眼光。建安十二年曹操远征袁尚时，张辽劝谏说：“许昌，现在是天下的都会。天子(汉献帝)正居许昌，您千里北征，如果刘表派刘备偷袭，挟持了天子而号令四方，形势就危险了！”果然，曹操北征之后，刘备即向刘表建议袭许，而刘表不能用其计。但就当时形势而言，在刘表为失计，在曹操为侥幸，张辽的担心是很有见识的。
张辽在其二十余年的戎马生涯中，攻无不克，守无不固，其为将之勇力和智略皆有可观。张辽军旅生涯最辉煌的巅峰是对孙权的合肥之战。208年，曹操于赤壁之战大败，派张辽、李典、乐进率七千余人驻合肥，并派护军薛悌送函给张辽，函署“贼至乃发”。建安二十年(215)八月，吴主孙权亲自率兵十万围困合肥。此间，驻守合肥的曹军仅七千余人。两军对阵，众寡悬殊。偏偏在这危急关头，曹操又亲自率兵西征在外，一时无法派遣军队来援救合肥。遇此严峻形势，对于驻守合肥的曹军来说，实在是凶多吉少。守将乐进、李典相觑无奈，猛将张辽见此拍案而起曰：“曹公今远征在外，若坐等曹公派援军来救，即便援军来到，那时吾等也早被吴军击败。现在唯一的上策，是在吴军尚立足未稳之时，主动出击，挫其锐气，方能安定众心，鼓舞士气，得以守住城池。成败之机，在此一战，诸君何疑？”
李典与张辽素有隔阂，然在此危急关头，闻张辽之言，便慷慨陈词曰：“此国家大事，既然将军主意已定，奋不顾身，吾等能以小私而舍弃大义乎？”于是，张辽夜募敢从之士八百人，于破晓时突杀吴阵，直战至日中乃休战，使吴军遭受重创。此战中，“(张)辽披甲持戟，先登陷陈，杀数十人，斩二将。”孙权猝不及防，10万大军被逼迫退守到一片高地。后来见张辽兵少，“乃聚围辽数重”。张辽军左冲右突，勇不可当，一度与数十人杀出重围，后见自己的大部人马还在围中，又折返回阵，救出自己的部下。孙权的军队“皆披靡，无敢当者”。一场大战从清晨杀到中午，“吴人夺气”，孙权只好撤退。
后孙权“守合肥十余日，城不可拔，乃引退”。当孙权与诸将行至逍遥津北时，恰为张辽侦知。辽即率步骑突然而至，甘宁与吕蒙等吴将与辽力战，凌统则率亲兵护权出围。当孙权退至逍遥津桥时，见桥南已拆、丈余无板。在此危急关头，孙权近监谷利急中生智，于孙权坐骑后猛着一鞭，使孙权借助奔马之势飞桥而过，幸免于难。此战史称张辽威震逍遥津，是三国时期魏吴相争中创下的一次以少胜多的著名战例。
此役后曹操大赞张辽，拜征东将军。建安二十一年，曹操又征孙权。军到合肥，曹操巡视昔日张辽作战的地方，赞叹良久。后来继位的曹丕曾评价说：“合肥之役，辽、典以步卒八百，破贼十万，自古用兵，未之有也。”并赞其“此亦古之召虎也。”《三国志魏书十七张辽传》(召虎是与方叔、尹吉甫、秦仲等齐名的东周大将。)
此后，张辽以征东将军之职屯兵居巢(今安徽桐城南)，防范孙权。曹丕接任王位后，改迁张辽为前将军，也封其兄及子为列侯。孙权再叛，曹丕遣张辽还屯合肥，晋爵都乡侯。曹丕准其母乘车及兵马送其家人到他驻军的地方，这在当时是至高荣誉。后曹丕称帝，封张辽为晋阳侯，增食邑至两千六百户。黄初二年，曹丕还特别替张辽建造屋舍，替他母亲兴建殿室，又把跟随张辽的步卒封为虎贲。
张辽不幸在此时得了疾病。曹丕便遣侍中刘晔带太医视疾，甚至亲到其营执其手问候，赐其御衣，更派太官送御食。待张辽之疾稍愈，辽即还屯。正当其时，孙权复叛，黄初三年，曹丕遣张辽乘舟，与曹休到海陵临江驻防。孙权知张辽至此，告诫部下说：“张辽虽病，不可当也，慎之！”其畏张辽如此。同年，张辽抱病与曹休伐吴，打败吴将吕范。
不久张辽病笃，逝于江都，魏失栋梁，一代名将就此陨落。曹丕为之流涕，谥曰刚侯。其子张虎嗣其爵位。