据在市境内黑水国遗址出土的新石器时代的石斧等文物证明，早在上古时代，人类就在那里过着打猎、游牧的生活。张掖在远古属雍州之地，夏商时为羌族所居。周时，戎、狄两族在那里居处，春秋战国期间乌孙、月氏人在那里繁衍生息。战国时成立城邑，构筑长城，今张掖一带还留有秦长城遗址。
后乌孙被月氏赶走迁逃新疆的伊犁，张掖归"控弦者可一二十万"的月氏族所属。月氏国都（今民乐永固城）与昭武城（今临泽县境内）昔时同是月氏聚居在黑河两岸的中心城市。
汉文帝前元四年（公元前6年），拥有几十万强兵的匈奴冒顿单于击败了月氏人；张掖成为匈奴之中右贤王的领地。
匈奴占据后，不竭停止掠夺，毁坏了匈汉的友好往来，割断了汉王朝同西域早已存在的关系。公元前121年由汉武帝派霍去病西征战胜匈奴后始设张掖郡，取"断匈奴之臂，张中国之掖（腋）"之意而得名。
张掖古为河西四郡（敦煌，酒泉，张掖，武威）之一，历代中原王朝在西北地域的政治、经济、文化和外交活动中心。
张掖曾是北凉国的都城、行都司的首府、甘肃省省会和历朝诸代设州置府的治所，素有"塞上锁钥"之称。市内汉明长城、历代石窟、寺民、碑塔、古城、烽隧、墓葬群星罗棋布。大禹导弱水入合黎，老子骑青牛入流沙，周穆王乘八骏西巡会见西王母的传说，张骞、班超、法显等都曾路过张掖前去西域，隋炀帝于609年在张掖曾召集西域27国君主使巨，召开了"万国展览会"，唐玄奘经张掖去西天取经，马可·波罗旅居张掖一年等汗青传说和记载，使那块地盘愈加奇异。
创建于魏晋期间的马蹄寺、金塔寺，保留着文物价值极高的雕塑、壁画。张掖次要旅游景点：马蹄寺·大佛寺 ·张掖 ·木塔寺 ·山丹军马场 ·山丹新河驿 ·甘泉公园 ·河西学院 ·镇远楼 ·肃南康隆寺猎场 ·张掖市丛林公园 ·东大山 ·龙首山 ·道巷庙 ·甘州古塔 ·诸葛楼 ·东山寺和西武当 ·黑水国遗址及汉墓群 ·许三湾城及墓群 ·牍侯堡 ·民勤会馆
出名的旅游区：山丹军马场闻名遐迩，构画出独具西部特色的灿艳画卷，它位于张掖地域山丹县南55公里处的祁连山区大马营草场，是目宿世界上汗青最悠久，亚洲规模更大，世界第二大马场。
山丹军马场地势平展，水草丰茂，夏日绿草如茵，冬季一片金黄，是马匹繁衍、生长的抱负场合。早在三千多年前，那里就已养马。自西汉以来，那里以本地蒙古马为根底，又引进了各类西域良马，杂交培育出的山丹马驰誉全国，那里遂成为历代皇家军马养殖基地，经久不衰。
山丹马体形匀称，粗壮结实，雄健膘悍，耐粗饲，适应性优良，速度和耐久力俱优，是驮、乘用的良骥，目前共有一万多匹马，旅客到大马营后，继续东行50公里到军马场一游，可举行骑马旅游、野营，参不雅赛马或马术演出，并游览天然光景名胜。