1965年，拉萨市试图打通沿帕隆藏布江、雅鲁藏布江通往墨脱的道路，俗称进入墨脱的沿江路。动员民工700余人，在帕隆藏布江上修建了一座简易悬索吊桥，继而开挖路基，但因太难太险而被迫停工，结果是“花了80万，死了8个人，修了8里路”。

　　1974年，西藏公路勘察设计院人员从波密县扎木镇循人行背运的古道，翻越嘎隆拉雪山勘测至墨脱，确定了修建路线走向，这也是目前墨脱公路的大致走向。1975年开始按这条线路修建墨脱公路，人数最多时达到3000多人。

　　1980年，开始续建墨脱公路，修到了106K（公里）处，但一个晚上的塌方，大段新路被毁，开过去的汽车、筑路机械和桥梁钢架等都因无法撤回而废弃。工程中除扎木大桥和扎木往前24K（公里）处公路能使用外，其余大都被毁。

　　1990年，墨脱公路修建再次启动，到1994年2月，修通了进入墨脱的一条土质公路。几辆汽车跌跌撞撞驶入墨脱，可是因为塌方和泥石流，再也没驶出城。至今仍矗立在波密县城扎木镇的“墨脱公路粗通纪念碑”，成了中国公路史上通车时间最短的纪念碑。

　　但是，国家从未放弃修建墨脱公路。2009年4月，墨脱公路新改建工程全线开工，这是历史上第五次修建墨脱公路。