木曽馬の起源はいろいろとありますが、蒙古草原馬であるといわれていて、弥生時代から古墳時代にかけて中型馬が朝鮮半島をへて入ってきたとされています。ただ、この中型馬は蒙古草原馬そのものではなく、タルバン系高原馬の影響を多分に受けたものであろうと考えられています。
タルバン系高原馬とは現在の中国西部に存在していたといわれる馬で、漢の武帝のが汗血馬や千里馬、天馬などの駿馬を得たころに中国に入り入ってきたとされている。
漢代の中国には北方の蒙古に生息していた草原馬が飼育されており、導入された高原馬と交配させたとされている。純粋に近い蒙古草原馬は平均体高が１３１ｃｍであった言われており、かつての純度の高い木曽馬とさほど体高の違いはなかったようです。
日本在来馬は、小型馬（宮古馬など）と中型馬（木曽馬など）に分かれるが遺伝子的にかなり近く小型、中型という2つの型に区別できないといわれています。
したがって、木曽馬の起源は蒙古系中国馬であったとされ、長い年月山間高冷地の厳しい自然環境と用途に適応して現在のような木曽馬になったと考えられる。
以前乗馬センターにモンゴル人留学生が来たときに「モンゴルの馬に混じってもわからないですね」と言っていました。
日本の書物に出てくる木曽馬は「和漢三才絵図」（５３２年）に現在の岐阜県中津川市神坂のあたりにあったとされる霧原牧に馬が放牧してあるという記述で、この牧より天智天皇の御代（665年）「馬２０頭が献上された」と記録がある。
この霧原牧には１００頭の雌馬を飼育し、毎年６０頭を目標に仔馬が生産されていたとされている。
※ 霧原牧には諸説があるが、木曽馬発祥の地は木曽の霧原牧であったと思うのが妥当とされている。
中世に至るまでの木曽の歴史は明らかではないのですが、平安時代の中期には木曽古道はすでに通っており集落ができ、駅馬として木曽馬の飼育が始まっていたと考えられています。しかし、この頃の木曽路は「馬が桟道を踏み折って谷底に落ちる」など馬にとってはまだまだ危険な道だったようです。
木曽義仲のころ（１１５５年）木曽街道沿線ばかりでなく奥地の村々にも木曽馬が飼育され馬産地としての形成がされ始めていたようです。当時の木曽豪族中原兼遠の館は木曽福島新開にあり、近くの駒ケ岳山麓にある大原（現在の木曽駒高原のあたり）は木曽谷唯一の広い高原で放牧や騎乗に適していました。彼は源氏の再興図るために木曽馬の増産を計っていたようで、義仲旗揚げの頃には相当数増産されていたようです。しかし、平家討伐のためには騎馬が不足していたようで、１１８１年義仲は開田村から村境にある長峰峠を越えて飛騨に侵入し、平家を駆逐しながら駿馬を徴発したようです。
義仲や巴御前が乗っていたとされる葦毛の馬は現在の木曽馬には存在していませんが、当時は白色の葦毛、月毛、佐目毛などの系統が多かったようです。
鎌倉時代に入ると木曽は名馬と産地として次第に名声が高まり、諸国の武将たちが木曽に優駿を求めたとされています。木曽は自然の要害で戦国の世に至るまで他国の侵略を受けることなく木曽馬ももっぱら山間地の農耕馬や街道の運輸に携わっていたものと考えられています。
当時の木曽馬産の中心は上松町以北王滝三岳から木祖村までであり、現在最も木曽馬が飼育されている開田村は最も開花が遅れ南北朝時代（１３３６年頃）に創開されたといわれている。その頃には後に鎌倉街道といわれた飛騨街道はすでに開通しており、開田村に土着した人々によって木曽馬の飼育が初まっていたと考えられている。中でも、開田村に隣接する旧大野郡高根村日和田地籍は鎌倉期に豪族日和田次郎左衛門の領地で広大な牧野を利用して多くの飛騨馬が生産されていたこと開田村の馬産に影響を与えたものと考えられる。
戦国時代に入ると木曽にもしばらく戦乱の世が続き、木曽馬の出番がやってきた。
永正元年（１５０４年）飛騨の三木重頼の軍が飛騨馬によって美濃加子母より白巣峠を越えて王滝に侵入し、木曽勢はついに敗走した。天文１８年（１５４９年）甲斐の武田勢に攻略を受けたが、鳥居峠の要害で撃退した。再度、天文２３年（１５５４年）武田晴信が木曽を攻略し木曽勢は敗れ木曽義康は武田氏と和睦し、贄川の桜沢を境として現在に至っている。続いて永禄３年（１５６０年）飛騨三木家の桧田治郎左衛門が日和田から長峰峠を越えて開田村西野を攻略してきたが、木曽勢は西野峠でこれを駆逐した。その後、天正１０年（１５８２年）木曽義昌の謀反を聞いた武田氏の来攻を受けたが、織田氏の応援を得て撃退した。この合戦で、優れた騎馬軍団をもつ甲州勢も険しい木曽の山岳戦では木曽馬に騎乗した木曽勢に抗しようもなく武田典厩も落馬し負傷したと伝えられている。木曽の気候風土で育った木曽馬は山岳戦にあっては山坂の上り下りにスピードがあり、変幻自在であったと思われる。
古代貢馬（くめ）制度の用語である「毛附（けづけ）」の語が木曽で初めてでてくるのは永禄１１年（１５６８年）で、続いて天正１２年（１５８４年）木曽義昌の触書の中に「毛附の物成」という年貢（牧畜税）を徴収していた事実が残っている。したがって、鎌倉時代以降、木曽家は毛附馬制度によって年貢を徴収していたと考えられ、馬を年貢として領主の資金源としたことから推測するには木曽馬は重要な産物であり、戦国時代末期には相当数の木曽馬が飼育されていたのではないだろうか。その後、この制度は木曽を支配した山村氏が江戸初期に藩より認められ、代官の特権として江戸時代最後まで存在していた。