根据科学家的研究，现存大象最近的祖先是古巨脚目（Proboscidea），而古巨脚目最早可以追溯到始新世，约5000万年前的古生代时期。在这个时期，古巨脚目主要分为两类：一类是类似早期的短鬃象，身体上只长着小小的鼻子；另一类是早期长鼻象，它们的鼻子和上颚骨已经部分延长。

在古生代之后的几百万年间，长鼻象与独立演化出的短鬃象一起进化。它们的牙齿逐渐变大，可以嚼碎更有硬度的植物。而鼻子和上颚骨的进一步延长，也为它们取得了更多食物以及在水中寻找食物。

在中新世，长鼻象已经成为一个独立的亚化石版，与其他相对较小的动物相比，更为适应当时林木茂盛的环境地貌。在4000万年前的晚中新世，它们分裂成了八种类型，包括小头象、有毛象、微小长鼻象、福氏长鼻象、斯莫玆长鼻象等，但其中只有长鼻象的后代最终成为了今天的大象。