由于缺少正式的官方历史文件纪录，沙巴早期的历史比较模糊，也只能由一些国外的纪录及考古学家所发现的考古证据来考证。沙巴博物馆收藏了关与这方面的资料。

名称由来

相传沙巴西面海岸的居民喜欢种植一种称为“Pisang Saba”的香蕉。这种香蕉成为远近驰名的特产，于是人们便把这里称为“Sabah”。另一个说法是，因为沙巴处于北半球的台风地带以南，不受台风的干扰，故被称为“风下之乡”，吸引那些到苏禄群岛经商的回教商人停驻以避台风；而在阿拉伯语，“风下之乡”被称为Zir-e Bad，发音接近“Sabah”。

早在 15 世纪，文莱和菲律宾南部一带的商人已经把这个地方称为沙巴。然而，英国人于 1881 年统治沙巴后，就把地名改为北婆罗洲。直至 1963 年，沙巴成为马来西亚联邦的一分子，才恢复固有名称。

文莱帝国

在第七世纪，有一个定居的社会名为 Vijayapura，向三佛齐帝国进贡，被认定是当时已存在于婆罗洲东北海岸附近的文莱帝国的最早封地。另一个让人怀疑是否确实存在的王国是第九世纪的渤泥。学者认为，渤泥位于文莱河口，并且是文莱苏丹国的前身。在文莱统治者开始接受伊斯兰教之后，成立了文莱苏丹国。在第五任苏丹博尔基亚于 1473 年至 1524 年间的统治下，文莱苏丹国的领海延伸到沙巴、北方的苏禄群岛和马尼拉，以及南方的砂拉越一直到婆罗洲岛南端的马辰。在 1658 年，文莱苏丹将婆罗洲北部和东部的一部分割让给苏禄苏丹，以答谢协助弭平文莱苏丹国的一场内战。在 1749 年，婆罗洲苏丹国将菲律宾巴拉望省南部割让给西班牙。

据记载，沙巴早在公元 6 世纪就和中国有经济来往，在沙巴博物馆可以看到各式各样的瓮，足证沙巴与中国的关系源远流长。当时中国商人来这里多是为了香料、木材、燕窝等等。中国各朝代古书、史书中都有渤泥的记载，可见当时中国人已经踏足婆罗洲了，甚至在中国南京还保留着明朝渤泥国王的坟墓。