辽代，今准格尔旗境置榆林县、河滨县，隶属西京道东胜州（治所今托克托县）；今旗境内驻金肃军。西夏元德七年（1125），今旗全境入西夏。元朝，今旗境属中书省大同路东胜州。明正统十四年（1449）前，今旗境大部属东胜右卫。明正德元年（1506），今旗境统属蒙古鄂尔多斯万户。

清顺治六年（1649），编为鄂尔多斯左翼前旗，俗称准格尔旗（当时辖境相当于今准格尔旗等地区）。设置札萨克，旗衙门驻札勒谷，世袭管理旗务。旗下设8哈拉，42佐领，逐水草而居。清康熙三十六年（1697），开始在长城以北的50里禁留地内开放20里～30里，允许汉人进入垦荒种地。清乾隆元年（1736），又向北延伸10里～20里，并划出10里～15里的黑界地。