Bayburt şehrinin adı; eski Kafkas dillerden birini konuşan Urartu/Khaldiler'in bölgeye egemen olduğu dönemlerde, Khalt (Halti) halkı arasında gerçekleşen Hint-Avrupa dilli Mitanni göçmenlerinin sızmaları sonucunda verilmiştir.

Khaltlar'ın arasına yerleşmek üzere bölgeye gelen grupların verdiği söyleniş şekliyle Bagbartu sözcüğü Mitannice'den gelmektedir.

Bayburt tarihinin bilinen geçmişi Anadolu'nun köklü kavimlerinden Azzi ve Hayasalar'la başlar. Onu Hatti, Hitit ve Urartu izler.

Günümüzde dahi; Karadeniz halkı, sahil boyunda yerleşenlerine (tamamen olmasa bile) Laz, iç ve dağlık kesimlerde yerleşenlerine Halt demektedir. Doğu Karadeniz'in iç kesimlerinde Yusufeli ile Şebinkarahisar arasında ki dağlık hat boyunca uzanan bölge; Urartu'nun Baş Tanrı'sı olan Khalt'ın izinden gidenlerin yurdu anldıbına Haldiya olarak tarih boyunca adlandırılmıştır.

Bölge MÖ 7. yüzyılda ilkin Kimmer, ardından iskit akınlarına uğrar. Urartu yıkılır ve bölgeye gelen Kraliyet iskitler'i o döneme göre Anadolu'nun en büyük kenti olan Gymnias'ı kurarlar. Gymnias kentinin bugün kü Bayburt ilinin sınırları içinde ve kuzeyinde olduğu tahmin edilmektedir.

Konuyla ilgili olarak daha detaylı bilgi için Anabasis'in "Onbinlerin dönüşü" adlı kitabına bakılabilir.

iskit egemenliği Ortadoğu'da sona erdikten sonra, bir dönem Ermeni ve daha sonra bölgemizin ünlü tarihçisi Mahmut Goloğlu'nun deyişiyle "Anadolu'nun ilk milli devleti:Pontos" devleti sınırları içinde kalan Bayburt, Pontos devletinin Helen etkisiyle kimlik değiştirmesi ve ardından da Pontos'un Roma tarafından yıkılmasıyla yeni bir döneme geçmiştir.

Bayburt'un bir müddet Roma imparatorluğu hakimiyetine girdiği ve bu imparatorluğun ikiye ayrılması üzerine Doğu Roma toprakları içinde kaldığı bilinmektedir. Bizans imparatorluğu teşkilatına göre ülke, bugünkü eyaletlere benzer bir takım temalara ayrılmıştı. Bayburt, Haldiya Themasına bağlıydı ve bu eyaleti meydana getiren yedi piskoposluğun dördüncüsünü meydana getiriyordu. imparator Justinianus tarafından kalesinin tahkim ve tamir edildiği bilinen Bayburt, Arap fetihleri sırasında Bagratlı Hanedanının hakimiyeti altında bulunmaktaydı.

Bayburt ve yöresi, Türkmenlerinin Anadolu'da ilk yerleştikleri bölgelerdendir. Tuğrul Bey'in Anadolu seferi (1054) sırasında Bayburt, Çoruh nehri ve Karadeniz dağlarına (Parhar) uzanan sahalara akınlarda bulunan Selçuklu kuvvetlerinin hücumlarına maruz kaldı ise de fethedilemedi. Kesin Türk hakimiyeti Malazgirt Meydan Muharebesi'nden sonra gerçekleşti. Şehir 1072'den 1202'ye kadar bazen Erzurum yöresinde hüküm süren Saltuklu Beyliği'nin bazen de Danişmentliler'in hakimiyetinde kaldı. Bir ara I. Aleksios Komnenos'in kumandanı Theodore Gabras tarafından işgal edildiyse de, kısa süre sonra yeniden Danişmentliler'in hakimiyetine girdi. (1098) Selçuklular 1202'de Saltuklu Beyliği'ne son verince Bayburt'u da ele geçirdiler.

Bayburt'un asıl gelişmesi, Türkmen Şahı Süleyman Şah'ın kardeşi Erzurum Meliki Mugisuddin Tuğrul Şah ve oğlu Cihan Şah (1020-1230) döneminde oldu. Tuğrul Şah Bayburt kalesini yeniden inşa ve tahkim ettirdi. I. Alâeddin Keykubad tarafından Moğollara karşı sınırlar kuvvetlendirilirken Bayburt da Erzurum ile birlikte Konya'ya bağlandı. 1243 Kösedağ Muharebesi'nin ardından Moğolların Anadolu'yu istilası esnasında yapılan anlaşma gereği Bayburt, Selçukluların kontrolünde kaldı. Bu durum 1291'de burada Giyaseddin Mesud tarafından para bastırılmasından anlaşılmaktadır.

Türkmen olan ve Türkçe konuşan, ilhanlılar ve Safaviler devrinde Tebriz-Trabzon yolu üzerinde bulunması sebebiyle daha da gelişen Bayburt, Ceneviz ve Venedik kervanlarının konakladığı bir yerdi. Moğolistan'a giderken buraya uğrayan Marko Polo şehirde zengin Gümüş madenlerinin bulunduğunu belirtir. Hatta ilhanlılar buradan yüklü bir vergi geliri temin ediyorlardı. Bu dönemde Darül Celal adı ile anılan ve iktisadi bakımdan canlılık kazanan şehir aynı zamanda bir kültür merkezi durumundaydı. Burada Mahmudiye ve Yakutiye medreseleri kurulmuş, Mevlevilik gelişme göstermiş, ayrıca ahilik teşkilatı da yayılmıştı.

Son ilhanlı hükümdarı Ebu Said Bahadır Han'ın ölümünden sonra (1334) Bayburt, Eretnaoğulları'nın eline geçti. Zaman zaman Erzincan Beylerinin hücumlarına uğrayan şehir, bir ara Mutahharten'in idaresine girdi. Fakat çok geçmeden Kadı Burhaneddin zamanında , Akkoyunlu beylerinden Kutlu Bey oğlu Ahmet Bey'in yardımı ile alındı ve Ahmet Bey'e ikta olarak verildi. Bir ara Karakoyunluların da eline geçen şehir sonra tekrarAkkoyunluların eline geçti ve uzun süre öyle kaldı.

Bayburt yöresi 1501'de bir ara Türkmen, Safeviler tarafından alındı. Bu dönemde Trabzon valisi olan Yavuz tarafından bu bölgeye akınlar yapıldı (1507). Yavuz tahta çıktıktan sonra da çıktığı iran seferinde bir kısım kuvvetlerini Bayburt üzerine gönderdi. Ekim 1514'te Bayburt Şah ismail'in elinden alındı. Bundan sonra Bayburt Erzincan ile birlikte Trabzon Beyi Bıyıklı Mehmet Paşa'ya verildi ve Sancak merkezi ilan edildi.

Kanuni'nin iran seferi sırasında önemi daha da artan Bayburt kalesi 1541'de esaslı bir tamir gördü. 1553'te Türkmen,Şah ismail'in oğlu Şah Tahmasb'ın akınlarına şahit olunduysa da, bundan sonra 19. yüzyıla kadar önemli bir olay yaşanmadı. 1828-1829 Osmanlı-Rus savaşı esnasında Rus birliklerinin işgaline uğradı. 1878 ve 1916'da Ruslar tarafından yeniden işgal edilen Bayburt bu işgaller sırasında önemli oranda tahrip edildi.

1927'ye kadar Erzurum'a bağlı olan Bayburt bu tarihte Gümüşhane'ye bağlandı. 21.06.1989 tarihinde 3578 sayılı yasa ile il statüsüne kavuştu.