Рифтен возник на пути торговых караванов и путешественников, направлявшихся в Морровинд и обратно. За счёт выгодного расположения на транспортных потоках, благоприятных условий для земледелия и богатого рыбой озера Хонрик, город быстро разросся. На рынке Рифтена можно было найти товары со всего Тамриэля, что также привлекало поселенцев.
В 3Э 13 году, в Рифтен вместе со своим любовником сбежала Барензия (в возрасте 16 лет), следуя в Морровинд после ссылки в Скайрим.
В Рифтоне они чувствовали себя в безопасности, поскольку он был достаточно близко к границе Морровинда, чтобы вид темного эльфа никого не удивлял
— Биография Барензии, том 1
Есть неподтвержденные сведения, что в Рифтене Барензия присоединилась к Гильдии воров. После периода странствий, любовных приключений и сомнительных предприятий Барензия была найдена в Рифтене генералом Симмахом и отправлена в Имперский город.
В 4Э 98 году Хосгунн Скрещённые Кинжалы становится ярлом Рифтена после насильственной смерти предшественника. Повышение налогов и комендантский час погружают город в пучину бедности.
В 4Э 129 году народ Рифтена восстаёт против вышеупомянутого коррумпированного ярла. Его дворец сжигают вместе с хозяином. Вследствие распространения огня большая часть города уничтожена.
Приблизительно к 4Э 134 году Рифтен восстановлен.
В 4Э 98, среди воцарившегося из-за Пустых ночей замешательства, Хосгунн Скрёщенные Кинжалы стал новым ярлом после того, как его предшественника убили. Несмотря на то что многие считали Хосгунна напрямую причастным к убийству и улицы Рифтена сотрясали крики протеста, ярл занял трон и немедленно занялся укреплением своего положения. С помощью городской стражи он расчистил улицы от протестующих и ввёл комендантский час. Любого, кто нарушал комендантский час, немедленно отправляли в тюрьму без всякого следствия, а в случае рецидива казнили.
Свыше 40 лет Хосгунн правил Рифтеном железной рукой и чёрной волей. Он обложил неслыханными налогами своих подданных и торговцев, желающих продавать свой товар в стенах города. Большую часть собранного золота Хосгунн оставлял себе и использовал на постройку массивного деревянного замка с неоправданно роскошной внутренней отделкой. На постройку замка ушло семь лет, и в итоге он стал наглядным напоминанием о притеснении народа, заслужив прозвище Каприз Хосгунна. К концу его правления улицы Рифтена тонули в отбросах, а жители страдали от болезней и голода.
И вот в 4Э 129 терпению народа пришел конец. Своей численностью они смогли отбросить городскую стражу на время, необходимое для того, чтобы поджечь Каприз Хосгунна заодно с жадным ярлом. Затем бои возобновились, а огонь тем временем свободно распространялся по городу. К утру победа оказалась за народом, но цена её была велика. Большая часть города лежала в развалинах, многие погибли.
Прошло пять лет, прежде чем Рифтен смогли отстроить в виде города поменьше, который мы сейчас и видим. И хотя с тех пор прошло свыше пятидесяти лет, до конца ему пока что не удалось оправиться. Некоторые полагают, что того процветания, какое он испытывал в начале Четвёртой эры, городу уже не достичь, но есть ещё немногие, кого не покидает надежда на то, что Рифтен восстанет из пепла и вновь станет центром торговли
— О Скрещённых кинжалах