据《史记》记载，匈奴先祖为夏后氏苗裔，金日磾原是匈奴伊稚斜单于当政时期匈奴休屠王的太子，在河西之战中兵败被俘，押解至长安后在宫为奴。

元狩二年（前121年），汉武帝为控制河西走廊地区，剪除匈奴右臂，切断匈奴与西域各国的联系，并为未来大汉与匈奴的决战扫清障碍，便任霍去病为骠骑将军，率一万骑兵北击匈奴，史称河西之战，在此战中霍去病攻破了匈奴浑邪王部，匈奴伊稚斜单于得知战况后，欲召浑邪王回匈奴王城问罪，浑邪王为保性命，便与休屠王密谋降汉，本已达成共识，汉朝李息当时率兵驻在成河，也知道了两王投降的消息，便立刻禀报了汉武帝。汉武帝随即命霍去病带兵前去迎接两王。不料此时休屠王反悔，不愿归降。浑邪王就杀了休屠王，挟持休屠王的部下投降了汉朝。汉武帝封其为漯阴侯。而休屠王的太子日磾和阏氏都被纳入官中为奴 ，此时金日磾14岁，由于霍去病在河西之战中缴获了休屠王的祭天金人，便被汉武帝赐姓“金”。

有一次汉武帝在宫中宴游欢乐之时，命马奴牵几匹马出来助助兴。当他看到一个少年（金日磾）体形魁伟、容貌威严、目不斜视时，感到很惊讶，便问此人是谁，当得知金日磾为先前休屠王太子之后，就封他为马监。之后陆续升为侍中、驸马都尉、光禄大夫。金日磾升迁之后，没有因此而得意忘形，反而凡事都很谨慎。汉武帝便越来越欣赏他，让他以后一直跟随在身边，封为内侍。

金日磾母亲因病而去世后，汉武帝命人在甘泉宫图画了他母亲的画像挂在墙上，金日磾大为感动，此后金日磾更是死心塌地的效忠汉朝。

金日磾在汉武帝身边几十年来，从不用目光直视汉武帝。汉武帝赏赐宫女给他，他也不敢亲近。汉武帝要把他的女儿纳入后宫，金日磾也不肯。金日磾大儿子弄儿长大后，经常借出入宫禁的机会调戏汉武帝身边的宫女。一次恰巧被父亲看见了，金日磾很生气，回家之后，将大儿子直接杀了。汉武帝要拿金日磾问罪，经金日磾解释后，汉武帝转怒为乐。

巫蛊之乱后，汉武帝对太子刘据之死追悔莫及，深感痛心，便修了一座思子宫，又在湖县建了一座归来望思之台，以寄托哀思之情。另一方面，也将当初参与谋害太子刘据的刘屈氂等人逮捕下狱，或腰斩，或诛族。而马何罗曾与江充（谋害太子一员）交好，马何罗兄弟害怕被杀，于是策谋造反。在一天早上，汉武帝还未起床，马何罗袖子中藏了一把刀，从外进入到汉武帝卧室，想刺杀武帝，正巧碰到金日磾，金日磾便抱住马何罗，大喊：“马何罗造反！”汉武帝从床上惊起。侍卫拔刀想杀马何罗，汉武帝怕伤到金日磾，阻止他们不要用刀杀。金日磾揪住马何罗的脖子，把他摔到殿下，侍卫便将马何罗带走审讯。汉武帝此后更加信任金日磾。

后元二年（前87年），汉武帝病重，嘱托霍光和金日磾辅佐太子刘弗陵，护卫大汉朝，可见汉武帝对金日磾有多信任，而金日磾后来也未让武帝失望，其后世子孙皆以忠孝著名，七世不衰，历经130多年，对巩固西汉政权，维护民族团结，做出了巨大贡献。