“青牛白马”在文献资料中的最初并列，应是在晋人陶渊明所著的《续搜神记》中所记录的一则故事《王戎遇鬼》之中，其大致内容为：西晋人王戎又一次前往友人葬礼，见一鬼告诫他，今后前往丧葬之地，宜乘坐青牛拉的车，或以髯奴御车，或者骑乘白马前往，可消灾避祸。这是目前可循的“青牛”、“髯奴”、“白马”三者同时出现的资料内容，而以上三者，都是汉魏时期非常流行的生物辟邪巫术的载体。

所谓青牛辟邪，最早起源于春秋战国时期秦国的“怒特”崇拜——所谓“怒特”，是木精的一种，《录异传》中有记载秦文公曾为修造宫室砍伐神树，树中涌血从并跃出一头青牛入水的故事，自此以秦为中心，产生了以“青牛”为木精、树神乃至春神崇拜的现象，并逐渐被本土道教吸收为祭祀崇拜方式之一。

葛洪所著的《抱朴子》一书中有：“千岁松树……其中有物，或如青牛，或如青羊，或如青犬，或如青人，皆寿万岁”；《玄中记》有“千岁木精为青羊，万岁木精为青牛，多出游人间”……均将青牛视为木精、树神的化身，外加有“老子出函谷关骑乘青牛”的传说，故在道家典籍中，多有青牛驱邪、青牛祭祀的内容出现，此为青牛辟邪的典故所出。

至于白马辟邪，的确与佛教神话中的“白马驮经”有关。根据《四十二章经序》等佛教典籍记载，汉明帝曾梦见佛顶光飞行，于是派遣蔡愔及弟子等十人远赴西域求法，蔡愔于大月氏国遇见高僧迦摄摩腾、竺法兰，于是邀请二师来汉地传播佛教。二师接受邀请，用白马驮着佛像和经卷，随蔡愔一行来到洛阳。后来汉明帝在洛阳建立白马寺用以藏经，是始为佛教东传的第一座中原寺庙。

因为有了驮经的佛法庇护，故而在汉魏时期的志怪小说中，白马也有了辟邪的作用，除了骑乘白马可以辟邪外，《搜神后记》中还有“白马溺（即白马的尿）”也能够辟邪治病的记录。因此青牛崇拜是以地方巫术入道教，又由道教入民间传说的源流，而白马崇拜是佛教入民间传说，并与青牛并成为辟邪载体，两者在诞生过程中实际并无交集。