十字牌牛奶的由來可以追溯自357年前意大利嚴規熙篤會，其聖母神樂院在1928年於中國河北市建立，後因1940年代，國內局勢持續動蕩，遂逃難至香港。今天位於大嶼山的神學院，是經驗了兩次走難，九年逃亡，才有今天。
聖本篤會規提到「每座修院要自食其力……幾時他們靠雙手操作度日，才算是真正的隱修士」。由於神樂院嚴守會規，因此早在國內時期的神學院，修士們已經自設牛場，養牛出售牛奶，務求自給自足。
1950初，聖母神樂院在艱辛中在港重組並重建，但當院長提出養牛方案時，其他人均以取笑回應，當中原因包括成本過高、鮮奶消毒困難、當時大嶼山沒有電力和海盜偷牛等現實情況。然而，因為信念和堅持，最終十字牌將不可能變成可能。
電子的問題因自建水力發電站和後來中電將電力鋪至而得到解決；消毒問題也因從美國購入消毒鍋和加購各類設備而處理。1958年時，聖母神樂院就得到政府牌照，正式營運十字牌。1980年代，本地企業立基國際加入營運，使產量更具規模。