源于子姓、姜姓,出自西周初期齐太公姜尚之后,属于以官职称谓为氏。汉朝时期学者王符在《潜夫论》中称:“茶氏,殷旧姓。齐太公之后有茶氏。”西周初期,子姓殷商族人中就已经有茶氏,后来齐太公姜尚(姜太公、吕尚)的后裔子孙中有人在周王室和齐国为茶师者,专职制茶并侍奉国君用茶,后逐渐成为各诸侯国中的茶大夫,史称“茶正”。其后代因以为姓氏,称茶氏。
茶氏族人在西汉朝中期有渡海赴扶桑倭国者,扶桑倭国在东汉时期归附汉王朝,受封倭奴国金印,茶氏族人在倭奴国生息繁衍,成为今日本国中的大姓家族,还分衍有樽茶氏、博茶氏、吉茶氏等。