中國內部是一個多民族的國家，外部與境外異族往來也很頻繁，因此歷代朝廷都設有專職或機構，從事翻譯工作，不過大都是地位不高。
周朝
在周代以前，長四方之語，各有其官。《禮記》：「東方曰寄，南方曰象，西方曰狄鞮(讀低)，北方曰譯」。宋法雲《翻譯名義集》：「像胥氏通六蠻語，狄鞮主七戎，寄司九夷，譯知八狄」，到了周朝以後，這些「通夷狄之言」的人，才統稱為「像胥」。
《周禮•秋官》中的「像胥」一職，負責出使蠻夷閩貉戌狄之國，掌握這些周邊民族事務之人，就是最早見諸文字記載的翻譯官。像胥按照對外族語言熟悉的程度，還分「上士一人、中士二人、下士八人及徒二十八人」，要負責傳達王命，也要上傳各地情勢，以利國王統治與安撫邦國諸侯。
漢朝
到了漢朝武帝時，朝廷設立主管少數民族與外國事務的的部門——大鴻臚，其下設有屬官有譯官令(九譯令)及丞，專責翻譯。有學者認為，從秦漢以來，北方匈奴始終是朝中心腹之患，處理北方事務是朝中重要政務，把周制的「像胥」改以北方的「譯」為官名。此外，為了配合中外交往的需要，漢代在學校中還開展了外語教育，培養翻譯人才。《漢書•食貨志上》：「八歲入小學，學六甲五方書計之事」，五方之書即相當於今之外語書。
