饒宗頤文化館座落於擁有百年歷史的三級歷史建築群，是香港特區政府發展局「活化歷史建築伙伴計劃」的首批活化項目，由香港中華文化促進中心以「香港文化傳承」為主題，展開保育、重新規劃及活化的工作。在發展局及各界友好支持下，這歷史建築群得以活化，改建為文化設施，肩負起傳承中華文化、促進文化交流、貢獻社會的使命。

文化館坐落在荔枝角山崗上，現址的建築群曾經用作醫院。如再往上追溯，在美孚和荔枝角一帶填海前，這地方依山臨海，十九世紀末，設有清政府的海關分廠；二十世紀初，英國人興建了華工屯舍，留下了最早期的建築物。經過多次修葺改建，這地方先後曾經成立檢疫站、監獄、傳染病醫院和精神病療養院。 儘管角色不同，用途迴異，它們背後有一共通點 ― 因獨特的位置和建築，擔當特別的角色，以回應當時社會的需要。現在，建築群活化為一個地標性的文化平台，回應現時社會對文化發展的需要。