1954年9月26日，紀念館在徐悲鴻先生去世的周年紀念日建成開放。這是中華人民共和國第一座美術家個人紀念館，周恩來總理親筆題寫“悲鴻故居”匾額。紀念館占地5363平方米，總建筑面積10885平方米，設有基本陳列、臨時展廳、報告廳及兒童活動區等。基本陳列中包括徐悲鴻生平展，巨幅國畫《愚公移山》、《九方皋》、《田橫五百士》等。紀念館收藏并展示了徐悲鴻先生創作的國畫、油畫、素描以及書法等作品一千二百余件，徐悲鴻先生收藏的中國歷代繪畫作品和歐洲近現代油畫、素描作品一千一百余件及畫冊、圖片等各類珍貴的美術資料一萬余件。這些珍貴文物和資料，是徐悲鴻先生的夫人廖靜文女士，在徐悲鴻先生去世后，按照徐悲鴻先生生前的愿望，全部捐獻給國家的。