横浜生まれの作家・大佛次郎の業績と生涯を紹介する施設として、1978年に開館した。アーチ型の屋根と赤れんがが特長的な洋風建築で、れんがタイルの赤、色ガラスの青、大理石の白は大佛と縁のあるフランス三色旗の色調となっている。茶室も備えている。79年に建築業協会賞（BCS賞）を受賞した。かながわの建物100選にも選ばれている。
収蔵数は図書や雑誌、自筆原稿、遺品など計約7万点に上る。愛猫家だった大佛が所蔵していた猫の置物も多数展示している。
設計は倉敷アイビースクエアなどを手掛けた浦辺建築事務所の浦辺鎮太郎（現浦辺設計）、清水建設が施工した。
規模はRC造地下2階地上2階建て延べ1166㎡。所在地は中区山手町113。港の見える丘公園内にある。