旧飯南郡図書館は、明治43年（1910年）に時の皇太子（後の大正天皇）が「松阪公園（松坂城跡）２」へ行啓したことを記念して、「飯南郡図書館」として建設された建物で明治45年（1912年）4月に開館しました。当初は、本館、倉庫、新聞雑誌縦覧所の3棟がありましたが、新聞雑誌縦覧所は昭和初期に解体されています。本館は２階建てで、伝統的な和風の意匠をもち、左右に翼部、中央に玄関が突出した左右対称の構成になっています。

　大正7年の日記には、親友の乾と一緒に公園に行き「図書館で昼寝した」とあります。

　松阪市内において安二郎が実際に触れたであろう建物や見たであろう景色は数少なくなっています。現在、歴史民俗資料館となっているこの建物と周りの石垣の風景は、安二郎が松阪で青春時代をいきいきと過ごした姿を今に伝える貴重な景観を形成しています。のちに世界的な映画監督となる安二郎少年が昼寝をしていた、そんな等身大の小津安二郎を感じられる、松阪ならではのゆかりの地となっています。
　現在、資料館の２階は「小津安二郎松阪記念館」として、安二郎の松阪での生活を伝える資料を中心に展示を行っています。