临沂市博物馆前身最早为1963年成立的“临沂县文物收集组”,地址设在五贤祠内，负责管理全临沂地区的文物工作。1976年春，改称“临沂县文物组”，隶属县文化局领导，不再监管文物工作。1979年文物组从五贤祠搬到沂州路中段51号，设置了文物陈列室并对外开放，并于次年更名为“临沂县博物馆”。1984年临沂县改为临沂市（县级），博物馆遂改为“临沂市博物馆”。1995年临沂地区撤地改市，博物馆升格为市级博物馆，由市文化局管理。为保护历史文物古迹，弘扬民族文化，1997年临沂市人民政府把修复文庙工程和博物馆建设列为当年的十件大事之一，1997年6月动工，经历半年的时间，1998年1月临沂市博物馆搬迁至临沂市文庙，同时展览也正式对外全面开放。随着文博事业的发展，文庙原有的馆舍，已不能满足新时期博物馆开展工作的需要，2009年临沂市政府又将临沂市博物馆新馆建设项目列为当年十大重点工程之一，2009年3月21日新馆正式开工建设，于2011年9月建成使用，2012年7月1日全面正式对外开放至今。