Намира се в старата част на града, в близост до пазара. Помещава се в самостоятелна двуетажна сграда и разполага в своя фонд с богата колекция от картини на стари и съвременни български художници. В приземния етаж на галерията (криптата) са представени много икони и възрожденски щампи. Част от сградата и до днес е в автентичния си вид. Това е един от най-старите културни институти в града. Сградата е строена в средата на XIX век за турски конак. В края на 1885 година Кърджали се обособил като околийски център. Използвана е от армията, полицията и държавната администрация. В един период в нея се е помещавал и историческият музей.