이 건물은 건립 연대가 확실하지 않으나 고종 28년 이전, 또는 고종 10년이 아닌가 생각되어지고 있다. 이 건물은 고종이 서재로 사용하였으며 이 건물 옆에 중층(重層)의 단랑(單廊)으로 이어진 중층의 팔각 서고(書庫)가 있다.
집옥재는 장방형의 석조(石造) 기단(基壇) 위에 지어졌는데 기단 양식은 지대석(地臺石) · 면석(面石) · 갑석(甲石) 등이 갖추어진 궁궐내에서는 자주 사용되지 않은 유형으로 되었다. 건물은 기단 위 한 단의 장대석(長臺石)을 놓고 그 위에 고형(鼓形)으로 된 특이한 주초(柱礎)를 사용하였고 정면 5칸, 측면 3칸의 단층 맞배지붕 형태이다. 건물의 평면은 사당(祠堂) 건축에서 흔히 볼 수 있는 전퇴(前退) 한 칸이 완전 개방된 형식이다.
기둥 위에는 다포집에서 볼 수 있는 창방(昌枋)과 평방(平枋)을 갖추고 공포(慊包)는 주심포식(柱心包式)이면서 익공(翼工)기법이 가미된 특수 형식을 취하고 있다.
고주(高柱)와 평주(平柱) 사이에는 퇴량(退樑)이 연결되었고 평주 위의 퇴량머리는 어디에 걸려 있는지 알 수 없게 내외 1출목 사이에 순각판(巡閣板)을 끼어 숨겨졌다. 고주와 고주 사이에는 머름을 드리고 기하학무늬를 넣은 사분합(四分閤)을 달았고 문인방(門引枋) 위에는 빗살의 완자창을 끼웠다.
또 이 건물의 양측면에는 전축벽(塼築壁)을 만들고 회백칠을 한 다음 박공부(?慊部) 아래에 팔각투공창(八角透孔窓)을 내어 환기할 수 있도록 하였고 후면에는 중앙칸에 원형의 만월창(滿月窓)을 내고 좌우에는 아치형 창을 뚫어 일반적인 우리나라 건축창에서는 볼 수 없는 형식을 취하고 있다.
집옥재 본당 서쪽에는 평면 팔각의 팔우정(八隅亭)이 있는데 이는 서고로 사용되었던 건물이다. 본당과의 연결은 중층의 단랑으로 하며 팔우정은 두벌대의 장대석 기단 위에 팔각 석주(石柱)를 세워 일층 상면(床面)을 마련하였고 이 상면으로부터 목조의 누각 형식 가구(架構)로 짜여져 올렸다. 주간에는 전체면에 사분합문을 달고 외연(外緣)에는 쪽마루를 달아 난간을 설치하였다. 처마 밑에는 낙양각을 매달아 장식하였고 처마는 겹처마로 옥정(屋頂)에는 절병통을 놓았다.


「集玉齋 二十間柱三包 樑通二間十尺式前後退五尺式 道里通五間十尺式 東複道二間北東有
協吉堂 十九間二間半五樑柱長九尺 樑通二間八尺式 前退四尺 集玉齋西邊有
寶賢堂 十五間二間半五樑 南間墻一角門 曰接門
八隅亭及複道二間 以南有
北行角 二十一間 有萬孚門東南有 建善門三間南邊有 庫 五十四間北南間墻 一角門 平樂門 以北有
庫 三十二間 西邊有 慶臨門三間 寶賢堂 北西有
嘉會亭 十間二間五樑 東間墻 有月門 北間墻 月門 金霧門 以北間墻 一角門 寶成門 南間墻 一角門 曰永門 西北有 神武門」

이라 되어 있다. 그러나 이들 전각과 간장(間墻)들의 대부분은 오늘날 그 자취를 찾을 수 없다.