서대문서는 본래 북부경찰서(北部警察署)의 서대문분서(西大門分署)로 출발한 것으로 1910년 8월 5일 통감부령 제44호에 의해 죽첨정(竹添町) 1정목(丁目) 90번지 원포병주둔소(元砲兵駐屯所)(현 평동 적십자병원 자리)를 가(假)청사로 사용하여 업무를 개시하였다.
1910년 북부경찰서 서대문분서의 관할 순사파출소(巡査派出所)는 서대문정거장순사파출소(西大門停車場巡査派出所) 등 13개 지소(支所)였다가 1914년에는 9개소로 줄어들었다. 동년(同年) 8월 27일 조선총독부령 제127호에 의해 경무부(警務部) 및 경찰서 명칭 · 위치 및 관할구역이 정해짐에 따라 죽첨동 1정목에 위치하여 사직동순사파출소 외 8개소에서 사직동 등 35개 동을 관할하였다. 다시 1919년 8월 20일 총독부령 제133호에 의하여 서대문서로 개칭되었다. 이듬해 1월에는 총공사비 23,000여원으로 청사를 신축하여 1921년 10월에 준공되었다. 청내(廳內)에 있는 연무장(練武場)은 관비(官費) 3,800여원(圓)으로 신축하여 동년(同年) 10월 25일에 준공하였다.
1938년 매일신보(每日新報)의 기자 서정억(徐廷檍)이 서대문에서의 한국인에 대한 취조과정, 고문 등을 밝힘으로써 일제 식민경찰의 잔혹성을 폭로시킨 바도 있었다.