Este edificio, fue llamado así por los hermanos Brill, quienes eran dueño de una tienda de ropa en el nivel de la calle y que más tarde compró el edificio entero de su promotor, AE Lefcourt. Fue construido en el año 1931 en pleno Broodway, en el corazón de Manhattan al norte del Times Square. En un inicio, las oficinas construidas tenían como fin servir como espacios para los intermediarios financieros y banqueros de la zona. Sin embargo, la época de la Depresión fue tan fuerte que los propietarios pidieron el alquiler de espacio a los editores musicales. Ello generó que para el año 1960 casi todo el edificio se estaba acaparando convirtiendo en una pieza central para la industria de la música en Nueva York y Estados Unidos, con muchos editores y escritores usando el espacio para sus oficinas y escaparates. En la década de 1960, había más de 120 empresas de música independiente en el edificio.
Antes de la Segunda Guerra Mundial comenzó el auge de sus instalaciones transformadas en centro de actividad de la industria de la música popular, especialmente de la edición musical y composición. Así este edificio se fue poblando de música y cada vez que alguien cruzaba el umbral del mismo, poseía un éxito musical de la época.