Cass Gilbert, bekannt auch durch den Entwurf des Woolworth Buildings, war der Architekt des US Custom House in New York. Nach der Fertigstellung des Bauwerks im Jahr 1907 zog entsprechend der Bestimmung des Gebäudes die amerikanische Zollbehörde ein. Vor dem im klassizistischen Baustil errichteten imposanten Bauwerk stehen vier Skulpturen des amerikanischen Bildhauers David Chester French, von ihm stammt auch die berühmte Lincoln-Statue in Washington. Die vier Statuen vor dem US Custom House symbolisieren die vier Erdteile Amerika, Afrika, Europa und Asien. Die amerikanische Zollbehörde nutzte das Gebäude bis zu seinem Umzug in das mittlerweile durch einen Terroranschlag zerstörte World Trade Center. Dieser Umzug erfolgte im Jahr 1974, danach folgte ein mehrere Jahre andauernder Leerstand.
Inzwischen wird das US Custom House wieder genutzt, es befindet sich hier seit 1994 eine Aussenstelle des Smithsonian National Museum of the American Indian.
Die Adresse des Bauwerks lautet 1 Bowling Green Street, zu erreichen mit den Linien 4 und 5 der U-Bahn, Station Bowling Green.