从1609年亨利·哈德逊（Henry Hudson）发现曼哈顿以来，纽约一直是美国最大、最繁忙的港口之一。纽约市和联邦政府的主要收入是从纽约港口入境物资的进口税。1900年，纽约市决定要在当时曼哈顿的最南端建造一座永久的海关大楼。大楼的建造理念很简单：宏伟、壮观，显示在即将到来的20世纪美国将成为全球超级强国。
1899年，政府邀请了20名著名的建筑师参与新的海关大楼的设计，20世纪美国最著名的建筑师之一，来自明尼苏达的凯斯·吉伯特（Cass Gilbert)在竞标中胜出，设计了这座覆盖3条大街，占地45,000平米，全部由来自田纳西的大理石砌成的梯形大楼（后部比前面宽）。吉伯特邀请了雕塑大师丹尼尔·切斯特·法兰奇（Daniel Chester French）用来自缅因州的灰色花岗岩创作了门前的4个巨型雕塑，名字为“四大洲”。
1907年，海关大楼完成后，建筑师凯斯·吉伯特开始他的下一个项目：设计纽约第一个摩天大楼， 57层的伍尔沃斯大厦（Woolworth Building）。雕塑家丹尼尔·切斯特·法兰奇前往华盛顿，创作他的下一个作品：林肯纪念堂的林肯像。
1994年，亚历山大·汉密尔顿海关大楼正式变成美洲印第安人国家博物馆。