位于靠近卡斯楚街第十八街街口的商店，沿著整条街随处可见象征同志骄傲的彩虹旗被悬挂
卡斯楚街的名称是由何塞·卡斯楚（英语：José Castro）(1808–1860年)所命名，他是墨西哥对抗美国的领导人物，19世纪时加州的统治者，并在1835年至1836年间担任上加利福尼亚省总督。[3] （页面存档备份，存于互联网档案馆）
现在的卡斯楚街开始在周边地区知名始于1887年，当时一条连结欧瑞卡谷区到市中心的市场街有轨电车建造通车。
从1910年代到1920年代，卡斯楚街被称为“小斯堪地那维亚”，当时有大量来自瑞典、挪威、芬兰的移民及后裔定居在此地。一间位于市场街Flore咖啡店后方的芬兰式澡堂（Finilla's）就是在这段期建造间，并一直经营到1986年。而位于卡斯楚街凹地的餐厅过去被称为是挪威人的海湾。而斯堪地那维亚海员联盟是在第十五街及市场街附近，围绕著转角处的瑞典美国人会堂至今仍然在该区。以斯堪地那维亚风格“half-timber”所建筑的房屋至今仍然可以在卡斯楚街和教堂街之间的市场街沿途看见。Kathryn Forbes（英语：Kathryn Forbes） 在她1943年出版的小说《妈妈的银行帐户》(Mama's bank account)中以挪威移民家庭为主题讲述了温馨有爱的一家在20世纪初的旧金山的生活故事。
卡斯楚街在1930年代时成为爱尔兰裔美国人聚集地并一直维持到1960年代中期。
根据2005年摩根·史柏路克在自己的电视节目《30天》中在卡斯楚街所拍摄的纪录影片《Straight Man in a Gay World》表示，美国军方在二战结束之后，将大批因为性向理由而被除役的同性恋士兵集中往旧金山，之中许多的人被安顿的卡斯楚街，而这也开始吸引更多同性恋居民往卡斯楚街及周围地区居住。
卡斯楚街在这时代开始成为同性恋运动的中心，是伴随著1967年一场发生在邻近的海特-阿什伯力区的争议性活动“Summer of Love”。这场活动聚集吸引了数以万计从美国各地前来，出身中产阶级家庭的青年人。周遭的居民早先是以欧瑞卡谷为名来称呼当地，不过在邻近卡斯楚街和市场街的转角处的卡斯特罗剧院得名后，当地变成以卡斯楚街为名。
1975年哈维·米尔克在这里开设的一间摄影馆，做为一位参与政治的同志运动者，他进一步地主张将卡斯楚街做为同志的聚集地。1970年代晚期的一些文化现象被称为“卡斯楚复制人”（Castro Clone），其中包括个人打扮与穿著的样式 -- 紧身丹宁裤。1980年代爱滋病危机也开始冲击这个地区，从1984年开始，旧金山市官方开始扫荡三温暖澡堂并展开动议，针对爱滋病的预防感染和防止扩散。今日在Kiosks lining Market Street及卡斯楚街都有海报文宣宣导安全性行为并尝试对那些在网路上交友约会的人进行宣导服务。
近年来异性恋家庭在卡斯楚街区正缓步的增长中，有部分担心会淡化这里的影响。[1]