确实，建筑不仅与环境有关系，而且也是一种文化现象。美国建筑学家C·亚历山大指出，我们当中关心建筑的人很容易忘记，一个地方的所有生活和灵魂，我们所有在那儿的体验，不单单依赖于物质环境，还依赖于我们在那里体验的事件的模式。这就是说，我们对于建筑的体验，一方面是由于“物质环境”的因素，另一方面则是和“事件的模式”相关。前者是说建筑是环境的产物，而后者则是指建筑的内在因素，即建筑所具有的文化内含。
首先我们来谈建筑和环境的关系。建筑的定义有狭义与广义之分，从狭义的定义上说，建筑是人与建筑物的范围，从广义的定义上说，建筑的本质就是人所创造的环境。对于环境有诸多说法，例如“自然环境”、“人工环境”和“文化环境”。苏珊·朗格认为，“一个环境，从非地理学意义上讲是个创造物，一个被创造为可视、有形、可感的种族领域。”她把环境放在“种族领域”中来说，是富有意味的，她援引别的学者的说法，强调建筑与环境的关系。我们对于一个国家，一个民族，甚至一个地方的建筑物，不能单独地进行审美，而必须和它周围的环境联系起来，因为建筑是一种环境的艺术。
西方的建筑是非常重视环境的，在古希腊就是如此。美国学者伊迪丝·汉密尔顿说道：“在希腊建筑师的头脑中，神庙的所在地具有非常重要的意义，他在制订计划的时候，把它同周围的海洋与天空联系在一起，进行总体考虑，从它所坐落的地点出发——它将建造在空旷的山顶或者卫城的广阔的高地——决定它的体积的大小。它总是俯瞰全景，建筑师的才华使这一点成为最主要的特征，成为全景中的一个组成部分。建筑师绝不单独地只考虑建筑物本身，而是把它同周围环境联结在一起进行设计”。希腊建筑与环境的和谐的关系影响到后来整个欧美的建筑的设计与创作。当然，欧洲的建筑更多地考虑到“人工环境”和“文化环境”，西方中世纪最重要的建筑，如哥特式教堂，都是建在城市中的，它体现的是人对上帝的膜拜。而文艺复兴之后的建筑，更多体现了人对自然的占有和征服，而最终又从这种占有和征服中，达到人与自然的和解。
中国的古代建筑非常强调与环境的关系，所谓“天人合一”就体现了一种人与环境和谐的思想。在具有巫术色彩的风水观念中，也包含着人与生存环境的关系，对于山脉的走向，河流的位置有一种超自然的理解，以便使这种超自然的东西和人的吉凶祸福相联系。而所谓“仰观天文，俯察地理，近取诸身，远取诸物”，则更是人与环境因地制宜、协调发展的理想信念。我们从中国古代文学中大量讴歌亭、台、楼、阁的诗文中可以感受到这种信念的体现，例如《阿房宫赋》、《岳阳楼记》、《滕王阁序》以及《红楼梦》有关大观园的描写都给我们留下了对建筑与环境和谐相处的深刻印象，而在中国遗存的寺庙、宫殿、民宅以及园林中，我们也可以得到实地的印证。
在现代，由于城市的过分膨胀，环境遭到人为的破坏，因此，建筑与环境被越来越多的有识之士所重视，从霍华德提出的“花园城市”，到勒·柯布西耶强调的“阳光、空气和绿地”都是如此。而约翰·波特曼则认为，“建筑师们必须把他们的精力转移到环境上来。”确实，到了今天，环境问题已经形成全球的共识，建筑师更是如此，他们需要考虑以往的建筑师所没有遇到的生态环境问题。
其次，再来谈建筑与文化的关系。黑格尔在《历史哲学》中告诉我们，世界有三大地带，居住于高原的居民，性格好客而喜掠夺；平原的居民则守旧、呆板和孤僻；海岸居民崇尚冒险、沉着和机智。他说，平凡的土地、平凡的平原流域把人们束缚在土壤上，把他们卷入无穷的依赖性里面，但是大海却挟着人类超越了那些思想和行为的有限的圈子。这种不同环境中的民族，不仅形成了他们不同的性格，也形成了他们不同的文化和不同的居住方式。英国人类学家马林诺夫斯基说，不论住宅是高耸云霄的大楼或是不蔽风雨的篷帐；是寓丽堂皇的别墅或是简陋矮小的茅屋，一家的文化特性与其屋内的物质设备是有密切的关联。一个人从襁褓而孩提，从发育及青春以致求偶及早期的婚姻生活，以至于老年，他一生中和家庭间各分子的亲密接触，深受住宅形式的严格限制。这些，在我们的文化中，对干伟人住宅及故里的保存，就表示着我们对于住宅的情感方面的重视。也就是说，从一个人一生来说，住宅与文化的联系更为密切。而从一个城市来说，不仅有普通居民的住宅，也有著名人士的住宅，一个著名人士去世了，它的住宅往往作为故居保留起来，供后人们瞻仰。
从历时性的角度说，一方面，同样一座建筑物，从其建造到荒废具有不同意义。L.I.凯恩富有诗意地描写道，且让我们从时间上回到修建金字塔的岁月，聆听一下劳动工地飞扬的尘土中传来的阵阵热情的劳动号子声。现在我们所看到的金字塔是完全建成了的，塔中渗透着沉默的感情。从这沉默的感情中我们可以感受到人的表现欲望，这种欲望在砌第一块石头之前就已经存在了。石头本身是没有感情的，但是一旦当人类将其作为建筑材料建造其纪念性的建筑之后，它就是有感情的，有欲望的，有历史的。如果我们如此去感受古典建筑的存在，我们将真正感受到它的历史。在一定的时候，人们往往会产生怀旧感。而在所有怀旧的感觉中，建筑是最容易使人睹物思情的，人们在古老的建筑中，甚至在建筑的废墟中流连、凭吊、发思古之幽情。
在这里，我们可以对中西建筑的历史进行比较，这种比较首先是建立在观念的基础上的，以至于形成了中西建筑之间的巨大差异。李允钅禾指出，“从金字塔时代开始，西方人就把建筑物看作是一件永久的纪念物，于是他们尽自己的可能来完成这件工作。陵墓、神庙和教堂，都是为一个永恒的世界服务，因此在建筑态度上是不惜经年累月，甚至一代接一代地去完成在思想上认为是不朽的功业。”而“自古以来，中国人一直都没有把建筑物看成是一件永久性的纪念物，没有号召过人民为一个永恒的世界工作。无论房屋或者整个城市，古旧了，破坏了，或者已经不再适合当时要求的时候，便索性全部抛弃了来重新地建造。在历史上，除了唐代和清代之外，差不多所有的开国之君都是重新地建设自己新的宫殿以及新的都城。因此，这也就体现在对建筑物的历史保护的观念上。如前所述，西方的建筑，由于其主要是以石头作为材料的，因此他们的保护是体现在对原物的绝对性上，且不说对古希腊、古罗马遗址的保护，就是对文艺复兴乃至19世纪之后建造的建筑，在意大利甚至是具有50年以上历史的建筑，都是采取原物保护的政策，出台了相应的法规，尤其是对于其基本的立面和结构；而在中国，“秦汉遗构，已不复得见”，即使是现有的许多著名的建筑，也已经不是“遗构”了，因此，我们经常可以在中国的建筑物，如坛庙、楼阁等，看到“始建于”这样的字样，以致出现了许多“重建”的“古迹”这样悖论性的话语。
另一方面，不同的时代文化形成了不同的建筑。意大利建筑师布鲁诺·赛维在他的《建筑空间论》中指出：“埃及式=敬畏的时代，那时代的人致力于保护尸体，不然就不能求得复活；希腊式=优美的时代，象征热情激荡中的沉思安息；罗马式=武力与豪华的时代：早期基督教式=虔诚与爰的时代；哥特式=渴慕的时代；文艺复兴=雅致的时代，各种复兴式=回忆的时代。”硅筑确实是与时代相联系的。西方现代建筑大师密斯·凡·德·罗说道：“希腊的神庙，罗马的巴雪利卡（按：一译巴西利卡）和中世纪的教堂使我们觉着有意义是在于他们都是整个时代的创造，而不在于它们是某个个别建筑师的作品。谁还去追问它们的建筑师的名字？他们个人的偶然的个性又有什么意义？这些建筑按其自身性质不属于个人。它们纯然是时代的表现，其真正意义在于它们是时代的象征。”“建筑是表现为空间的时代意志。在这个简单的真理被承认之前，新建筑将摸索而彷徨不定，必然是没有方向的各种力量的混乱一团。建筑的性质问题是重要的。必须了解，所有的建筑都和时代紧密联系，它只能以活的东西和时代的手段来表现。任何时代都不例外。”英国著名的建筑史学家弗莱彻在他的《比较法建筑史》中曾画过一张“建筑之树”图。它的主干是希腊、罗马和罗曼建筑，其他中世纪的、文艺复兴的以及以后的各国建筑是它繁茂的枝叶，主干的最上端是美国的现代建筑，显然他已承认美国建筑是西方建筑体系的嫡传和新的代表。而别的非欧洲体系的建筑则被画在早于或低于希腊的几个分枝上，包括中国和日本。赖德林说这张图带有强烈的欧洲中心论的色彩，受到很多批评，所以在该书后来的版本（共有19版）中已被删除。但是我们还是可以从中得到某种启示。
而从共时性的角度说，我们要了解一个国家的文化首先是从它的城市开始，而对于城市的了解更多地是从建筑物开始识别。张钦楠说，他是搞建筑的，慢慢地养成了阅读城市的习惯，每到一处，总是先要找一张地图，了解它的布局，然后寻访它的标志，观察它的建筑、街道、树木，以及人们的衣食住行，试图感受它的文化特征。久而久之，慢慢形成了一套阅读方法。这套方法，没有什么创造性，基本上都是“拿来”的。第一个“拿来”，取自美国的城市学家、麻省理工学院的凯文·林奇（Kevin Lynch）教授所提倡的“认知图（cognition-map）”。方法就是让一个非专业人员根据自己的印象和记忆，描画一张本城市的地图。一般来说，他总是只记得几座标志性的建筑物（巴黎埃菲尔铁塔、凯旋门、巴士底纪念碑等）以及最主要的马路。然而，这幅潜在于每个人头脑中的“认知图”，却成为他的一个参照坐标图，可以在没有地图的指导下寻找方向。这实际上往往成为阅读城市的第一个成果。反过来说，每一个著名的城市，往往就是一个国家的标志和象征。我们说到雅典的卫城的神庙，就是说古希腊的建筑；我们说到罗马城的恺撒广场、角斗场和浴场，就是说古罗马的建筑；我们说到巴黎的凯旋门、凡尔赛宫，就是说法国的建筑；我们说到圣彼得堡的冬宫、莫斯科的克里姆林宫，就是说俄罗斯的建筑；我们说到北京的故宫、天坛，就是说中国的建筑。当然也有相当多的建筑并不是在城市而是在一些圣地或者陵区，它们同样也代表一个国家的建筑。
一个城市的建筑魅力往往体现在它的文化统一性和整体性上，在西方古典建筑得到了充分的保护，现代建筑往往是建在城市外围或者另建新城。如罗马，古罗马的建筑、文艺复兴建筑和巴洛克建筑，都体现着西方建筑文化的连续性。如19世纪中叶，法国赛纳区行政长官奥斯曼在巴黎市中心进行的大规模的改建工程，就是一个成功的例子。而在中国的一些古城中，为了一味地体现现代化，将城墙、坊巷都破坏掉，甚至连那些体现古代与当代联结的近现代建筑也被拆除，而保护下来的古代建筑变成了一些孤立的景点。同时为了旅游又新建了许多“古代”建筑。倒是那些远离现代中心的古城，如山西的平遥、云南的丽江，由于保护得好而列入了世界文化遗产，成为我们民族历史文化的记忆。当然，在大都市也有一些成功的例子。如，张钦南在《阅读城市》一文中所说的上海的例子，他说，外滩的老银行大楼、改造过的开放式的景点——外滩、隔江的东方明珠塔和陆家嘴正在升起的高层建筑，分别体现了上海的过去、现在和将来的时间序列。
由此，我们可以用环境—文化概念来概括超越建筑的因素，用丹纳在《艺术哲学》中的观点来看，就是自然气候和精神气候，这两种东西决定了包括建筑在内的艺术品的产生。但是仅仅讲环境一文化的因素，容易太宽泛，因为形成环境和文化的因素非常复杂，它往往是多样的。而我们要探讨的将不仅仅是多样，而且还是多样性的统一。美国建筑学家C.亚历山大非常富有哲理地说，一个建筑或一个城镇正常的秩序，在建筑正确适应它们之中的作用力时的出现，是一个远为复杂的几何形的更丰富的秩序。但它不只是丰富和复杂的，它也是很特有的。它将在任何情形下于各个实际正确的地方显示自身。当任何人设法产生一个有活力的建筑时，它将具有这种特有的特征，因为那是与生活一致的惟一的特征。这个惟一的特征，就是我们通常所说的原型。