7月10日，由清华大学电子系语音与音频技术实验室张卫强副教授主持的清华-清尚智慧场景创新设计研究院2023年度探索性项目《跨模态预训练生成式大模型自主推理能力对设计的赋能研究》开题汇报会顺利召开。
智慧场景研究院副院长、北京清尚建筑设计研究院院长李怀生、北京清尚建筑装饰工程有限公司副总经理朱怡静、北京清尚建筑设计研究院副院长宋捷、清华大学教授樊平毅、清华大学教授黄永峰、北京科技大学教授陈健生等专家以及项目组主要成员出席会议。
项目组从研究课题的课题背景、研究目标、技术路线、研究基础等方面进行了详细的阐述，并与专家们进行了充分的交流和研讨。
01 研究背景
AI Generated Content（AIGC)，即利用人工智能技术来生成内容，有望成为数字内容、设计创作的新引擎。ChatGPT、Stable Diffusion、AudioLDM等为代表的大规模生成式模型在文本、视觉、听觉等模态的推理创作任务上的超预期表现，给写作、设计等人类智力密集型领域带来了新的挑战和机遇。虽然研究者热情很高，但在设计领域还停留在基于设计师视角的零星探索，目前还没有基于设计公司组织视角来探索大模型技术对设计流程影响的研究，本项目期望在这方面进行探索研究。
02 研究目标及研究主题
项目组基于本课题的研究目标：“挖掘大模型涌现出来的自主推理能力，协调大型语言模型、视觉生成模型等多模态模型，辅助以人类反馈优化技术，研究人与人工智能模型协同设计的新范式，探索基于组织视角的设计场景下如何最大化利用生成式模型的能力红利，提高生成效率和方案质量。”确定两个研究主题：1、大规模生成式模型在设计领域的跨模态自主能力研究；2、大规模生成式模型对设计流程的赋能化改造研究。
03 技术路线
项目组从能力基座、技术集、场景任务、研究内容等四个层次，对研究主题进行了展开论述。要进一步推动课题，需要解决如对生成式内容可控性、跨模态语义对齐、垂直领域知识增强等一系列难题。项目组将通过领域知识库、Prompt工程、大模型微调、图文语义对齐等关键技术的演进，解决相关技术难点。
04 讨论环节
开题汇报得到与会专家组的一致肯定。
李怀生副院长提到希望跨模态生成式大模型能与建筑设计领域紧密结合，产生更多落地应用。
樊平毅教授肯定了课题的创新性和应用性，并对课题的研究计划给出建议。
黄永峰教授建议可以用知识图谱等方式将建筑设计垂直领域的知识进行结构化层次化组织起来，再与大模型的能力结合起来，提升总体效果。
陈健生教授表示对大模型跨模态自主推理能力探索的兴趣，并对可能的挑战给出了建议。
宋捷副院长就人工智能在建筑设计的更多场景（如三维空间结构的智能设计等）提出了设想和建议。
朱怡静副总经理对项目执行中如何增强项目组与清尚集团的配合以达到更好的效果给出了指导意见。
其他与会专家和老师也为课题的推进实施提供了许多切实可行的建议。这些建议涵盖了各个角度，进一步丰富了讨论内容，共同为课题的顺利推进提供了坚实的支持。
与会专家与项目组成员合影
