掌中砚台
PALM INKSTONE
观看装置影片 ↗观众在掌中触控终端上移动、停留与释放手指。每一次动作都会先在大画面中留下可感知的临时墨迹，再触发 AI 图像生成与声音反馈。系统把生成结果重新写回原有位置，使人的手势始终决定构图，而 AI 提供不断变化的视觉材料。
交互体验：游、凝、落
游｜拖动：手指在掌中界面移动，在大画布上选择位置与方向。 凝｜停留：停留时间越长，墨迹积累得越浓、越宽。 落｜释放：松开手指完成一次动作，TouchDesigner 写入临时印记，同时触发 AI 生成与声音。
交互方式 的迭代
该项目最初是一个由 MIDI 驱动的视听实验，试图将音乐表演转化为视觉构图。音高控制着每个生成图像的空间位置，而 MIDI 的力度（Velocity）则决定了墨迹的大小。 为了在没有永久性 MIDI 硬件的情况下进行开发，项目引入了键盘输入来模拟音乐互动。 随后的原型探索了 CoreS3 惯性测量单元（IMU），将翻滚角（Roll）和俯仰角（Pitch）映射到二维画布上，同时利用运动强度来影响每一处墨迹的浓淡。尽管这种方式颇具表现力，但 IMU 被证明更适合连续的身体动作，而不是精确的空间定位。传感器的漂移降低了绘画的准确性，最终导致这一交互方式被放弃。 最终的交互方案采用了 CoreS3 电容式触摸屏。手指位置直接映射到数字画布上；长按会产生浓集的墨水堆积，而拖拽则会生成具有方向性的笔刷式划痕。当手指松开时，系统会生成一幅人工智能图像，并将其无缝融入不断演变的墨迹构图中，从而实现实时的人机共创。
TouchDesigner 最初节点（包含早期交互逻辑）
最终TD节点
早期计划:使用IMU6886传感器进行人机交互
掌中交互终端
手持界面基于 M5Stack CoreS3-SE 构建。嵌入式程序持续读取触摸位置、停留时间、移动速度和累积路径，将手势分类为点击、聚集或拖拽。屏幕本地运行着一个轻量级的湿墨模拟程序，能产生沉淀、晕染、枯笔飞白、收笔渐细以及褪色的效果。
整体系统架构
该装置将嵌入式触摸传感、无线 OSC 传输、实时图形、生成式人工智能、GPU 实例化（GPU instancing）和声音整合为一个闭环。人类的动作首先决定了位置、时机和方向；随后，人工智能生成视觉内容，而 TouchDesigner 则负责维系两者之间的关联。
TouchDesigner 实时系统
ComfyUI 的运行速度慢于实时触摸反馈，且在新的图像生成完毕之前，多次交互可能会暂时共享同一个生成的源图像。如果反复直接提取完整的源图像，会产生明显的复制粘贴感，导致画布上出现完全相同的对象和纹理。 为了防止这种机械的重复，返回的人工智能图像首先进入 Transform1 节点。该节点对源图像进行缩放和平铺，使其成为一个连续的图像场，同时应用由时间驱动的平移效果。由于每个印迹都是在不同的帧上截取的，系统会对不同的局部区域、边缘关系和色彩排列进行采样。即使底层的源图像保持不变，写入每个 3D 纹理层的内容也具有截然不同的内部构图。 这一过程并非将单张图像呈现为几次独立的人工智能生成结果。相反，它将单一的生成结果转化为一种被连续采样的视觉材质。人工智能的输出不再像是一幅完成的画作，而更像是一个流动的图像场，可以被裁剪、重组并作为墨水沉淀在画布上。 在提交生成请求之前，TouchDesigner 并不总是向 ComfyUI 发送相同的草图。由噪波、色阶调整和色彩处理构建的三个图像分支创建了不同的条件图像，而 Switch ROI（感兴趣区域切换）节点会为每次交互选择其中一个。 第一种预设以黑色和灰色的墨迹结构为主导，促使模型优先考虑扩散、抽象标记和类墨水的纹理。第二种预设引入了更强的蓝色倾向，将输出引导至偏冷的青蓝色调，并营造出更具氛围感的空间特质。第三种预设结合了变化的墨水密度与局部的蓝色或红色提示，鼓励模型生成克制的点缀色，而非为整幅图像大面积上色。
ComfyUI 工作流 与LORA训练
针对特定手势的结构草图在 TouchDesigner 中创建，并通过 Spout 传输至 ComfyUI。该工作流结合了基础大模型（base checkpoint）、自定义 LoRA、提示词引导（prompt conditioning）、IPAdapter 引导以及输入的草图，以此生成最终图像。 每个任务都保持与独立的交互记录和纹理索引相链接。生成完成后，返回的人工智能图像将替换原有的占位层，而不会改变受众事先决定的位置、比例或方向。
使用OneTrainer训练LORA模型
我整理了一个以赵无极等艺术家为灵感的现代表现主义水墨画数据集。
在开发自己的 LoRA 之前，我尝试了公开的大模型和 LoRA 模型。当时使用了精心设计的提示词，将生成方向引导至诸如《千里江山图》等中国古典山水画的视觉语言。这期间生成的图像展现了在此阶段制作的合成画布效果。
在整合了我的自定义 LoRA 之后，整体视觉质量有了显著提升。然而，初期的每一个生成碎片仍然是通过圆形遮罩结合程序化噪波进行合成的。这些笔触缺乏在最终版本中所体现出的流动感与有机变化——在最终版本里，每一处印迹都表现得如同独一无二、流淌流动的泼墨手势。
声音交互设计
声音并非后期附加的配乐，而是手势反馈的第二种形式。垂直位置影响音高，水平位置影响音色的明亮度，而点击、长按和拖拽的手势会产生类似于古筝的不同演奏技法音效。声音轮换机制（Rotating voices）允许连续交互产生的共鸣相互交叠，使得画布上视觉的积累同时也是声音的积累。
最终装置 与项目反思
最终的装置由一个手持触摸界面、一台运行 TouchDesigner 和 ComfyUI 的计算机、一块放置在水平放置的电视机内的垂直画布，以及一套基于计算机的音响系统组成。手势在手掌的尺度上进行，并在巨幅图像的尺度上重现，创造了一种身体尺度与视觉尺度之间的奇妙转换。 该项目从最初通过音乐参数控制图像，演变为在具身行动中保留构图的自主权。最终的系统不允许人工智能包揽一切。相反，人工智能在观众的动作之后运作：由参与者决定在何处、何时以及用何种手势进行标记，而模型则通过丰富这一动作来做出响应。 该项目从 MIDI 映射和 IMU 控制发展到电容式触摸，这表明技术的复杂性并不一定能创造出更有意义的互动。在最终的系统中，参与者在人工智能添加纹理和视觉细节之前就确定了位置、时机和手势。即时的占位符、队列管理和同层替换策略解决了延迟问题，同时完好地保留了参与者的构图决策。 这件作品目前仍然受到图像生成速度和仅有三种主要手势分类的限制。未来的开发可以进一步统一手持端湿墨模拟、临时印迹和最终人工智能图像的视觉语言，同时支持更细腻、更多样的书法式肢体动作。
