2026 / Project No.06 / Interactive Installation

Cosmos in Hand

一个通过手势识别操控三维星系运行的浏览器交互装置。

打开摄像头,用单手让星轨旋转、缩放、脉冲、扰动。

画面不离开设备,只读取 21 个手部关键点。

手势星仪装置 · Gesture-controlled celestial installation


Role
Interaction Design + Build
Scope
Web · Camera · MediaPipe · Three.js
Status
Live Installation Prototype

FIG.01 · 装置预览 N=2 · 轨道 θ≈18° · 倾角 P-01 P-02 1 AU

LIVE
INSTALLATION

这是一个把手势识别、三维渲染和宇宙意象压缩到浏览器里的交互装置。出发点是一个简单的问题——如果手势可以操控一个真实存在的宇宙,那会是什么感觉?不是控制台、不是仪表盘,而是一段悬浮的星系,等你伸手让它运行。

摄像头开启后,浏览器在本地推理 21 个手部关键点,画面不外传、不录制、不上传,也不识别人脸。识别结果被抽象成单手输入:移动控制方向,手掌开合控制缩放,张掌强化轨道,握拳触发脉冲,挥手制造扰动。鼠标和模拟器为降级输入兜底。

在介绍页,宇宙是一张静态的星仪草图;点击「进入装置」后,页面切入深空,作品进入真实的三维运行状态。从「档案」到「现场」的切换,是这个项目的核心节奏。

Detail 01

手势 → 装置

移动ROTATE旋转宇宙
开合PALM缩放装置
张掌EXPAND展开结构
握拳PULSE恒星脉冲
挥手DISTURB星群扰动

Detail 02

原理 + 信号

原理 / Pipeline

  • 摄像头 → 21 个手部关键点
  • MediaPipe Hands · 本地 WASM 推理
  • 关键点 → 归一化的 GestureState
  • State → 驱动宇宙装置参数
  • 鼠标 / 模拟器 可作降级输入

信号 / Signal

  • 画面不离开你的设备。
  • 这是一段不被记录的信号。
  • 关闭页面,宇宙就消失了。
摄像头 待机
手势 none
输入
单手挥动 = 旋转
开掌 / 收掌 = 缩放
张掌 = 展开
握拳 = 脉冲
挥手 = 扰动
LOADING SIGNAL