Loom – Looki面向第一视角的时序多模态理解模型

Loom是Looki推出的时序多模态模型系列，面向穿戴设备第一视角采集的音视频流，完成真实世界事件解析与高光片段挖掘。它接收摄像头、麦克风、运动传感器产生的连续时序数据，把碎片化的感官观测整理成具备时间边界的完整经历片段，搭建从实时感知到长期记忆调用的完整链路。模型适配可穿戴硬件的算力约束，采用大小模型分级调度，输出结构化元数据而非大体积媒体文件，可将全天的原始记录转化成可检索、可回溯的个人时间线，支撑个人记忆复盘、场景感知等业务。

Loom特点

分层事件解析体系

将输入素材拆分为场景、活动、事件三层做解析，区分所处环境、正在开展的行为与完整的经历片段。同一时间段允许输出多项并行事件，还原现实世界多种行为同时发生的状态。

时序平滑抗抖动

针对第一视角画面容易出现的晃动、短暂遮挡、镜头快速切换做专门处理，借助时序约束减少无意义的标签跳变。短暂信号缺失不会直接中断事件标记，依靠前后上下文维持状态连续性。

大小模型分级调度

简单场景识别交由端侧轻量模型完成，遇到画面突变、语义复杂的片段再向上路由到更强的多模态模型。在设备功耗、推理时延与识别效果之间取得平衡。

自然语言驱动事件定义

无需提前完成全部类别训练，依靠文本描述就可以指定想要识别的事件，不用重新对模型做微调迭代，适配使用者不断变化的检索与识别需求。

Loom技术原理

整体采用滑动窗口时序处理架构，每个时间窗口内汇集视觉帧、音频信号、运动传感数据，分别经由对应编码器转换为特征向量，映射至统一多模态特征空间。轻量 Transformer 模块聚合窗口内部特征，同时保留上一窗口输出的事件状态向量，传递到下一个窗口，实现跨窗口状态延续。

引入维特比时序平滑算法，结合窗口概率分布与场景转移约束，修正碎片化的瞬时预测结果，过滤画面抖动带来的错误标签跳变，收敛得到更稳定连续的事件分段。系统把场景、活动、事件做层级化解耦，分别输出对应表征，实现环境、行为、完整经历的分层输出。

推理链路设置路由控制器，评估当前窗口内容复杂度。信号稳定、场景变化小的片段留在端侧运算；出现场景切换、语义模糊的片段，将特征元数据上传至云端执行深度解析，原始音视频素材优先保存在本地设备。

训练数据集大量引入第一视角生活日志素材，覆盖遮挡、噪音、画面抖动等真实干扰场景，学习现实事件发生、持续、结束的时序模式，提升模型在真实穿戴采集环境下的鲁棒表现。

Loom功能

连续流事件分段解析

对穿戴设备不间断输出的多模态数据流做处理，输出事件的起止时间、类别标签以及置信度，划分出完整的经历片段。

高光时刻识别筛选

基于事件解析结果，筛选具备叙事价值的片段，输出高光元数据，为自动剪辑、日志生成提供标记依据。

自然语言时序检索

依托已经生成的事件元数据库，输入文本描述行为、场景，定位对应时间区间的原始记录，不需要逐帧浏览完整视频。

分层经历组织

把原始传感素材整理成结构化经历条目，记录场景、参与行为、关键对话要点，形成可供后续记忆模块调取的个人上下文。

端‑云协同推理

基础识别任务在硬件本地完成，复杂语义分析交由云端执行，原始媒体文件可保留设备本地，仅同步轻量化元数据，降低带宽消耗。

Loom应用场景

穿戴式个人记忆管理

搭配 Looki L1 这类第一视角可穿戴硬件，把全天采集素材转化结构化经历时间线，自动筛选高光素材，生成每日回顾、漫画日记、个人短片，降低人工整理成本。

穿戴设备情景感知

作为硬件感知底层，输出的事件结果供给上层智能体，实现情景触发提醒、采集策略自动调整，让设备根据现实环境变化做出对应反应。

个人经历回溯检索

使用者通过文字描述过往发生的场景、对话、行为，快速定位对应的记录片段，完成个人生活经历的复盘查阅。

个人智能体上下文供给

将解析得到的经历条目输送至长期记忆模块，个人 Agent 可以调取过往经历信息，结合历史上下文给出更贴合个人实际情况的反馈。

第一视角时序算法研究

面向 lifelog 生活日志方向提供基础底座，可用于事件分割、高光检测、穿戴端多模态感知方向的算法迭代与验证。