在灵波的实习,我接触到了具身智能的数据集和pipeline,数据很重要,但更重要的是如何去定义数据和pipeline。至少在具身智能这块,目前并没有确定的有效数据定义形式,从仿真数据到实机遥操数据,存在着一套金字塔,没人敢下结论哪一层数据是具身智能的终局数据。imagenet将数据定义为像素图像与语义标签。单具身智能似乎只能定义数据的pipeline出口是一套六维力坐标。
那么个人agent的数据和pipeline应该是什么?llm下的agent将所有语料符号作为agent的输入和输出,所以自然也让用户开始寻求自己的context是什么?但受限于目前的llm agent,所有的context本质上都是文本,一个人一天24h的经历,如果想让agent去理解并实施行为,都要转化为文本符号。这符合真正的人类行为直觉吗?而且它不够快,我的决策似乎大部分都是脑子无意识完成的,而不是2-3分钟的推理再去行为。
我该如何定义这里的个人context数据呢?即便定义好了之后,我该如何将他们纳入到一个agent的决策体系中去呢(目前的全模态大模型提供了一定的思路)