LLaVA v1.5, a new open-source multimodal model stepping onto the scene as a contender against GPT-4 with multimodal capabilities. It uses a simple projection matrix to connect the pre-trained CLIP ViT-L/14 vision encoder with Vicuna LLM, resulting in a robust model that can handle images and text. The model is trained in two stages: first, updated ... See more

目前做大模型+机器人的 最大难点,在于获取数据 。谷歌和微软都选择了从收集家用动作入手,未来其他场景,比如办公室、街道、商场、工厂,如果能训练出来一个个小模型,融入到底层大模型里面,将会是创业公司的重要壁垒。

而在个人AI计算机时代,这个数字有可能变成7000万。由于LUI的存在,有可能降低用户学习计算机语言的门槛,而且至关重要的是,让AI编程已经近在眼前。如果形成了“人来描述需求,AI完成编程”这一新的范式,就迈出了一大步的跨越,也将真正完成发明个人AI计算机所需要的第三项关键技术基础:基于自然语言的可编程平台。这个中间尚存在一些难点,比如自然语言中存在着隐性的逻辑特征,这意味着我们无法直接用自然语言构成演绎规则公式。我们将在本文的后半部分给出一种解决思路。