当机器人仅依靠计算机视觉时，它只能勉强搜索周边的目标。卡耐基-梅隆大学机器人研究所的一名研究人员称，通过利用所有提供给它的信息，例如目标的位置、大小、形状、能否被移动，机器人能通过对目标的不断探索来逐步改善对目标的理解与认知。
卡内基梅隆大学的研究人员建立了目标物体数字模型以及图像，然后将这些数据导入机器人管家（HERB）的记忆卡中，因此，机器人能够识别出所需要进行处理的对象。实际上，所有机器人方面的专家为了让他们的机器人能识别物体所做的操作都是类似的。随着机器人终生物体探索计划的进行,现在机器人可以自行探索目标物体。随着投入更多的时间累积更多的经验，一套名为HerbDisc的视觉系统将逐渐完善物体模型，并开始把注意力集中在那些与它的目标“帮助人类完成日常生活中的任务”最相关的事情上。
“机器人搜索物体的能力有时候甚至让研究人员感到惊讶。”私人机器人实验室负责人、机器人学副教授悉达多·斯里尼瓦莎感叹，那里正是HERB所诞生的地方。在一个案例中，一些学生傍晚离开实验室前把就餐时剩下的菠萝和一袋面包遗留在了实验室，当他们第二天一早回来的时候，发现机器人，管家已经建立好菠萝和面包的数字模型并且已经演算出如何将它们拿起来。
一旦机器人的工作领域从家中拓展到工作中，那么这些机器人就必须能够理解成百上千种常见物品的用途，这是非常重要的。斯里尼瓦莎说：“对于计算机视觉研究人员来说，目标识别一直是一个具有挑战性的研究领域。在嘈杂的环境中仅仅通过图像来识别物体是相当困难的。”但是，人类在探索一个物体时不仅仅依靠视觉，婴儿会按压橡皮鸭，拿它击打浴缸，将它浸入水中甚至把它塞进自己嘴里。机器人也一样，它有很多关于自己所处环境的领域知识并能够以此来搜索目标。
