找回密码
 立即注册

使用验证码登录

QQ登录

只需一步,快速开始

ScreenAgent

[复制链接]

ScreenAgent

[复制链接]
千禾问道

7005

主题

26

回帖

-2511

积分

超级版主

积分
-2511

活跃会员热心会员突出贡献优秀版主荣誉管理呼吁大使大铭牌优秀达人

QQ
3 天前 | 显示全部楼层 |阅读模式 IP:浙江省嘉兴市 电信
SuoLie-索猎免责声明与问题处理
内容类型:
网址导航 平台链接 资源/工具 
线上/线下:
线上
SuoLie索猎-权威分类:
智能Al工具 » AI编程工具 类
SuoLie索猎-类型分类2:
SuoLie索猎-类型分类3:
业类分类:
IT综合 科学技术 网络科技 AI智能 
全球地区:
中国地区:
其他地区
详细地区地址:
链接地址:
点此链接进入官网:
https://github.com/niuzaisheng/ScreenAgent 智能Al工具

马上注册,享用更多功能,让你轻松玩转SuoLir索猎。

您需要 登录 才可以下载或查看,没有账号?立即注册

×



ScreenAgent是什么:
    ScreenAgent是由吉林大学人工智能学院与知识驱动的人工智能教育部工程研究中心联合开发的一个基于视觉语言模型(VLM)的计算机控制智能体。该智能体能够与真实计算机屏幕进行交互,执行多步骤任务。
主要特点:
  • 视觉语言模型(VLM): 结合了视觉和语言处理能力,用于解析屏幕截图和理解任务提示。
  • 强化学习环境: 通过VNC协议与计算机屏幕交互,创建了用于训练的强化学习环境。
  • 控制流程: 包括计划、执行和反思三个阶段,引导智能体与环境持续交互。
  • 数据集和评估: ScreenAgent数据集包含多种日常计算机任务的屏幕截图和动作序列,以及用于评估的CC-Score指标。
主要功能:
  • 屏幕观察: 观察和理解计算机屏幕截图。
  • 动作生成: 生成鼠标和键盘动作的JSON格式命令序列。
  • 任务规划: 分解任务为子任务,并规划相应的动作序列。
  • 执行动作: 发送鼠标和键盘动作命令到计算机,执行用户指定的任务。
  • 反思评估: 评估执行结果,决定后续行动。
使用示例:
  • 屏幕观察: ScreenAgent观察桌面操作系统的实时图像。
  • 动作生成: 根据屏幕截图生成移动鼠标、点击、滚动等动作命令。
  • 任务规划: 将用户任务如“打开网页浏览器”分解为具体步骤。
  • 执行动作: 执行打开浏览器、输入网址、搜索信息等动作。
  • 反思评估: 在尝试打开网页后,评估操作是否成功,决定是否需要重试。
总结:ScreenAgent是一个先进的计算机控制智能体,它通过观察屏幕截图和执行鼠标键盘动作来完成复杂的任务。它利用VLM和强化学习环境,可以在真实计算机屏幕上执行多步骤任务。ScreenAgent的控制流程和评估指标使其成为一个强大的工具,可用于自动化各种数字任务,提高效率和便利性。
SuoLie-索猎免责声明与问题处理

1、本主题所有言论和图片,与本站立场无关

3、本主题由该帖子作者发表,该帖子作者与 {SuoLie-索猎} 享有帖子部分相关版权

4、其他单位或个人使用、转载或引用本文时必须同时征得该帖子原作者和 {SuoLie-索猎} 的同意

5、帖子作者有恶意发布行为的,须承担一切因本文发表而直接或间接导致的民事或刑事法律责任

6、本帖部分内容转载自其它媒体,但并不代表本站赞同其观点和对其真实性负责

7、如本帖侵犯到任何版权问题,请立即告知本站,本站将及时予与删除并致以最深的歉意

8、本站-SuoLie-索猎提供的“本链接地址和内容”都来源于网络,不保证外部链接或者是本页与外页内容的准确性和完整性;

    同时,对于该外部链接的指向,不由SuoLie-索猎实际控制;

    在SuoLie-索猎收录时,该网页上的内容,都属于合规合法;

    后期网页的内容如出现违规,可以直接联系网站管理员进行删除,SuoLie-索猎不承担任何责任。

9、 {SuoLie-索猎} 管理员和版主有权不事先通知发贴者而删除本文

SuoLie-索猎 最新常见问题解决方案:

SuoLie-索猎官方}

(出处: SuoLie-索猎)

相关帖子

全面多元化的综合上网导航网,▶有偿服务QQ 843980866更多资源
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

热门/赞助位
立即入驻

富强 民主 文明 和谐 自由 平等 公正 法制 爱国 敬业 诚信 友善

QQ|Archiver|手机版|小黑屋|反馈举报|侵权删除|免责声明|投诉建议|联系我们|赞助本站|本站括彩CDN安全加速|SuoLie 索猎 | 蒙ICP备2021002753号-6|蒙公安网备15050202000758号 |网站地图|网站地图

GMT+8, 2025-4-3 12:13 , Processed in 0.221912 second(s), 54 queries .

Powered by Discuz! X3.5

© 2001-2025 Discuz! Team.

快速回复