Skip to content

README‐zh

zephyr edited this page Aug 12, 2024 · 40 revisions

LOGO(1)

YouTube BiliBili

English | 简体中文

产品介绍

LabelLLM是一个开源的数据标注平台,致力于优化对于大型语言模型(LLM)开发不可或缺的数据标注过程。LabelLLM的设计理念旨在成为独立开发者和中小型研究团队提高标注效率的有力工具。它的核心在于通过提供全面的任务管理解决方案和多样化的多模态数据支持,简化并增强模型训练的数据注释过程的效率。

特色功能

灵活的配置

LabelLLM以其可适应性强的框架而脱颖而出,提供了一系列可定制的任务特定工具,以满足数据标注项目的多样化需求。这种灵活性允许平台无缝集成到各种任务参数中,使其成为模型训练数据准备阶段的宝贵资产。

多模态数据支持

LabelLLM认识到数据多样性的重要性,并将其能力扩展到包括音频、图像和视频在内的多种数据类型。这种全面的方法确保用户可以在一个统一的平台上进行包含多种数据类型的复杂标注项目。

全面的任务管理

为确保体现最高标准的质量和效率,LabelLLM设有全方位的任务管理系统。该系统提供实时监控标注进度和质量控制,从而保证所有项目的数据准备阶段的完整性和时效性。

人工智能辅助标注

LabelLLM支持预标注数据的一键载入,用户可以根据实际需要对其进行细化和调整。这一特性提高了标注的效率和准确性。

labelllm.mp4

产品特性

  • 多功能性: LabelLLM为用户提供了广泛的数据标注工具,旨在处理各种任务,而不会损害标注的效果或准确性。

  • 用户友好: 除了功能强大之外,LabelLLM还非常注重用户体验,提供直观的配置和工作流程,简化了数据标注任务的设置和分配。

  • 效率提升: 通过整合人工智能辅助的标注,LabelLLM大幅提高了标注效率。

快速开始

使用教程

点击下方图片观看观看:

本地部署

安装部署视频

  1. 克隆本项目到本地或下载本项目代码压缩包。

推荐在Linux上运行,安装如果遇到问题您可以参考 常见问题

  1. 安装 Docker,选择对应的操作系统类型并下载安装。

  2. 在对应项目的文件地址下,运行命令:

docker compose up

注:初次安装可能需要花费一定时间,请耐心等待并保证网络连接良好

  1. 打开浏览器,访问Localhost:9001

用户名:user 密码:password

  1. 修改Access key 为: MINIO_ACCESS_KEY_ID = MekKrisWUnFFtsEk MINIO_ACCESS_KEY_SECRET = XK4uxD1czzYFJCRTcM70jVrchccBdy6C

  2. 打开浏览器,访问以下地址即可进入:

    http://localhost:8086/supplier 标注端

    http://localhost:8086/operator 管理端

将localhost替换为对应ip地址,即可分享给其他团队成员,使其可以直接使用无需重复部署。

首次注册的账号会被默认设置为管理员,后续账号均需要该账号设置才能获得运营端权限,请勿忘记首次注册的账号及密码!!!

技术交流

欢迎加入 Opendatalab 官方微信群!

e353491e40a18364cc2106a5c41ae42

友情链接

  • LabelU(Opendatalab另一多模态标注神器)
  • MinerU (一站式高质量数据提取工具)

配置详情

后端文档 配置文件

前端文档 配置文件

常见问题

1. windows docker build 失败

/app/scripts/start.sh:2:set:Illegal option-

这是因为 Windows 和 Linux 对行尾字符的处理方式不同。Windows 使用 \r\n(回车和换行)作为行尾字符,而 Linux 只使用 \n(换行)。

当你在 Windows 上使用 git clone 时,Git 默认会将行尾字符从 \n 转换为 \r\n。这就是为什么 .sh 文件的行尾序列和 hash 值在 Windows 和 Linux 上不同的原因。

如果你想在 Windows 上保持 Linux 风格的行尾字符,你可以设置 Git 的 core.autocrlf 选项为 input

git config --global core.autocrlf input

这样,当你在 Windows 上使用 git clonegit pull 时,Git 将不会更改行尾字符。

2. 无权限登录运营端

初始登录的账号会被默认设置为管理员(拥有运营端权限),后续管理员账号都需要通过此账号设置,所以请勿忘记初始登录账号。

3. 忘记初次登录账号

方案一:改变当前目录名, 即执行 docker compose up 的目录名, LabelLLM 改为 LabelLM-xxx,然后重装一次。

方案二:如果比较了解 docker 可以手动删除 docker 挂载路径,重新部署

e353491e40a18364cc2106a5c41ae42

4. 如何使用json一键配置任务格式以及上传数据

请参考以下文档:

任务配置格式

数据上传格式

5. 如何上传图片音视频

遵循Markdown插入图片音视频的方式,在jsonl文件中加入想要上传的文件的URL即可。

eg. 上传图片可以使用如下格式:![](图片有效链接网址)