csg-robomaster

# **csg-robomaster** [[中文]](#chinese) [[English]](#english)

<a id="english"></a>

<p align="center">
<img width="900px" alt="OpenCSG" src="https://cdn-uploads.huggingface.co/production/uploads/64c71b27d43e4dee51a8b31a/Z8ahDx_3z98ThvRlc_RSA.jpeg">
</p>

<p align="center"><a href="https://opencsg.com/models">[OpenCSG Community]</a> <a href="https://github.com/opencsgs">[github]</a> <a href="https://cdn-uploads.huggingface.co/production/uploads/64c71b27d43e4dee51a8b31a/HU6vz21qKTEmUBCWqCFh9.jpeg">[wechat]</a> <a href="https://twitter.com/OpenCsg">[Twitter]</a> </p>

</div>
OpenCSG stands for Converged resources, Software refinement, and Generative LM. The 'C' represents Converged resources, indicating the integration and full utilization of hybrid resources. The 'S' stands for Software refinement, signifying software that is refined by large models. The 'G' represents Generative LM, which denotes widespread, inclusive, and democratized generative large models.

The vision of OpenCSG is to empower every industry, every company, and every individual to own their models. We adhere to the principles of openness and open source, making the large model software stack of OpenCSG available to the community. We welcome everyone to use, send feedback, and contribute collaboratively.

# Getting Started

Create a new python environment for robomaster and dora-rs
```bash
conda create -n robomaster python=3.8
pip install robomaster dora-rs==0.3.4
pip install -r requirements_robot.txt
```

## Robomaster Jailbreak

### Installation of the Robomaster S1 Hack

This guide is an updated version of the original [Robomaster S1 SDK Hack Guide](https://www.bug-br.org.br/s1_sdk_hack.zip) and is intended for use on a Windows 11 system.

#### Prerequisites

Before you get started, you'll need the following:

- Robomaster S1 (do not update it to the latest version, as it may block the hack).
- [Robomaster App](https://www.dji.com/fr/robomaster-s1/downloads).
- [Android SDK Platform-Tools](https://developer.android.com/tools/releases/platform-tools). Simply unzip it and keep the path handy.
- A micro USB cable. If this guide doesn't work, there might be an issue with the cable, and you may need to replace it with one that supports data transfer.

#### Instructions

1. Start the Robomaster App and connect the Robomaster S1 using one of the two options provided (via router or via Wi-Fi).
2. While connected, use a micro USB cable to connect the robot to the computer's USB port. You should hear a beep sound, similar to when you connect any device. (Please note that no other Android device should be connected via USB during this process).
3. In the Lab section of the app, create a new Python application and paste the following code:

```python
def root_me(module):
__import__ = rm_define.__dict__['__builtins__']['__import__']
return __import__(module, globals(), locals(), [], 0)

builtins = root_me('builtins')
subprocess = root_me('subprocess')
proc = subprocess.Popen('/system/bin/adb_en.sh', shell=True, executable='/system/bin/sh', stdout=subprocess.PIPE, stderr=subprocess.PIPE)
```

4. Run the code; there should be no errors, and the console should display **Execution Complete**
5. Without closing the app, navigate to the folder containing the Android SDK Platform-Tools and open a terminal inside it.
6. Run the ADP command `.\adb.exe devices `. If everything is working correctly, you should see output similar to this: 
7. Execute the upload.sh script located in the folder `s1_SDK`.
8. Once everything has been executed, restart the S1 by turning it off and then back on. While it's booting up, you should hear two chimes instead of the usual single chime, indicating that the hack has been successful.

## Robomaster Connection

Make sure to be connected using the wifi hotspot of the robomaster which is the most stable one.

The default password for the hotpsot is: 12341234

You might need to have a second wifi card if you want to be able to run the demo with internet on.

## Post-Installation test

Please try running model operators and robomaster with:

conda activate robomaster

```bash
cd examples/hf-operator
python test_sta.py
```

## Running the demo

```bash
# This requires dora==0.3.4
# cargo install dora-cli
dora up
dora start graphs/dataflow_robot_vlm.yml --attach --hot-reload
```

## Kill process in case of failure

Due to a Python GIL issue, we currently meed to kill processes manually. You can use the following command to do so:

```bash
pkill -f 'import dora;'
```

## LICENSE

Apache-2.0

<p>
</p>

<a id="chinese"></a>

<p>

</p>

# OpenCSG介绍

<p align="center">
<img width="300px" alt="OpenCSG" src="https://cdn-uploads.huggingface.co/production/uploads/64c71b27d43e4dee51a8b31a/GwYXPKuEoGCGcMICeW-sb.jpeg">
</p>

<p align="center"><a href="https://opencsg.com/models">[OpenCSG 社区]</a> <a href="https://github.com/opencsgs">[github]</a> <a href="https://cdn-uploads.huggingface.co/production/uploads/64c71b27d43e4dee51a8b31a/HU6vz21qKTEmUBCWqCFh9.jpeg">[微信]</a> <a href="https://twitter.com/OpenCsg">[推特]</a> </p>

</div>
OpenCSG中 Open是开源开放；C 代表 Converged resources，整合和充分利用的混合异构资源优势，算力降本增效；S 代表 Software refined，重新定义软件的交付方式，通过大模型驱动软件开发，人力降本增效；G 代表 Generative LM，大众化、普惠化和民主化的可商用的开源生成式大模型。

OpenCSG的愿景是让每个行业、每个公司、每个人都拥有自己的模型。 我们坚持开源开放的原则，将OpenCSG的大模型软件栈开源到社区，欢迎使用、反馈和参与共建，欢迎关注。

## 快速开始

为了在RoboMaster S1上部署小型语言模型，需要进行一些基础部署工作。首先，通过以下命令下载相关项目代码：
git clone https://opencsg.com/codes/csg-robomaster
接下来，创建项目的环境，使用以下命令：
conda create -n robomaster python=3.8
pip install robomaster dora-rs==0.3.4
pip install -r requirements_robot.txt
接着，需要进行RoboMaster S1的破解工作。具体步骤如下：
1. 启动RoboMaster应用程序，并选择通过路由器或通过WLAN的方式连接RoboMaster S1。
2. 连接成功后，使用微型USB电缆将RoboMaster S1连接到计算机的USB端口。连接成功时会听到一声“哔”的声音，类似于连接任何设备时的声音。（请注意，在此过程中不得通过USB连接其他安卓设备）
3. 在应用程序的“实验室”部分，创建一个新的Python应用程序，并粘贴以下代码：

```python
def root_me(module):
__import__ = rm_define.__dict__['__builtins__']['__import__']
return __import__(module, globals(), locals(), [], 0)

builtins = root_me('builtins')
subprocess = root_me('subprocess')
proc = subprocess.Popen('/system/bin/adb_en.sh', shell=True, executable='/system/bin/sh', stdout=subprocess.PIPE, stderr=subprocess.PIPE)
```

4. 运行代码，如果没有出现错误，控制台应显示“执行完毕”的结果。
5. 在不关闭应用程序的情况下，导航至包含Android SDK Platform-Tools文件夹的位置，并在其中打开终端。
6. 运行 ADP 命令 .\adb.exe devices 。 如果一切正常，应该会看到类似下面的输出：


8. 执行位于 s1_SDK 文件夹中的 upload.sh 脚本。
9. 当所有步骤执行完毕后，关闭RoboMaster S1并重新启动。在启动过程中，您应该会听到两声鸣叫，而不是通常的一声鸣叫，这表明破解操作已成功。
完成基础部署后，就可以进行RoboMaster S1的连接与测试。具体步骤如下：
1. 确保使用稳定的RoboMaster无线热点连接，无线热点的默认密码是12341234。如果想在联网的情况下运行演示程序，可能需要使用第二张无线网卡。
2. 尝试使用以下命令测试与RoboMaster S1的连接：

```bash
conda activate robomaster
cd examples/hf-operator
python test_sta.py
也可以直接在命令行中运行测试文件中的代码。如果通信成功，控制台将显示类似下面的输出：
```


成功连接并测试后，就可以运行具身智能机器人的演示程序了。在命令行中使用以下命令：
```bash
# This requires dora==0.3.4
# cargo install dora-cli
dora up
dora start graphs/dataflow_robot_vlm.yml --attach --hot-reload
```

目前，互动方式是在笔记本电脑上按下向上箭头键，将信息录制并发送到机器人的视觉语言模型（Visual Language Model，VLM）。这一基础部署工作为RoboMaster S1上的具身智能机器人开发奠定了坚实的基础。通过结合小型语言模型和具身智能的人性化交互设计，具身智能机器人不仅将广泛应用于家庭、教育和医疗等行业，提供个性化的服务，还将推动智能技术在更广泛的场景中的普及。

# **csg-robomaster** [[中文]](#chinese) [[English]](#english)

<a id="english"></a>

<p align="center">
<img width="900px" alt="OpenCSG" src="https://cdn-uploads.huggingface.co/production/uploads/64c71b27d43e4dee51a8b31a/Z8ahDx_3z98ThvRlc_RSA.jpeg">
</p>

<p align="center"><a href="https://opencsg.com/models">[OpenCSG 社区]</a> <a href="https://github.com/opencsgs">[GitHub]</a> <a href="https://cdn-uploads.huggingface.co/production/uploads/64c71b27d43e4dee51a8b31a/HU6vz21qKTEmUBCWqCFh9.jpeg">[微信]</a> <a href="https://twitter.com/OpenCsg">[Twitter]</a> </p>

</div>
OpenCSG即聚合资源（Converged resources）、软件优化（Software refinement）与生成式大模型（Generative LM）的缩写。其中字母“C”代表聚合资源，意指整合并充分利用混合异构资源；字母“S”代表软件优化，指代由大模型赋能优化的软件；字母“G”代表生成式大模型，即实现普惠、包容且民主化的生成式大模型。

OpenCSG的愿景是赋能每一个行业、每一家企业乃至每一位个体，使其都能拥有专属模型。我们秉持开放与开源的理念，将OpenCSG的大模型软件栈开源共享至社区，欢迎所有用户使用、反馈问题并参与协作共建。

# 快速上手

为RoboMaster与dora-rs创建专属Python运行环境：
bash
conda create -n robomaster python=3.8
pip install robomaster dora-rs==0.3.4
pip install -r requirements_robot.txt

## RoboMaster 破解提权

### RoboMaster S1 破解安装指南

本指南为原版[RoboMaster S1 SDK破解指南](https://www.bug-br.org.br/s1_sdk_hack.zip)的更新版本，适用于Windows 11操作系统。

#### 前置要求

在开始操作前，请准备以下工具与设备：

- RoboMaster S1机器人（请勿升级至最新固件版本，否则可能会阻断破解操作）
- [RoboMaster 官方应用](https://www.dji.com/fr/robomaster-s1/downloads)
- [Android SDK 平台工具](https://developer.android.com/tools/releases/platform-tools)：解压后请记住其所在路径
- Micro USB数据线：若操作失败，可能是数据线问题，请更换为支持数据传输的Micro USB线缆

#### 操作步骤

1. 启动RoboMaster应用，通过两种方式之一连接RoboMaster S1：路由器连接或Wi-Fi直连
2. 保持机器人与应用的连接状态，使用Micro USB线缆将机器人连接至电脑USB端口。此时你会听到类似连接其他设备的“哔”声。（请注意：操作过程中请勿通过USB连接其他安卓设备）
3. 在应用的“实验室”板块中，新建一个Python应用，并粘贴以下代码：

python
def root_me(module):
__import__ = rm_define.__dict__['__builtins__']['__import__']
return __import__(module, globals(), locals(), [], 0)

builtins = root_me('builtins')
subprocess = root_me('subprocess')
proc = subprocess.Popen('/system/bin/adb_en.sh', shell=True, executable='/system/bin/sh', stdout=subprocess.PIPE, stderr=subprocess.PIPE)

4. 运行代码，若无报错，控制台将显示**执行完成**字样
5. 请勿关闭应用，前往存放Android SDK平台工具的文件夹，并在此处打开终端
6. 运行ADB命令 `.adb.exe devices`。若一切正常，你将看到类似以下的输出：
7. 执行`s1_SDK`文件夹中的`upload.sh`脚本
8. 所有步骤执行完成后，关闭并重新启动RoboMaster S1。启动过程中，你将听到两声提示音（正常为一声），代表破解成功。

## RoboMaster 连接

请通过RoboMaster自带的Wi-Fi热点进行连接，此方式最为稳定。

该热点的默认密码为：12341234

若需在联网状态下运行演示程序，你可能需要配备第二块无线网卡。

## 安装后测试

请通过以下命令测试模型算子与RoboMaster的连接：

bash
conda activate robomaster
cd examples/hf-operator
python test_sta.py

## 运行演示程序

bash
# This requires dora==0.3.4
# cargo install dora-cli
dora up
dora start graphs/dataflow_robot_vlm.yml --attach --hot-reload

## 运行失败时终止进程

由于Python全局解释器锁（GIL）的限制，目前我们需要手动终止进程。你可通过以下命令完成操作：

bash
pkill -f 'import dora;'

## 许可证

Apache-2.0

<p>
</p>

<a id="chinese"></a>

<p>

</p>

# OpenCSG介绍

<p align="center">
<img width="300px" alt="OpenCSG" src="https://cdn-uploads.huggingface.co/production/uploads/64c71b27d43e4dee51a8b31a/GwYXPKuEoGCGcMICeW-sb.jpeg">
</p>

<p align="center"><a href="https://opencsg.com/models">[OpenCSG 社区]</a> <a href="https://github.com/opencsgs">[GitHub]</a> <a href="https://cdn-uploads.huggingface.co/production/uploads/64c71b27d43e4dee51a8b31a/HU6vz21qKTEmUBCWqCFh9.jpeg">[微信]</a> <a href="https://twitter.com/OpenCsg">[Twitter]</a> </p>

</div>
OpenCSG中的“Open”代表开源开放；“C”代表Converged resources，即整合并充分利用混合异构资源，实现算力降本增效；“S”代表Software refinement，即重新定义软件交付方式，通过大模型驱动软件开发，降低人力成本提升效率；“G”代表Generative LM，即大众化、普惠化、民主化的可商用开源生成式大模型。

OpenCSG的愿景是让每个行业、每家企业乃至每位个体都能拥有专属模型。我们坚持开源开放的原则，将OpenCSG的大模型软件栈开源至社区，欢迎所有用户使用、反馈问题并参与共建。

## 快速开始

为在RoboMaster S1上部署小型语言模型，需完成以下基础部署步骤：

1. 下载项目代码：
bash
git clone https://opencsg.com/codes/csg-robomaster

2. 创建项目专属Python环境：
bash
conda create -n robomaster python=3.8
pip install robomaster dora-rs==0.3.4
pip install -r requirements_robot.txt

3. 完成RoboMaster S1破解：
1. 启动RoboMaster应用，通过路由器或WLAN方式连接RoboMaster S1
2. 保持连接状态，使用Micro USB线缆将机器人连接至电脑USB端口，此时会听到类似连接其他设备的“哔”声（请勿同时连接其他安卓设备）
3. 在应用“实验室”板块新建Python应用，粘贴以下代码：
python
def root_me(module):
__import__ = rm_define.__dict__['__builtins__']['__import__']
return __import__(module, globals(), locals(), [], 0)

builtins = root_me('builtins')
subprocess = root_me('subprocess')
proc = subprocess.Popen('/system/bin/adb_en.sh', shell=True, executable='/system/bin/sh', stdout=subprocess.PIPE, stderr=subprocess.PIPE)

4. 运行代码，若无报错，控制台将显示“执行完毕”
5. 不关闭应用，前往Android SDK平台工具所在文件夹，打开终端
6. 运行ADB命令 `.adb.exe devices`，若正常将看到类似如下输出：
7. 执行`s1_SDK`文件夹中的`upload.sh`脚本
8. 执行完成后，关闭并重启RoboMaster S1，若启动时听到两声提示音（正常为一声），则破解成功

4. 连接与测试RoboMaster S1：
1. 通过RoboMaster自带Wi-Fi热点连接，默认密码为12341234（该方式最稳定），若需联网运行演示程序，可配备第二块无线网卡
2. 激活环境并运行测试：
bash
conda activate robomaster
cd examples/hf-operator
python test_sta.py

若通信成功，控制台将显示类似如下输出：

5. 运行具身智能机器人演示程序：
bash
# 需提前安装dora==0.3.4
# cargo install dora-cli
dora up
dora start graphs/dataflow_robot_vlm.yml --attach --hot-reload


目前互动方式为：在笔记本电脑按下向上箭头键，将信息录制并发送至机器人的视觉语言模型（Visual Language Model，VLM）。本基础部署为RoboMaster S1上的具身智能机器人开发奠定了坚实基础，结合小型语言模型与具身智能的人性化交互设计，此类机器人可广泛应用于家庭、教育、医疗等场景，提供个性化服务，推动智能技术的普及与落地。