sumitj39/openhathi-7b-base-q4_0.ggml

---
license: llama2
---

This dataset contains the ggml version of OpenHathi model released by Sarvam AI. [Link to original model](https://huggingface.co/sarvamai/OpenHathi-7B-Hi-v0.1-Base).

The ggml file provided is 4 bit quantized version, it can be run on local devices such as an M1 MacBook or other hardware.

### How to use?
1. Download llama.cpp from [here](https://github.com/ggerganov/llama.cpp)
```bash
git clone https://github.com/ggerganov/llama.cpp
```
3. Note: The ggml support has been deprecated, new file format is gguf. But since this repository contains ggml file, we have to switch back to an older commit of llama.cpp that worked with ggml files.

Execute this command to switch to the commit that worked with ggml files:
```
bash git checkout dadbed9
```
3. Read the instructions mentioned [here](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#build) to create an executable file in the llama.cpp directory.
4. Run the model:
```bash
./main -t 4 -m ~/ggml-models/openhathi-7b-base-q4_0.ggml -p "tell me about india in hindi: - भारत" --ctx-size 1024 -ngl 1 2>/dev/null
```
5. The model prints output:
>भारत दुनिया के सबसे पुराने देशों में से एक है और दुनिया की 7वीं सबसे बड़ी आबादी वाला देश है। The nation has a rich and diverse history, dating back to ancient times when it was ruled by various empires and kingdoms. भारत में दो मुख्य भौगोलिक क्षेत्र शामिल हैंः एक द्वीपसमूह जिसमें कई बड़े द्वीपों के साथ-साथ छोटे द्वीप भी शामिल हैं और दूसरा समतल क्षेत्रों से घिरा हुआ है। भारत की अनूठी सांस्कृतिक विरासत, विविध धर्मों और भाषाओं को बढ़ावा देता है जो देश की समृद्ध विविधता का प्रमाण हैं। भारत में सबसे अधिक बोली जाने वाली भाषाएँ हिंदी, बंगाली, तमिल, मराठी, कन्नड़, उड़िया और मलयालम हैं। 40 प्रतिशत आबादी हिंदू है, जबकि अन्य प्रमुख धर्म इस्लाम, बौद्ध धर्म, ईसाई धर्म और सिख धर्म हैं। भारत अपनी समृद्ध कृषि अर्थव्यवस्था के लिए जाना जाता है और यह अपने विविध व्यंजनों, समृद्ध इतिहास और जीवंत सांस्कृतिक विरासत के लिए भी मनाया जाता है। The country has made remarkable strides in areas such as information technology and manufacturing, which have contributed to its global economic position. एक बड़े देश होने के बावजूद, भारत में सभी को एक स्थान से दूसरे स्थान पर जाने की आवश्यकता नहीं है। India's transport infrastructure is extensive, with a well-developed road network that connects most major cities and towns. इसके अलावा, मुंबई और दिल्ली जैसे प्रमुख शहरों में अंतर्राष्ट्रीय हवाई अड्डे हैं जो दुनिया भर के गंतव्यों के लिए उड़ान भरते हैं। India has also gained prominence as a popular tourist destination in recent years. देश अपने अनूठे अनुभवों, आश्चर्यजनक प्राकृतिक परिदृश्यों, विविध संस्कृतियों और समृद्ध इतिहास की पेशकश करता है। From world-famous sites such as the Taj Mahal to lesser- .....

> Note: This is a base model, to use it in your applications you need to fine tune it.

许可证：Llama2

本数据集包含Sarvam AI发布的OpenHathi模型的GGML（ggml）格式版本，[原始模型链接](https://huggingface.co/sarvamai/OpenHathi-7B-Hi-v0.1-Base)。

本次提供的GGML文件为4比特量化版本，可在M1 MacBook等本地设备上运行。

### 使用方法
1. 从[此处](https://github.com/ggerganov/llama.cpp)下载llama.cpp：
bash
git clone https://github.com/ggerganov/llama.cpp

3. 注意：GGML格式的支持现已弃用，新的文件格式为GGUF（gguf）。但由于本数据集仅提供GGML格式文件，因此需切换至llama.cpp的旧提交版本以兼容GGML文件。执行以下命令切换至支持GGML文件的提交版本：
bash
git checkout dadbed9

3. 参考[此处](https://github.com/ggerganov/llama.cpp?tab=readme-ov-file#build)给出的说明，在llama.cpp目录下编译生成可执行文件。
4. 运行模型：
bash
./main -t 4 -m ~/ggml-models/openhathi-7b-base-q4_0.ggml -p "tell me about india in hindi: - भारत" --ctx-size 1024 -ngl 1 2>/dev/null

5. 模型将输出如下内容：
>भारत दुनिया के सबसे पुराने देशों में से एक है और दुनिया की 7वीं सबसे बड़ी आबादी वाला देश है। The nation has a rich and diverse history, dating back to ancient times when it was ruled by various empires and kingdoms. भारत में दो मुख्य भौगोलिक क्षेत्र शामिल हैंः एक द्वीपसमूह जिसमें कई बड़े द्वीपों के साथ-साथ छोटे द्वीप भी शामिल हैं और दूसरा समतल क्षेत्रों से घिरा हुआ है। भारत की अनूठी सांस्कृतिक विरासत, विविध धर्मों और भाषाओं को बढ़ावा देता है जो देश की समृद्ध विविधता का प्रमाण हैं। भारत में सबसे अधिक बोली जाने वाली भाषाएँ हिंदी, बंगाली, तमिल, मराठी, कन्नड़, उड़िया और मलयालम हैं। 40 प्रतिशत आबादी हिंदू है, जबकि अन्य प्रमुख धर्म इस्लाम, बौद्ध धर्म, ईसाई धर्म और सिख धर्म हैं। भारत अपनी समृद्ध कृषि अर्थव्यवस्था के लिए जाना जाता है और यह अपने विविध व्यंजनों, समृद्ध इतिहास और जीवंत सांस्कृतिक विरासत के लिए भी मनाया जाता है। The country has made remarkable strides in areas such as information technology and manufacturing, which have contributed to its global economic position. एक बड़े देश होने के बावजूद, भारत में सभी को एक स्थान से दूसरे स्थान पर जाने की आवश्यकता नहीं है। India's transport infrastructure is extensive, with a well-developed road network that connects most major cities and towns. इसके अलावा, मुंबई और दिल्ली जैसे प्रमुख शहरों में अंतर्राष्ट्रीय हवाई अड्डे हैं जो दुनिया भर के गंतव्यों के लिए उड़ान भरते हैं। India has also gained prominence as a popular tourist destination in recent years. देश अपने अनूठे अनुभवों, आश्चर्यजनक प्राकृतिक परिदृश्यों, विविध संस्कृतियों और समृद्ध इतिहास की पेशकश करता है। From world-famous sites such as the Taj Mahal to lesser- .....

> 注意：本模型为基础模型，若需在实际应用中使用，需对其进行微调。

原始信息汇总

数据集概述

该数据集包含由Sarvam AI发布的OpenHathi模型的ggml版本。数据集提供的是4位量化的ggml文件，适用于本地设备如M1 MacBook或其他硬件。

使用方法

1. 下载llama.cpp bash git clone https://github.com/ggerganov/llama.cpp

2. 切换到支持ggml文件的旧版本 bash git checkout dadbed9

3. 创建可执行文件

   • 参考这里的说明在llama.cpp目录中创建可执行文件。

4. 运行模型 bash ./main -t 4 -m ~/ggml-models/openhathi-7b-base-q4_0.ggml -p "tell me about india in hindi: - भारत" --ctx-size 1024 -ngl 1 2>/dev/null

5. 模型输出

   • 模型将输出关于印度的描述，示例如下：

     भारत दुनिया के सबसे पुराने देशों में से एक है और दुनिया की 7वीं सबसे बड़ी आबादी वाला देश है। ...

注意事项

• 该模型为基本模型，若要在应用程序中使用，需要进行微调。