IRI2070/legal-names-bi-encoder-dataset

--- dataset_info: features: - name: anchor dtype: string - name: positive dtype: string - name: negative dtype: string splits: - name: train num_bytes: 36944330 num_examples: 272462 - name: validation num_bytes: 4625240 num_examples: 34057 - name: test num_bytes: 4617342 num_examples: 34059 download_size: 14317892 dataset_size: 46186912 configs: - config_name: default data_files: - split: train path: data/train-* - split: validation path: data/validation-* - split: test path: data/test-* --- <div dir="rtl"> # 📊 مجموعه داده اعتبارسنجی نام شرکت‌ها (ویژه مدل‌های Bi-Encoder) ## ✨ معرفی این دیتاست شامل بیش از **340,000 رکورد سه‌تایی (triplet)** است که برای آموزش و ارزیابی مدل‌های پردازش زبان طبیعی (NLP) در زمینه‌ی **تشخیص شباهت و اعتبارسنجی نام شرکت‌ها** طراحی شده است. این مجموعه داده به طور خاص برای تولید و آموزش **مدل‌های Bi-Encoder** آماده شده است. **Bi-Encoder** نوعی معماری در مدل‌های زبانی است که برای وظایف **semantic similarity** و **retrieval** استفاده می‌شود. در این روش، هر متن (مثلاً نام اصلی شرکت و نمونه‌های مثبت/منفی) به صورت جداگانه بردارگذاری می‌شود و سپس با استفاده از معیارهایی مانند **cosine similarity** یا **dot product** میزان شباهت بین بردارها محاسبه می‌گردد. برخلاف **Cross Encoderها** که تعامل کامل بین دو متن را مدل می‌کنند، **Bi-Encoderها** سرعت و مقیاس‌پذیری بالاتری دارند و برای وظایف جستجو و بازیابی بسیار مناسب هستند. --- ### 🎯 اهداف و کاربردها این دیتاست برای آموزش و ارزیابی **Bi-Encoderها** طراحی شده و کاربرد اصلی آن در وظایف زیر است: - توسعه‌ی مدل‌های **retrieval-based** برای نام شرکت‌ها - پشتیبانی از پروژه‌های **Brand Name Validation** و **Semantic Search** - ایجاد مرجع آموزشی و پژوهشی برای حوزه‌ی **NLP و یادگیری ماشین** --- ## 🛠️ نحوه تولید دیتاست این دیتاست توسط مدل **GPT-4o-mini** تولید شده است. فرآیند تولید شامل استخراج تغییرات واژگانی، معنایی و ساختاری از نام‌های شرکت‌ها بوده است. سپس برای هر anchor، یک نمونه مثبت (positive) و یک نمونه منفی (negative) انتخاب شده و در قالب سه‌تایی ذخیره شده است. این ساختار برای آموزش **Bi-Encoderها** بسیار مناسب است، زیرا مدل نیاز دارد هر ورودی را جداگانه بردارگذاری کرده و سپس شباهت بین آن‌ها را محاسبه کند. --- ## 📂 ساختار دیتاست هر رکورد این دیتاست شامل سه ستون اصلی است: - `anchor` → نام اصلی شرکت - `positive` → نمونه‌ی مشابه یا تغییر یافته که باید نزدیک به anchor باشد - `negative` → نمونه‌ی متفاوت یا غیرمرتبط که باید دور از anchor باشد این ساختار دقیقاً همان چیزی است که برای آموزش **Bi-Encoderها** نیاز است، زیرا مدل باید یاد بگیرد که بردار anchor به positive نزدیک‌تر از negative باشد. --- ## 🌍 دسترس‌پذیری این دیتاست به صورت **عمومی** در دسترس است و هدف از انتشار آن حمایت از پژوهشگران، دانشجویان و توسعه‌دهندگان در مسیر یادگیری و ساخت مدل‌های هوشمند مبتنی بر **Bi-Encoderها** است. --- ## 📌 نکات مهم - این دیتاست مصنوعی است و توسط مدل GPT-4o-mini تولید شده است. - استفاده از آن آزاد است، اما توصیه می‌شود در پروژه‌های حساس، داده‌های واقعی نیز در کنار آن استفاده شوند. - کیفیت دیتاست برای اهداف آموزشی و پژوهشی طراحی شده است. - این مجموعه داده به طور خاص برای آموزش **Bi-Encoderها** طراحی شده است. --- ## 🙌 تشکر این پروژه بخشی از فعالیت‌های آموزشی و پژوهشی در **آکادمی همراه اول** است و با هدف ارتقای دانش در حوزه‌ی NLP و یادگیری عمیق منتشر شده است. </div>