equity-research-dataset

AI-Powered Equity Research Platform 是一个合成数据集，用于研究大型语言模型在金融研究笔记生成中的应用。该数据集旨在探索LLM在受控提示条件下生成语义一致、基于事实的股票研究报告的能力，并支持基于嵌入的推荐引擎开发。研究包括数据生成与探索性分析、从结构化特征预测情感标签的分类任务，以及使用FAISS进行相似笔记发现的推荐系统。数据集包含10,320条人工生成的股票研究笔记，通过OPT-1.3b模型在结构化提示下生成，设计上完美平衡：涵盖43个股票代码、8个行业（科技、金融、医疗、能源、消费、工业、太空、量子）、10种事件类型（如盈利超预期、产品发布等）、3种情感标签（看涨、中性、看跌，各3,440条）和4种提示技术（约束提示、少样本提示、检索增强、角色提示），每种组合有2个独立变体。数据包含88个特征，包括文本特征（如完整研究笔记、词数、词汇多样性、情感分析等）、金融特征（如RSI-14、MACD、市盈率等30多个技术指标和基本面指标）和新闻特征（如真实世界的新闻情感分数和标签）。数据集经过严格质量审计，约3.4%的低质量笔记（幻觉分数≥3）被识别并建议过滤。关键发现包括提示技术对文本语义丰富度的影响、新闻情感分数区分聚类的能力、预盈利股票形成独特金融子空间以及市值层级呈现金融一致性。该数据集适用于文本分类、表格分类、情感分析、特征工程、幻觉检测和股票市场分析等任务，但需注意其设计限制：情感标签无法从结构化特征预测，且股票选择偏向大型美国股票和投机性行业。The AI-Powered Equity Research Platform is a synthetic dataset developed to study financial research notes generated by large language models. This dataset aims to explore whether LLMs can generate semantically consistent and factually grounded stock research reports under controlled prompt conditions, and supports the development of embedding-based recommendation engines. The associated research covers three core components: data generation and exploratory analysis, a classification task for predicting sentiment labels from structured features, and a recommendation system for similar note discovery using FAISS. The dataset contains 10,320 manually curated stock research notes generated via the OPT-1.3b model under structured prompts. The dataset design is perfectly balanced: it covers 43 stock tickers, 8 industries (Technology, Finance, Healthcare, Energy, Consumer, Industrial, Space, Quantum), 10 event types (earnings beat, earnings miss, analyst upgrade, analyst downgrade, product launch, regulatory approval, merger & acquisition (M&A), debt restructuring, dividend increase, leadership change), 3 sentiment labels (Bullish, Neutral, Bearish, with 3,440 entries for each), and 4 prompt engineering techniques (constrained prompting, few-shot prompting, retrieval-augmented generation, role prompting), with 2 independent variants for each combination. The dataset includes 88 features, where text features cover full research notes, word count, lexical diversity, average word length, keyword-based sentiment analysis, sentiment mismatch flags, and more; financial features include over 30 technical and fundamental indicators such as RSI-14, MACD, Bollinger Bands, price-to-earnings ratio (P/E), price-to-book ratio (P/B), return on equity (ROE), gross margin, revenue growth rate, market capitalization, beta coefficient, and more; news features include real-world news sentiment scores and labels. The dataset has undergone rigorous quality auditing and outlier detection, with approximately 3.4% of low-quality notes (hallucination score ≥ 3) identified and recommended for filtering prior to embedding tasks. Key findings include: prompt techniques significantly impact text semantic richness; role prompting generates the longest notes but with the lowest lexical diversity; news sentiment scores are the only real-world signal that clearly distinguishes neutral and positive clusters; pre-earnings stocks form a distinct financial subspace; market capitalization tiers exhibit financial consistency. This dataset is suitable for tasks including text classification, tabular classification, sentiment analysis, feature engineering, hallucination detection, and stock market analysis, but its design limitations should be noted: sentiment labels cannot be predicted from structured features, and stock selection is biased towards large-cap US stocks and speculative industries.

原始信息汇总

数据集概述

该数据集是一个面向金融领域的文本与表格分类数据集，名为 AI-Powered Equity Research Platform，旨在研究大语言模型在受控提示条件下生成金融研究笔记的能力。

基本信息

• 许可证：MIT
• 任务类型：文本分类、表格分类
• 语言：英语
• 标签：金融、股票研究、情感分析、特征工程、幻觉检测、股票市场
• 数据集大小：10,320 条记录
• 配置：默认配置，训练集数据文件为 data.csv

数据生成与结构

• 生成模型：OPT-1.3b（Meta 的 1.3B 参数模型）
• 生成公式：43 只股票 × 10 种事件类型 × 3 种情感标签 × 4 种提示技术 × 2 种变体 = 10,320 条笔记
• 股票数量：43 只
• 行业数量：8 个（科技、金融、医疗、能源、消费、工业、航天、量子）
• 事件类型：10 种（盈利超预期、盈利不及预期、分析师上调、分析师下调、产品发布、监管批准、并购、债务重组、股息增加、领导层变更）
• 情感标签：3 种（看涨、中性、看跌），各 3,440 条，完全平衡
• 提示技术：4 种（约束提示、少样本提示、检索增强、角色提示）
• 每只股票笔记数：240 条
• 列数：原始 79 列 + 9 列工程特征 = 88 列

数据质量

• 空值情况：
  • research_note：约 4,932 条（47.8%），预期内，部分笔记仅存储在 full_text 中
  • pe_ratio：1,920 条（18.6%），未盈利股票无市盈率
  • roe：720 条（7.0%），未盈利股票无净资产收益率
  • 其他字段：0 条
• 重复行：0 条
• 重复文本：130 条（1.26%），预期内的低概率碰撞
• 短文本（<10 词）：346 条（3.35%），集中在约束提示和检索增强技术
• 关键词-情感不匹配：中性 69.8%，看跌 22.3%，看涨 8.3%

异常检测与清洗

• 词数四分位数：Q1=64，Q3=75，IQR=11
• 下界：48 词，上界：92 词
• 低异常值（<48 词）：962 条（9.3%）
• 高异常值（>92 词）：2 条
• 基于幻觉分数过滤后移除：348 条（3.4%）
• 清洗后数据集：9,972 条（96.6%）

特征空间

• 文本特征：词数、词汇多样性、平均词长、关键词情感、情感不匹配、是否过短、是否有URL伪影、是否缺失股票代码、幻觉分数、是否低质量
• 金融特征：30+ 列，包括 RSI-14、MACD、布林带、市盈率、市净率、净资产收益率、总资产收益率、净利率、营业利润率、毛利率、营收同比增长、盈利增长、债务股本比、流动比率、市值、贝塔系数、每股收益、每股自由现金流、月 burn 率、现金跑道月数
• 新闻特征：新闻情感分数、新闻情感标签、各情感极性新闻文章数量

关键发现

1. 数据集设计阻止情感预测：由于完全平衡的构造，任何结构化特征都无法预测情感标签。
2. 提示技术决定文本质量：角色提示产生最长但词汇多样性最低的笔记；检索增强和少样本提示产生更丰富的笔记。
3. 新闻情感分数是唯一的真实世界信号：它清晰地将股票分为中性和积极聚类；META 和 AMZN 是仅有的两家新闻情感为负的股票。
4. 未盈利股票构成独立的金融子空间：市值小 44 倍，贝塔系数高 2.8 倍。
5. 市值层级具有金融一致性：净资产收益率从小盘股的 -55% 增长到大盘/巨盘股的 +36%；贝塔系数非单调。
6. 约 3.6% 的笔记应在使用前过滤：幻觉分数 ≥ 3 的笔记会降低嵌入质量。

局限

• OPT-1.3b 模型按当前标准较小，更大模型可生成更高质量笔记。
• 所有 43 只股票在收集时 RSI > 30，无超卖区域。
• 指令情感与表达情感不一致，约 33% 的关键词-情感不匹配率。
• 股票池偏向大盘美国股票和投机性航天/量子股票。
• 新闻情感分数仅代表收集时的点值。

相关笔记本

• 第一部分与探索性数据分析：EDA/EDA_Uri_Sivan.ipynb（数据生成、质量审计、异常检测、6 个研究问题）
• 第三部分：Part3_Embeddings.ipynb（句子嵌入基准测试、FAISS 索引、推荐引擎）

作者

Uri Sivan——赖希曼大学数据科学一年级生
数据集地址：https://huggingface.co/datasets/Uris001/equity-research-synthetic-notes

搜集汇总

数据集介绍

构建方式

该数据集以OPT-1.3b模型为生成引擎，通过结构化提示工程，系统性地为43个股票代码、10类事件类型、3种情感标签、4种提示策略以及2次变异组合生成合成研究报告，构建出完美的平衡数据集（10,320条记录）。每条记录均由显式包含股票代码、公司简介、财务标题与情感指令的提示词驱动，四种提示策略分别施加结构化约束、少数样本示例、实时财务指标注入及分析师角色设定，以捕捉不同生成条件下的文本差异性。

特点

数据集具备精心设计的完美平衡结构，每一（股票代码×事件×情感×策略×变异）组合均产生一条报告，确保各情感标签在结构化特征上分布完全一致。数据集中引入了涵盖文本复杂度、词汇多样性、幻觉评分等在内的9项工程化特征，并结合30余项财务指标与真实新闻情感分数，构建出多层次分析空间。研究发现，提示策略显著决定了文本语义丰富度，角色提示生成长度最长但词汇多样性最低，而检索增强与少样本提示则表现最优。

使用方法

该数据集适用于三重研究目标：其一，用于探索性数据分析与生成质量控制，包括幻觉模式识别与异常检测；其二，用于基于结构化金融特征与文本特征的分类任务，预测情感标签；其三，作为嵌入驱动的推荐引擎训练数据，通过FAISS构建索引实现相似报告检索。使用前建议依据幻觉评分筛除约3.6%的低质量样本，并对尚未盈利股票进行分组感知的缺失值填充，以优化模型表现。

背景与挑战

背景概述

该数据集创建于2024年，由以色列赖希曼大学数据科学专业一年级学生Uri Sivan主导开发，聚焦于探究大语言模型在可控提示条件下生成金融研究笔记的能力。研究核心问题在于检验OPT-1.3b模型能否通过不同提示技术产生语义一致、事实可靠的权益研究笔记，并基于此构建嵌入驱动的推荐引擎。数据集包含10,320条合成笔记，覆盖8个行业、43只股票代码及10种事件类型，其设计刻意实现情绪标签（看涨、中性、看跌）的完美平衡，为文本生成、情感分类与嵌入检索任务提供结构化支撑。该工作在金融自然语言处理领域填补了合成数据与模型行为交叉研究的空白，为评估生成式语言模型在专业分析场景下的可靠性奠定了基准。

当前挑战

该数据集面临多维度挑战。在领域问题上，由于情绪标签为构造性指示而非真实观测，任何结构化特征均无法预测情感类别，导致传统情感分类任务失效；模型对中性情绪指令的遵从率仅约30%，关键词与标签的不匹配率高达33%，暴露出小参数语言模型在金融情感理解中的固有局限。在构建层面，OPT-1.3b生成的笔记中约47.8%为空值、3.6%存在严重幻觉，需通过复合评分实施质量过滤；预盈利公司因缺乏市盈率、净资产收益率等财务指标，需采用组内归因策略以避免偏差；此外，所有43只股票的相对强弱指数均未低于30，导致超卖区间在数据中结构性缺失，限制了技术指标的分析深度。

常用场景

经典使用场景

在金融自然语言处理与量化分析的交叉领域中，equity-research-dataset 被广泛用于评测大语言模型在受控提示条件下生成语义一致、事实可溯的股权研究报告的能力。该数据集通过四种不同的提示工程策略（约束提示、少样本提示、检索增强与角色扮演），系统性地生成了涵盖43只股票、8个行业和10类事件的10,320篇合成笔记。研究者常借助该数据集探究提示技术对文本质量（如词汇多样性、长度分布）的决定性影响，并验证嵌入表示向量在相似笔记检索中的鲁棒性。其完美平衡的标签设计（bullish/neutral/bearish各3,440条）确保了实验的统计严谨性，成为测试分类与推荐算法边界条件的理想基准。

解决学术问题

该数据集直击金融文本生成领域的两大学术痛点：幻觉检测与提示敏感性量化。通过构建1,920条公司无市盈率、720条无净资产收益率的结构化空缺，以及约3.6%的高幻觉得分笔记（hallucination_score≥3），研究者能够系统性地分析LLM在生成财务注释时出现的语义偏离模式，例如角色提示虽能产生较长文本但词汇多样性最低（0.903），而检索增强与少样本提示则实现最高词汇多样性（0.945）。此外，特征空间中真实新闻情绪分数（news_sentiment_score）与指导性情绪标签的正交性（r=−0.079, p=0.61），开创性地分离了真实市场信号与模型生成偏差，为校准生成式金融文本的可靠性提供了方法论基础。

衍生相关工作

该数据集催生了一系列开创性研究，主要集中在提示策略对生成文本语义丰度的可解释性影响。研究者基于Kruskal-Wallis检验（H=2,451.74, p≈0）确证了四种提示技术在词汇多样性上的显著差异，进而发展了以vocab_diversity作为嵌入质量代理变量的方法论，其与幻觉得分的正相关性（r=0.124）揭示了URL伪影与文本截断对向量空间污染的内在机制。同时，针对预利润公司财务子空间的曼-惠特尼U检验（p值低至9.5×10⁻¹⁶²）衍生出分组感知插补策略，成为处理金融数据中结构性缺失值的标准范式。其嵌入检索部分则推动了基于z_composite复合排名信号（融合技术、基本面与新闻Z-score）的多模态排序模型在股权研究领域的应用。