sri-lanka-weekly-vegetable-retail-farmer-price-dataset

斯里兰卡进口隔离蔬菜价格波动数据集旨在支持斯里兰卡进口隔离或供应链受限的蔬菜市场中进行农业价格波动预测。该数据集整合了多种来源的数据，为时间序列和表格回归模型（如梯度提升树）的训练和基准测试提供了一个综合平台。数据内容涵盖2013年至2019年期间，斯里兰卡14个市场中心、12种主要蔬菜品种的每周观测值，核心数据包括每周零售价格和农场门市价格。此外，数据集集成了与蔬菜真实种植源区对齐的天气变量（降雨量和平均体感温度）及其滞后值，以及宏观经济因素（汽车柴油价格和美元/斯里兰卡卢比汇率）、日历特征（每周公共假日数量）和衍生特征（如滚动均值、动量、价差等）。一个关键特点是包含独立的2024年高通胀时期数据，用于模型在完全不同经济体制下的样本外验证。数据集解决了先前研究中的关键空白，如使用源区天气数据、区分种植季节，并经过精心整理以降低缺失率。适用于预测每周蔬菜零售价格、研究季节性价格动态、农场-零售加价行为以及天气与宏观经济驱动因素的影响，但结果可能无法完全代表全国市场，且模型在训练数据范围外的表现可能下降。The Sri Lanka Import Isolation Vegetable Price Fluctuation Dataset aims to support agricultural price fluctuation prediction in vegetable markets subject to import isolation or supply chain constraints in Sri Lanka. It integrates data from multiple sources to provide a comprehensive platform for training and benchmarking time series and tabular regression models, such as gradient boosting trees. The data covers weekly observations from 2013 to 2019 for 14 market centers and 12 key vegetable varieties in Sri Lanka, with core data including weekly retail prices and farmgate prices. Additionally, the dataset incorporates weather variables (rainfall and mean apparent temperature) aligned with the true growing source regions of vegetables, along with lagged values for 1, 2, 3, 4, and 8 weeks. Macroeconomic factors include Sri Lankas automotive diesel prices and USD/LKR exchange rates. Calendar features include the number of weekly public holidays. The dataset also includes a range of derived features, such as 4-week and 8-week rolling means and standard deviations of farm prices, momentum (ratio of 1-week lagged price to 4-week rolling mean), farm-retail price spreads, cyclical week encoding (sine/cosine transformations of week numbers), and diesel-season interaction terms. A key feature is the inclusion of a completely independent dataset from the high-inflation period of 2024, specifically for out-of-sample (cross-regime) validation of models in entirely different economic regimes to assess generalization capability. The dataset creation addresses several key gaps in prior agricultural price prediction research: using source region weather data instead of retail market weather; explicitly distinguishing between Sri Lankas two growing seasons (Maha and Yala) rather than treating the entire year as a single sequence; and including testing on completely different economic regimes. The data has been meticulously curated, reducing from an original scope of 26 vegetables and 37 markets to 12 vegetables and 14 most robust markets with minimal missing values, with missing farmgate prices imputed using a dual-origin approach, ultimately significantly lowering the data missing rate. The dataset is suitable for predicting weekly vegetable retail prices in import-isolated markets, studying seasonal price dynamics, farm-retail markup behavior, and the relative importance of weather and macroeconomic drivers on price fluctuations. It should be noted that due to scope limitations, the results may not fully represent the entire Sri Lankan vegetable market, and model performance may degrade outside the price range of the training data.

原始信息汇总

数据集概述

数据集名称: Sri Lankan Import-Isolated Vegetable Price Volatility Dataset
许可证: CC BY 4.0
任务类型: 时间序列预测、表格回归
数据集规模: 10K < n < 100K
标签: agriculture, price-forecasting, time-series, sri-lanka, supply-chain, vegetables, xgboost, lightgbm

---

数据集描述

该数据集旨在支持斯里兰卡进口隔离蔬菜市场的农产品价格波动预测。它整合了零售价格、农民出厂价格以及与产地匹配的天气变量、柴油成本和汇率数据，覆盖了 2013年至2019年 期间 14个市场中心的12种蔬菜品种。此外，数据集还包含一个完全未见过的 2024年恶性通胀时期 数据，用于跨时域（跨体制）验证。

数据集的设计弥补了以往农产品价格预测研究中的三个空白：依赖零售市场（而非实际种植区）的天气数据、将全年视为一个单一未分割序列而未区分斯里兰卡的两个种植季节、以及缺乏在完全不同经济体制下的测试。

• 策展人: Ranuga Weerasekara, Heshan Nethmina, Manuja Ranathunga, Vinma Wettasinghe, Dinithi Navodya — 斯里兰卡莫拉图瓦大学计算机科学与工程系
• 语言: 不适用（表格/数值数据，无自然语言文本）
• 原始数据来源: Hector Kobbekaduwa Agrarian Research and Training Institute (HARTI) 每周蔬菜平均零售价格报告

---

数据来源

• 论文: “When Prices Double in a Week: Forecasting of Agricultural Volatility in Import-Isolated Markets” (MERCon 2026) — https://arxiv.org/abs/2606.29248
• 原始零售价格数据: HARTI 每周零售价格公报 — https://www.harti.gov.lk/index.php/en/market-information/data-food-commodities-bulletin
• 天气数据: Open-Meteo — https://open-meteo.com
• 柴油价格数据: Ceypetco 历史价格 — https://ceypetco.gov.lk/historical-prices/
• 汇率数据: 斯里兰卡中央银行月度公报 — https://www.cbsl.gov.lk/statistics/economic-indicators/monthly-bulletin

---

用途

直接用途:

• 训练和基准测试时间序列/表格回归模型（如梯度提升树），用于预测进口隔离或供应链受限的农产品市场中每周零售蔬菜价格。
• 研究季节性（Maha 与 Yala）价格动态、农民至零售的加价行为，以及天气与宏观经济因素对价格波动的相对重要性。
• 评估在稳定经济时期训练的模型对恶性通胀冲击时期（2024年分割）的跨体制泛化能力。

非预期用途:

• 数据集局限于12种最一致的蔬菜品种和14个最稳健的市场中心（原始数据包含26个品种/37个市场），不可视为全国蔬菜市场的完整代表而不考虑此范围偏差。
• 不适用于超出蔬菜价格领域的通用宏观经济预测。

---

数据结构

数据集以面板数据形式组织，包含每对市场-蔬菜品种的每周观测值，分为两个时间分割：

• 训练/样本内时期: 2013–2019年（每个市场-蔬菜品种组中按时间排序的最后约20%记录，约2018–2019年，在论文中用作保留测试集）
• 跨时域评估时期: 2024年（完全未见过的恶性通胀体制，无需重新训练）

12种蔬菜品种: Ash Plantains, Beetroot, Brinjals, Cabbage, Carrot, Green Beans, Green Chillies, Ladies Fingers, Leeks, Pumpkin, Snake Gourd, Tomatoes

市场中心: 14个零售市场（具体名称未在论文中列举，需从源文件中列出）

关键字段/特征:

• retail_price — 每对市场-蔬菜品种的每周零售价格（卢比）
• mean_farmer_price — 农民出厂价格（缺失时使用双产地估算）
• reg_rain, reg_temp — 按产地区域平均的降雨量和平均表观温度，分别以1、2、3、4、8周滞后
• 柴油价格（Lanka Auto Diesel）、USD/LKR汇率、每周公共假期数量（Poya日和法定假日）
• 衍生特征：农民价格的4周和8周滚动均值和标准差、动量（1周滞后与4周滚动均值的比率）、农民至零售价差、周期性周编码（周数的正弦/余弦）、柴油-季节交互项

---

数据集创建

策展理由: 构建了首个整合供应链感知特征（产地天气、柴油成本、汇率、农民出厂价差）并明确划分斯里兰卡蔬菜市场季节性分段的综合数据集，支持结构性（而非纯粹统计性）价格预测。

数据预处理策略:

1. 数据缩减: 将范围缩小到2013–2019年间最一致的12种蔬菜和14个最稳健的市场，缺失率从26.30%降至5.37%
2. 双产地农民价格估算: 对缺乏农民出厂价格的城市地点，识别历史上最主要的两个供应产地市场并取其算术平均值（估算后缺失率从33.82%降至7.59%），剩余短时缺口（≤4周）通过有界线性插值填补（最终缺失率：3.85%）
3. 产地平均天气对齐: 从Open-Meteo获取每个市场-蔬菜品种对的真实种植源区域的每日降雨量和平均表观温度，并以1、4、8周滞后处理
4. 宏观经济与日历特征: Lanka Auto Diesel价格、USD/LKR汇率和每周公共假期数量以100%完整性整合

统计异常值（每个蔬菜品种观测值的1–4%，通过IQR分析识别）被保留而非剔除，因为它们代表了模型旨在预测的真实供给冲击。

数据生产者: HARTI（零售和农民出厂价格）、Open-Meteo（天气数据）、Ceypetco（柴油价格）、斯里兰卡中央银行（汇率）

---

偏差、风险与局限性

• 局限于12种缺失率最低的品种和14个最稳健的市场，虽提高了数据质量，但可能相对于全国市场的准确性存在向上偏差
• 仅使用5折交叉验证，伴随论文中报告的置信区间较宽且重叠，模型配置间的微小差异应视为指示性而非统计显著性
• 基于树的模型存在已知的外推局限性：在训练时未见的价格范围外性能会下降（在对未见过的2024年体制的评估中，准确率从90.84%降至85.96%）

建议: 用户应注意上述范围偏差，并将季节性模型与统一模型间的比较视为方向性而非决定性，鉴于5折交叉验证带来的宽置信区间。

---

联系方式

• Ranuga Weerasekara — [e-mail]
• Heshan Nethmina — [e-mail]
• Dinithi Navodya — [e-mail]
• Vinma Wettasinghe — [e-mail]
• Manuja Ranathunga — [e-mail]

搜集汇总

数据集介绍

构建方式

该数据集由斯里兰卡莫拉图瓦大学计算机科学与工程系的研究团队构建，旨在支持进口隔离型蔬菜市场的价格波动预测。其构建过程首先对赫克托·科贝卡杜瓦农业研究与培训研究所的原始零售价格数据（涵盖26个品种、37个市场、2008至2024年）进行精简，聚焦于12个最常见蔬菜品种和14个最稳健的市场中心，从而将数据缺失率从26.30%大幅降低至5.37%。针对城市地区缺乏农户价格的问题，研究团队采用双重来源插补方法，识别历史上最主要的两个产地市场并取其算术平均值进行填充，随后对短间隔（≤4周）的缺失值执行有界线性插值，最终将农户价格缺失率降至3.85%。天气变量（降雨量、表观温度）并非源自零售市场位置，而是依据每个市场-蔬菜对的真实种植产区，从Open-Meteo获取日均数据并生成了1、4、8周的滞后特征。此外，数据集完整整合了柴油价格、美元/卢比汇率以及每周公共假日数量等宏观经济与日历特征。统计异常值（每类蔬菜的1%至4%）被保留，因其代表模型旨在预测的真实供应冲击。最终数据集形成了一个包含2013至2019年训练期（其中约20%作为测试集）以及一个完全未见过的2024年恶性通胀评估期的面板数据，覆盖14个市场中心和12种蔬菜品种的周度观测值。

特点

该数据集的核心特点在于其独特的结构化设计，以弥补以往农产品价格预测研究中存在的三大空白。其一，它率先实现了产地对齐的天气变量集成，将气象数据与蔬菜真实的种植产区关联，而非简单使用零售市场位置的天气信息，从而更精准地反映供应链上游的环境影响。其二，数据集明确区分了斯里兰卡的两个主要耕作季节（Maha季与Yala季），打破了将全年视为单一连续序列的处理方式，使得季节性价格动态分析成为可能。其三，数据集包含一个完全独立的2024年恶性通胀时期作为跨经济体制的验证集，为评估模型在极端且全新经济环境下的泛化能力提供了独特基准。此外，数据集中农户价格与零售价格的双轨结构、丰富的衍生特征（如4周和8周滚动均值与标准差、价格动量、农户-零售价差、周期性周编码等），以及对柴油-季节交互项的考虑，共同构成了一个融合供应链、宏观经济与天气因素的多维预测框架，超越了纯统计驱动的常规方法。

使用方法

该数据集直接适用于时间序列预测与表格回归任务，研究者可将其用于训练和基准测试诸如梯度提升树等模型，以预测斯里兰卡进口隔离型蔬菜市场的周度零售价格。使用时，用户应注意数据集的明确时间分割：2013至2017年的观测可视为完整的训练集，2018至2019年部分通常作为被固定组合的测试集，而2024年的数据则专用于跨时期的外推性评估。由于数据集是市场-蔬菜配对的面板结构，建模时需恰当处理个体效应，例如通过市场或蔬菜品种的分组特征。尽管其中保留了统计异常值以模拟真实供应冲击，但用户应留意该数据集仅涵盖12个最一致品种与14个最稳健市场，其性能可能优于完整的全国市场，存在一定的范围偏差。此外，由于论文中仅使用五折交叉验证，置信区间较宽，模型间的微小差异应被视为方向性参考而非统计显著结论，特别是在跨体制预测中，基于树的模型在价格范围外推时性能会有所下降。

背景与挑战

背景概述

在斯里兰卡这一进口依赖度极低的岛屿经济体，其蔬菜市场呈现出独特的供需格局与价格波动特征，然而现有研究多聚焦于开放市场或依赖零售地气象数据，忽视了产地气候与宏观经济因子的协同影响。为此，斯里兰卡莫拉图瓦大学计算机科学与工程系的Ranuga Weerasekara、Heshan Nethmina、Manuja Ranathunga、Vinma Wettasinghe与Dinithi Navodya于2025年前后构建了该数据集，旨在填补农业价格预测领域的三项空白：缺乏产地精准气象数据、未分离斯里兰卡两大农耕季节（Maha与Yala）、以及缺少跨经济体制的模型泛化评估。该数据集整合了2013至2019年间14个市场中心12类蔬菜的零售与农场价格，并关联了产地气象、柴油成本及汇率等变量，另含2024年恶性通胀期的独立测试子集，为时间序列与表格回归模型提供了结构化的价格波动预测基准。其研究不仅揭示了季节性与宏观因素对价格波动的作用机制，还通过跨域验证框架推动了农业供应链建模的稳健性考量，对资源受限小国的政策制定与市场干预具有显著参考价值。

当前挑战

该数据集面临的挑战首先体现在领域问题层面：斯里兰卡蔬菜市场高度孤立于全球供应链，价格波动受本地天气、运输成本与货币变动的多层冲击，传统依赖零售地气象或单一季节的模型难以捕捉此类复杂动态，尤其当经济体制在稳定期与恶性通胀期间剧烈切换时，模型泛化能力面临严峻考验。在构建过程中，团队需应对数据稀疏与高缺失率的挑战，原始HARTI数据集26.30%的缺失率经品种与市场筛选后降至5.37%，农场价格通过双产地插补将缺失率从33.82%压至3.85%，但此举引入的插补偏差可能影响下游分析的因果推断。此外，产地气象数据需为每对市场-蔬菜单独匹配真实种植区域并设计多时滞特征，跨机构数据（HARTI、Open-Meteo、Ceypetco、央行）的格式统一与时间对齐也构成显著工程障碍。最终，训练集（2013-2019）与2024年超通胀测试集间的分布偏移导致树模型外推精度从90.84%降至85.96%，暴露了当前模型在价格区间外推上的固有局限。

常用场景

经典使用场景

在农业时序预测领域，该数据集被广泛用于构建和评估面向进口隔绝型蔬菜市场的价格波动预测模型。研究者通常利用其包含的零售与农户端价格、产地对齐的气象变量、柴油成本及汇率等多维面板数据，训练诸如XGBoost、LightGBM等梯度提升树模型，以预测未来一周的蔬菜零售价格。数据集特有的马哈与雅拉双季划分机制，使学者能够深入剖析季节性栽培周期对价格动态的影响，从而超越传统统计方法的局限，实现结构性的价格建模。

解决学术问题

该数据集填补了农业价格预测研究中三项关键空白：一是引入了实际种植区的气象数据而非零售市场所在地的天气信息，提升了特征与因变量的因果关联度；二是将全年数据按斯里兰卡的两个主要种植季节进行分割，避免了传统处理方法中将完整年份视为单一序列的误区；三是提供了完全未见的2024年恶性通胀时期作为跨经济体制的验证集，使得模型的泛化能力得以在极端价格冲击下被严格检验。这些设计为价格波动机制的理解提供了更精确的实验基础，推动了农业时序预测方法的稳健性评估。

衍生相关工作

基于该数据集，衍生出若干具有影响力的学术工作：最直接的是Weerasekara等人在MERCon 2026发表的论文《When Prices Double in a Week: Forecasting of Agricultural Volatility in Import-Isolated Markets》，首次系统性地验证了产地对齐气象特征与季节性分割对提升预测精度的贡献。此外，后续研究者尝试将该数据用于对比树模型与深度学习时序架构（如LSTM、Transformer）在跨体制泛化场景下的表现差异，以及探讨特征重要性分析在解释价格驱动因素中的方法论改进。这些工作共同拓展了农业价格预测领域的数据驱动研究范式。