malaysia-ai/crawl-iproperty

该数据集可能包含马来西亚的房产销售信息，涵盖了房产的价格、媒体（如图片）、地址、属性（如建筑面积、装修情况、产权类型等）、相关组织（如房产中介）以及列表者（如房产经纪人）等详细信息。

原始信息汇总

Iproperty

数据集概述

• 数据类型: 房地产销售数据
• 数据格式: JSON
• 数据内容: 包含房地产列表的详细信息，如价格、媒体（图片）、地址、属性、组织、列表人等。

数据字段

• prices: 价格信息，包括类型、货币、最小值和最大值。
• medias: 媒体信息，包括图片的URL、缩略图URL、MIME类型等。
• cover: 封面图片信息，包括URL、缩略图URL、MIME类型等。
• address: 地址信息，包括格式化地址、经纬度等。
• multilanguagePlace: 多语言地点信息，包括不同语言的地点层次。
• attributes: 属性信息，包括建筑面积、装修情况、土地类型、产权类型等。
• organisations: 组织信息，包括机构ID、类型、名称、联系方式等。
• listers: 列表人信息，包括ID、类型、名称、联系方式等。
• active: 是否活跃。
• isPrimary: 是否为主要信息。
• channels: 渠道信息，如销售。
• id: 唯一标识符。
• kind: 类型，如property。
• shareLink: 分享链接。
• title: 标题。
• description: 描述信息。
• tier: 等级。
• isPremiumPlus: 是否为高级加信息。
• propertyType: 房产类型。
• updatedAt: 更新时间。
• postedAt: 发布时间。
• referenceCode: 参考代码。
• channel: 渠道。
• isSA: 是否为SA。

数据示例

json { "prices": [ { "type": "sale", "currency": "MYR", "min": 899000, "max": 899000 } ], "medias": [ { "type": "image", "url": "https://pictures-my.ippstatic.com/realtors/images/640/10460/306bd1cdd0454c8ab73221d3a4b9fb23.jpg", "urlTemplate": "https://img.rea-asia.com/my-subsale/premium/${width}x${height}-${scale}/realtors/images/640/10460/306bd1cdd0454c8ab73221d3a4b9fb23.jpg", "thumbnailUrl": "https://pictures-my.ippstatic.com/realtors/images/640/10460/306bd1cdd0454c8ab73221d3a4b9fb23.jpg", "mimeType": "image/jpeg" } ], "cover": { "type": "image", "url": "https://pictures-my.ippstatic.com/realtors/images/640/10460/306bd1cdd0454c8ab73221d3a4b9fb23.jpg", "urlTemplate": "https://img.rea-asia.com/my-subsale/premium/${width}x${height}-${scale}/realtors/images/640/10460/306bd1cdd0454c8ab73221d3a4b9fb23.jpg", "thumbnailUrl": "https://pictures-my.ippstatic.com/realtors/images/640/10460/306bd1cdd0454c8ab73221d3a4b9fb23.jpg", "mimeType": "image/jpeg" }, "address": { "formattedAddress": "Jalan Sultan Ismail, KLCC, 50250, Kuala Lumpur", "lat": 3.154365, "lng": 101.707512, "hasLatLng": true, "hideMarker": false }, "multilanguagePlace": { "en-GB": { "level1": "Kuala Lumpur", "level2": "KLCC", "level3": "Vortex" }, "ms-MY": { "level1": "Kuala Lumpur", "level2": "KLCC", "level3": "Vortex" } }, "attributes": { "builtUp": "826", "furnishing": "Partly Furnished", "landTitleType": "Unknown", "tenure": "Freehold", "facingDirection": "Unknown", "occupancy": "Vacant", "titleType": "Strata", "sizeUnit": "SQUARE_FEET", "sizeUnitLandArea": "SQUARE_FEET", "downloadUrl": "http://generator.iproperty.com.my/property/generate_pdf.aspx?pid=JI-weovckV81", "buildingId": 3879 }, "organisations": [ { "id": "1669", "type": "agency", "name": "Vivahomes Realty - Subang Jaya", "logo": { "type": "image", "url": "https://images-my.ippstatic.com/images/searchresult/agencybrandlogo/c73a67c8ab304a07b6475c23159bae33.png", "thumbnailUrl": "https://images-my.ippstatic.com/images/searchresult/agencybrandlogo/c73a67c8ab304a07b6475c23159bae33.png", "mimeType": "image/jpeg" }, "color": "#80bc00", "contact": { "phones": [ { "number": "[phone]", "label": "phone" }, { "number": " 60380243288", "label": "fax" } ] } } ], "listers": [ { "id": "10460", "type": "agent", "name": "Victor", "license": "REN 11115", "website": "https://www.iproperty.com.my/property-agent/victor-10460", "image": { "type": "image", "url": "https://pictures-my.ippstatic.com/realtors/images/agent/e34da466ea47467080016b98675ce96f.jpg", "urlTemplate": "https://img.rea-asia.com/my-subsale/premium/${width}x${height}-${scale}/realtors/images/agent/e34da466ea47467080016b98675ce96f.jpg", "thumbnailUrl": "https://pictures-my.ippstatic.com/realtors/images/agent/e34da466ea47467080016b98675ce96f.jpg", "mimeType": "image/jpeg" }, "contact": { "phones": [ { "number": "[phone]", "label": "mobile" }, { "number": "[phone]", "label": "whatsapp" } ], "emails": [ "[e-mail]" ] } } ], "active": true, "isPrimary": false, "channels": [ "sale" ], "id": "sale-7995132", "kind": "property", "shareLink": "https://www.iproperty.com.my/property/klcc/vortex/sale-7995132/", "title": "Vortex, KLCC", "description": "VORTEX KLCC Size : 826 sq ft 2 bedrooms 2 batrooms + 1 study room middle floor renovated and full furnished

** good deal, below market value

Vortex KLCC is a newly completed residences by Monoland which lies in the heart of Golden Triangle of KL. It is also a new iconic curvy round-shaped highrise building which totally bring a new breath to the skyline. Vortex is surrounded by corporate office buildings, luxury hotels and famous shopping malls.

• Shangri-La hotel is right opposite Vortex KLCC
• KLCC shopping mall and Pavilion mall is walking distance from Vortex KLCC
• KL Tower is 3 minutes drive away from Vortex KLCC
• Bukit Nanas Monorail Station is walking distance away from Vortex KLCC

Vortex is a freehold serviced apartment located at Jalan Sultan Ismail, at the heart of KL City. This serviced apartment is 58-storeys in height with 248 units in total. The serviced apartments unit size starts from 744 sq.ft.

The facilities available at Vortex are clubhouse, gymnasium, lap pool, Alfresco lounge, water features, timber deck, sun lounge, steam room, sauna, chillout music pool bar and health spa.

Considered one of the best located serviced apartments nearby KLCC, Vortex is just minutes drive to Suria KLCC Shopping Centre and Pavilion Mall, all within 10-15 minutes.

contact agent Victor 013-2872856",

"tier": 3, "isPremiumPlus": false, "propertyType": "Serviced Residence", "updatedAt": "2020-06-03T05:22:00Z", "postedAt": "2020-06-03T05:22:00Z", "referenceCode": "UP7995132", "channel": "sale", "isSA": false }

搜集汇总

数据集介绍

构建方式

在马来西亚房地产领域，iProperty作为领先的在线房产交易平台，其数据资源的系统化整合对于市场分析和智能应用开发具有重要意义。malaysia-ai/crawl-iproperty数据集通过定向爬虫技术，系统性地采集了iProperty平台上的住宅销售房源信息。数据采集过程以JSON格式存储于压缩包'sales-residential.zip'中，每个文件对应一个独立房源的完整数据记录。具体而言，数据集构建时首先对平台房源列表进行遍历，随后提取每个房源的详细信息，包括价格、多媒体资源、地址坐标、建筑属性、中介机构及挂牌代理等结构化字段，最终形成层次分明的JSON数据集合。

特点

该数据集的核心特点体现在其多维度的信息覆盖与高度结构化上。每个房源条目均包含价格区间、多张高清图片及缩略图、精确的地理坐标与格式化地址、建筑面积、装修状况、产权类型等物理属性，同时附有中介机构与代理人的详细联系方式。尤为突出的是，数据集中还保留了房源的原始描述文本、挂牌时间戳以及分享链接，为房产市场的时序分析和文本挖掘提供了丰富素材。此外，数据支持多语言地点标识（英语与马来语），增强了其在跨语言应用场景中的可用性。

使用方法

使用该数据集时，研究者需首先解压'sales-residential.zip'压缩包，获得若干JSON文件。随后可通过Python的glob模块遍历所有文件，利用json.load()方法加载单个JSON对象，并经由'listings'键下的'items'列表访问具体房源数据。每个房源条目以字典形式呈现，可直接提取价格、地址、图片URL等字段用于构建分析模型或可视化展示。对于大规模批处理，建议采用循环读取方式，并注意处理图片URL模板中的动态尺寸参数，以适配不同的展示需求。

背景与挑战

背景概述

马来西亚房地产市场的数字化转型催生了大量在线房产交易数据，而iProperty作为该国领先的房产门户网站，积累了丰富的房源信息。由马来西亚人工智能研究机构于2020年创建的crawl-iproperty数据集，系统性地收录了iProperty平台上的住宅销售信息，涵盖价格、地理位置、建筑特征、中介详情等多维度数据。该数据集的核心研究问题在于如何利用自然语言处理与计算机视觉技术，从非结构化的房产描述与图像中提取关键信息，以支持房产估值、市场趋势分析及智能推荐系统的开发。其发布为东南亚地区房产科技研究提供了宝贵的基准资源，推动了区域房地产数据标准化与自动化分析的发展。

当前挑战

该数据集面临的核心挑战在于多源异构数据的整合与质量保障。房产信息中混杂着马来语与英语的混合文本描述，且存在格式不统一、字段缺失等问题，例如部分房源缺少经纬度坐标或建筑年代信息，这对跨语言信息抽取与地理编码任务构成显著障碍。构建过程中，从iProperty平台爬取数据需应对动态网页结构与反爬机制，同时确保数据时效性与一致性成为技术难点。此外，图像数据的分辨率差异、拍摄角度多样以及中介水印覆盖，增加了视觉特征提取的复杂性。如何有效融合文本、图像与结构化属性，构建鲁棒的房产价值预测模型，仍是领域内亟待突破的瓶颈。

常用场景

经典使用场景

在房地产研究与自然语言处理交叉领域，malaysia-ai/crawl-iproperty数据集为马来西亚住宅销售市场提供了结构化的多模态数据资源。该数据集收录了来自iProperty平台的房源信息，涵盖价格、地址、属性描述、图片链接及经纪人详情等字段，尤其适用于房产价格预测模型的训练与评估。研究者可基于其丰富的文本描述与地理坐标信息，构建融合空间特征与语义特征的回归模型，以精准预测房产估值。此外，数据集中包含的多语言描述（如马来语与英语）为跨语言房产信息检索与情感分析提供了天然实验场，支持多语言预训练模型在垂直领域的微调与适配。

解决学术问题

该数据集有效解决了东南亚新兴市场房产数据稀缺的学术困境，为计算语言学与城市计算领域提供了标准化基准。传统房产研究多聚焦于欧美成熟市场，而马来西亚作为多元文化经济体，其房产数据中的语言混杂性、产权类型多样性（如永久产权与租赁产权）及区域发展不均衡性，为模型泛化能力提出了独特挑战。通过该数据集，学者可深入探究文本描述对房产价值的增量解释力，量化建筑属性（如面积、装修程度）与区位特征（如邻近地标）的交互效应，并发展出适应新兴市场的房产估值理论框架，推动计算社会科学在东南亚语境下的本土化演进。

衍生相关工作

围绕该数据集衍生出一系列具有影响力的学术与实践工作。在技术层面，研究者基于其结构化JSON格式开发了高效的数据解析流水线，实现了图片URL模板与地理坐标的自动化提取，为后续多模态房产研究奠定了基础。在应用层面，有团队利用该数据集训练了基于Transformer的房产描述生成模型，能够自动撰写符合当地语言习惯的房源广告文案。此外，数据中蕴含的经纪人网络信息催生了社交图谱分析研究，揭示了中介机构在房产交易中的中介效应与信息传递路径。这些衍生工作不仅拓展了数据集的使用边界，更证明了高质量垂直领域数据对推动AI落地的重要性。