nam194/codesum_java_512_128_function

--- dataset_info: features: - name: hexsha dtype: string - name: repo dtype: string - name: path dtype: string - name: license sequence: string - name: language dtype: string - name: identifier dtype: string - name: return_type dtype: string - name: original_string dtype: string - name: original_docstring dtype: string - name: docstring dtype: string - name: docstring_tokens sequence: string - name: code dtype: string - name: code_tokens sequence: string - name: short_docstring dtype: string - name: short_docstring_tokens sequence: string - name: comment sequence: string - name: parameters list: - name: param dtype: string - name: type dtype: string - name: docstring_params struct: - name: returns list: - name: docstring dtype: string - name: docstring_tokens sequence: string - name: type dtype: string - name: raises list: - name: docstring dtype: string - name: docstring_tokens sequence: string - name: type dtype: string - name: params list: - name: identifier dtype: string - name: type dtype: string - name: docstring dtype: string - name: docstring_tokens sequence: string - name: default dtype: string - name: is_optional dtype: bool - name: outlier_params list: - name: identifier dtype: string - name: type dtype: string - name: docstring dtype: string - name: docstring_tokens sequence: string - name: default dtype: string - name: is_optional dtype: bool - name: others list: - name: identifier dtype: string - name: docstring dtype: string - name: docstring_tokens sequence: string - name: input_ids sequence: int32 - name: attention_mask sequence: int8 - name: labels sequence: int64 splits: - name: train num_bytes: 49797821738 num_examples: 6629193 download_size: 9683784722 dataset_size: 49797821738 configs: - config_name: default data_files: - split: train path: data/train-* ---

原始信息汇总

数据集概述

数据集特征

• hexsha: 字符串类型
• repo: 字符串类型
• path: 字符串类型
• license: 字符串序列类型
• language: 字符串类型
• identifier: 字符串类型
• return_type: 字符串类型
• original_string: 字符串类型
• original_docstring: 字符串类型
• docstring: 字符串类型
• docstring_tokens: 字符串序列类型
• code: 字符串类型
• code_tokens: 字符串序列类型
• short_docstring: 字符串类型
• short_docstring_tokens: 字符串序列类型
• comment: 字符串序列类型
• parameters: 列表类型，包含以下字段：
  • param: 字符串类型
  • type: 字符串类型
• docstring_params: 结构类型，包含以下字段：
  • returns: 列表类型，包含以下字段：
    • docstring: 字符串类型
    • docstring_tokens: 字符串序列类型
    • type: 字符串类型
  • raises: 列表类型，包含以下字段：
    • docstring: 字符串类型
    • docstring_tokens: 字符串序列类型
    • type: 字符串类型
  • params: 列表类型，包含以下字段：
    • identifier: 字符串类型
    • type: 字符串类型
    • docstring: 字符串类型
    • docstring_tokens: 字符串序列类型
    • default: 字符串类型
    • is_optional: 布尔类型
  • outlier_params: 列表类型，包含以下字段：
    • identifier: 字符串类型
    • type: 字符串类型
    • docstring: 字符串类型
    • docstring_tokens: 字符串序列类型
    • default: 字符串类型
    • is_optional: 布尔类型
  • others: 列表类型，包含以下字段：
    • identifier: 字符串类型
    • docstring: 字符串类型
    • docstring_tokens: 字符串序列类型
• input_ids: 整数序列类型
• attention_mask: 整数序列类型
• labels: 整数序列类型

数据集分割

• train: 包含6629193个样本，占用49797821738字节

数据集大小

• 下载大小: 9683784722字节
• 数据集大小: 49797821738字节

配置

• config_name: default
  • data_files:
    • split: train
      • path: data/train-*