Lab 1 · 数据采集

推荐从以下公开数据源寻找数据集：

• Kaggle Datasets（https://www.kaggle.com/datasets）

• UCI Machine Learning Repository

• 中国国家数据统计局

• 各行业公开 API（天气、股票、空气质量等）

选择标准：数据量 100~5000 条、至少包含 3 个可分析的字段、字段类型丰富（数值、分类、时序中的两种以上）。

下载数据后，回答以下问题（写入实验报告）：

① 数据来源是什么？是否可靠/权威？

② 数据总量多少条？有哪些字段？

③ 数据更新时间是什么时候？

常见数据格式对比：

CSV（Comma-Separated Values）

优点：体积小、易于 Excel 编辑、被所有工具支持

缺点：不支持嵌套结构，类型需手动声明

适用：表格型数据、统计数据

JSON（JavaScript Object Notation）

优点：支持嵌套结构，类型自描述，与 Web 技术天然兼容

缺点：文件体积较大

适用：API 返回值、复杂结构数据

TSV（Tab-Separated Values）

优点：字段值内可含逗号，适合文本数据

缺点：非标准格式，部分工具支持差

适用：生物信息、基因数据

D3 提供了统一的数据加载接口，所有加载函数均返回 Promise：

d3.csv('data.csv').then(data => {
  console.log(data.length, data.columns);
});

d3.json('data.json').then(data => {
  console.log(data);
});

Promise.all([
  d3.csv('main.csv'),
  d3.json('meta.json')
]).then(([mainData, metaData]) => {
  // 两文件都加载完成后执行
});

加载后首先检查数据质量：

d3.csv('data.csv', d3.autoType).then(data => {
  // 自动将字符串数字转换为原生类型
  console.log(typeof data[0].year); // 'number'

  // 检查缺失值
  const missing = data.filter(d =>
    Object.values(d).some(v => v == null)
  );
  console.log(`缺失值记录: ${missing.length}`);

  // 检查数值字段范围
  const extent = d3.extent(data, d => d.value);
  console.log(`范围: ${extent}`);
});

将以上检查结果截图写入实验报告。