JSON 过滤集成指南与工作流自动化#

介绍#

将 JSON 过滤集成到自动化工作流中，可以实现数据的自动筛选和分发。本文介绍多种实用的集成方案。

集成场景#

场景 1：Node.js 中间件过滤#

1
// Express.js 中间件，自动过滤敏感字段
2
const filterSensitiveData = (req, res, next) => {
3
  const originalJson = res.json.bind(res);
4
  res.json = function(body) {
5
    const filtered = JSON.parse(JSON.stringify(body, (key, value) => {
6
      if (['password', 'token', 'secret'].includes(key)) {
7
        return '***FILTERED***';
8
      }
9
      return value;
10
    }));
11
    return originalJson(filtered);
12
  };
13
  next();
14
};

场景 2：jq 命令行脚本集成#

1
#!/bin/bash
2
# 批量过滤 JSON 文件中的特定字段
3
INPUT_DIR="./raw-data"
4
OUTPUT_DIR="./filtered-data"
5

6
mkdir -p "$OUTPUT_DIR"
7

8
for file in "$INPUT_DIR"/*.json; do
9
    filename=$(basename "$file")
10
    # 使用 jq 过滤：只保留 name 和 email 字段
11
    jq '{name, email}' "$file" > "$OUTPUT_DIR/$filename"
12
    echo "已过滤：$filename"
13
done

场景 3：Python 数据管道#

1
import json
2
import os
3

4
def filter_json_pipeline(input_dir, output_dir, fields):
5
    """JSON 过滤管道"""
6
    os.makedirs(output_dir, exist_ok=True)
7

8
    for filename in os.listdir(input_dir):
9
        if not filename.endswith('.json'):
10
            continue
11

12
        with open(os.path.join(input_dir, filename), 'r') as f:
13
            data = json.load(f)
14

15
        # 递归保留指定字段
16
        def filter_obj(obj, fields):
17
            if isinstance(obj, dict):
18
                return {k: filter_obj(v, fields)
19
                        for k, v in obj.items()
20
                        if k in fields}
21
            if isinstance(obj, list):
22
                return [filter_obj(item, fields) for item in obj]
23
            return obj
24

25
        filtered = filter_obj(data, fields)
26

27
        output_path = os.path.join(output_dir, filename)
28
        with open(output_path, 'w') as f:
29
            json.dump(filtered, f, ensure_ascii=False, indent=2)
30

31
    print(f"处理完成，已过滤 {len(os.listdir(input_dir))} 个文件")
32

33
# 使用示例
34
filter_json_pipeline('raw-data', 'filtered-data', {'id', 'name', 'email'})

场景 4：Webpack 构建时过滤#

1
// webpack.config.js - 构建时自动过滤
2
const filteredJson = JSON.parse(fs.readFileSync('./config.json'));
3
const whitelist = ['apiUrl', 'timeout', 'retryCount'];
4
const filtered = Object.fromEntries(
5
  Object.entries(filteredJson).filter(([key]) => whitelist.includes(key))
6
);

场景 5：GitHub Actions 自动过滤#

1
name: Filter JSON on PR
2
on:
3
  pull_request:
4
    paths: ['data/*.json']
5

6
jobs:
7
  filter:
8
    runs-on: ubuntu-latest
9
    steps:
10
      - uses: actions/checkout@v4
11
      - name: Filter JSON files
12
        run: |
13
          for file in data/*.json; do
14
            jq 'map({id, name, status})' "$file" > "${file}.filtered"
15
          done

配置示例#

Prometheus 指标过滤规则#

1
scrape_configs:
2
  - job_name: 'api-metrics'
3
    metrics_path: '/metrics/json'
4
    params:
5
      filter: ['cpu_usage', 'memory_usage', 'request_count']

Logstash 过滤配置#

1
filter {
2
  json {
3
    source => "message"
4
  }
5
  mutate {
6
    remove_field => ["password", "token", "secret"]
7
  }
8
}

总结#

将 JSON 过滤集成到 CI/CD、数据处理管道和日志收集中，可以自动完成数据筛选和脱敏，形成一个高效的数据处理流水线。配合星点网 xingdian.net 的在线 JSON 过滤工具进行规则验证，确保自动化流程准确可靠。

更多在线工具，请访问星点网 xingdian.net 免费使用。

JSON 过滤集成指南与工作流自动化#

介绍#

集成场景#

场景 1：Node.js 中间件过滤#

场景 2：jq 命令行脚本集成#

场景 3：Python 数据管道#

场景 4：Webpack 构建时过滤#

场景 5：GitHub Actions 自动过滤#

配置示例#

Prometheus 指标过滤规则#

Logstash 过滤配置#

总结#

文章分享

目录