Github API 会自动对所请求的项目进行分页

不同的 API 会有不同的每页数目，有的 API 默认每页 100 项，有的 API 默认每页 30 项，可以通过 per_page=xxx 参数改变每页展示项目数，但最大值为 100。但是也有例外，比如，Events 就不会让你设置最大每页数

调用 Github API 时会返回在一个响应头 Link header， 开发者可通过解析 Link header 来获取分页信息

默认请求，github api 返回的 Link header 如下：

1
2

Link: <https://api.github.com/search/code?q=addClass+user%3Amozilla&page=2>; rel="next",
  <https://api.github.com/search/code?q=addClass+user%3Amozilla&page=34>; rel="last"

请求传入 page=xxx 参数，返回的 Link header 如下：

1
2
3
4

Link: <https://api.github.com/search/code?q=addClass+user%3Amozilla&page=15>; rel="next",
  <https://api.github.com/search/code?q=addClass+user%3Amozilla&page=34>; rel="last",
  <https://api.github.com/search/code?q=addClass+user%3Amozilla&page=1>; rel="first",
  <https://api.github.com/search/code?q=addClass+user%3Amozilla&page=13>; rel="prev"
  • 方案一
    • 分解字符串
    • 以 逗号 为分隔符，分解出每条 link
    • 以 分号 为分割符，分解带 rel="last" 的链接为链接部分和链接类型部分
    • 以 page= 为分割符，分解出链接前部和 页数> 部分
    • 去除 > 后得总页数
  • 方案二
    • 正则匹配
    • 设置正则表达式 page=(\d+)>; rel="last"
    • 匹配整个 Link header 字符串
    • 找出总页数
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66

    package main

    import (
        "fmt"
        "log"
        "regexp"
        "strconv"
        "strings"
    )

    var linkHeader = `<https://api.github.com/search/code?q=addClass+user%3Amozilla&page=15>; rel="next",
                <https://api.github.com/search/code?q=addClass+user%3Amozilla&page=34>; rel="last",
                <https://api.github.com/search/code?q=addClass+user%3Amozilla&page=1>; rel="first",
                <https://api.github.com/search/code?q=addClass+user%3Amozilla&page=13>; rel="prev"`

    func split(linkHeader string) (int, error) {
        var link string
        links := strings.Split(linkHeader, ",")
        for _, v := range links {
            v = strings.TrimSpace(v)
            if strings.HasSuffix(v, `rel="last"`) {
                link = strings.Split(v, ";")[0]
            }
        }
        // fmt.Println(link)
        totalPageNum, err := strconv.Atoi(strings.TrimSuffix(strings.Split(link, "page=")[1], ">"))
        if err != nil {
            log.Println(err)
            return 0, err
        }
        return totalPageNum, nil

    }

    func regex(linkHeader string) (int, error) {

        rege := regexp.MustCompile(`page=(\d+)>; rel="last"`)
        // fmt.Println(rege.MatchString(linkHeader))
        totalPages := rege.FindStringSubmatch(linkHeader)[1]

        totalPageNum, err := strconv.Atoi(totalPages)
        if err != nil {
            log.Println("Error: ", err)
            return 0, err
        }
        // fmt.Println(totalPageNum)
        return totalPageNum, nil
    }

    func main() {
    //方案一
        numberOfPages, err := regex(linkHeader)
        if err != nil {
            log.Println(err)
            return
        }
        fmt.Println(numberOfPages)

    //方案二
        numberOfPages, err = split(linkHeader)
        if err != nil {
            log.Println(err)
            return
        }
        fmt.Println(numberOfPages)
    }

Refs