Changes

              
    

          
          
        
        

            
f
1
{
f
1
{
            
2
  "author": "Demir, Nurullah",
2
  "author": "Demir, Nurullah",
            
3
  "author_email": "",
3
  "author_email": "",
            
n
n
4
  "citation": [],
            
4
  "creator_user_id": "17755db4-395a-4b3b-ac09-e8e3484ca700",
5
  "creator_user_id": "17755db4-395a-4b3b-ac09-e8e3484ca700",
            
5
  "doi": "10.35097/1560",
6
  "doi": "10.35097/1560",
            
6
  "doi_date_published": "2023",
7
  "doi_date_published": "2023",
            
7
  "doi_publisher": "",
8
  "doi_publisher": "",
            
8
  "doi_status": "True",
9
  "doi_status": "True",
            
9
  "extra_authors": [
10
  "extra_authors": [
            
10
    {
11
    {
            
11
      "extra_author": "Gro\u00dfe-Kampmann, Matteo",
12
      "extra_author": "Gro\u00dfe-Kampmann, Matteo",
            
n
n
13
      "familyName": "Gro\u00dfe-Kampmann",
            
14
      "givenName": "Matteo",
            
12
      "orcid": ""
15
      "orcid": ""
            
13
    },
16
    },
            
14
    {
17
    {
            
15
      "extra_author": "Urban, Tobias",
18
      "extra_author": "Urban, Tobias",
            
n
n
19
      "familyName": "Urban",
            
20
      "givenName": "Tobias",
            
16
      "orcid": ""
21
      "orcid": ""
            
17
    },
22
    },
            
18
    {
23
    {
            
19
      "extra_author": "Wressnegger, Christian",
24
      "extra_author": "Wressnegger, Christian",
            
n
n
25
      "familyName": "Wressnegger",
            
26
      "givenName": "Christian",
            
20
      "orcid": ""
27
      "orcid": ""
            
21
    },
28
    },
            
22
    {
29
    {
            
23
      "extra_author": "Holz, Thorsten",
30
      "extra_author": "Holz, Thorsten",
            
n
n
31
      "familyName": "Holz",
            
32
      "givenName": "Thorsten",
            
24
      "orcid": ""
33
      "orcid": ""
            
25
    },
34
    },
            
26
    {
35
    {
            
27
      "extra_author": "Pohlmann, Norbert",
36
      "extra_author": "Pohlmann, Norbert",
            
n
n
37
      "familyName": "Pohlmann",
            
38
      "givenName": "Norbert",
            
28
      "orcid": ""
39
      "orcid": ""
            
29
    }
40
    }
            
30
  ],
41
  ],
            
n
n
42
  "familyName": "Demir",
            
43
  "givenName": "Nurullah",
            
31
  "groups": [],
44
  "groups": [],
            
32
  "id": "d65cf4a0-1a31-41fd-939b-77b8c7455c82",
45
  "id": "d65cf4a0-1a31-41fd-939b-77b8c7455c82",
            
33
  "isopen": false,
46
  "isopen": false,
            
34
  "license_id": "CC BY 4.0 Attribution",
47
  "license_id": "CC BY 4.0 Attribution",
            
35
  "license_title": "CC BY 4.0 Attribution",
48
  "license_title": "CC BY 4.0 Attribution",
            
36
  "metadata_created": "2023-08-04T08:51:04.867670",
49
  "metadata_created": "2023-08-04T08:51:04.867670",
            
t
37
  "metadata_modified": "2023-08-04T09:31:31.641614",
t
50
  "metadata_modified": "2024-11-28T13:15:53.632071",
            
38
  "name": "rdr-doi-10-35097-1560",
51
  "name": "rdr-doi-10-35097-1560",
            
39
  "notes": "Abstract: Web measurement studies can shed light on not 
52
  "notes": "Abstract: Web measurement studies can shed light on not 
            
40
yet fully understood phenomena and thus are essential for analyzing 
53
yet fully understood phenomena and thus are essential for analyzing 
            
41
how the modern Web works. This often requires building new and 
54
how the modern Web works. This often requires building new and 
            
42
adjusting existing crawling setups, which has led to a wide variety of 
55
adjusting existing crawling setups, which has led to a wide variety of 
            
43
analysis tools for different (but related) aspects. If these efforts 
56
analysis tools for different (but related) aspects. If these efforts 
            
44
are not sufficiently documented, the reproducibility and replicability 
57
are not sufficiently documented, the reproducibility and replicability 
            
45
of the measurements may suffer---two properties that are crucial to 
58
of the measurements may suffer---two properties that are crucial to 
            
46
sustainable research.\r\nIn this paper, we survey 117 recent research 
59
sustainable research.\r\nIn this paper, we survey 117 recent research 
            
47
papers to derive best practices for Web-based measurement studies and 
60
papers to derive best practices for Web-based measurement studies and 
            
48
specify criteria that need to be met in practice.\r\nWhen applying 
61
specify criteria that need to be met in practice.\r\nWhen applying 
            
49
these criteria to the surveyed papers, we find that the experimental 
62
these criteria to the surveyed papers, we find that the experimental 
            
50
setup and other aspects essential to reproducing and replicating 
63
setup and other aspects essential to reproducing and replicating 
            
51
results are often missing.\r\nWe underline the criticality of this 
64
results are often missing.\r\nWe underline the criticality of this 
            
52
finding by performing a large-scale Web measurement study on4.5 
65
finding by performing a large-scale Web measurement study on4.5 
            
53
million pages with 24 different measurement setups to demonstrate the 
66
million pages with 24 different measurement setups to demonstrate the 
            
54
influence of the individual criteria. Our experiments show that slight 
67
influence of the individual criteria. Our experiments show that slight 
            
55
differences in the experimental setup directly affect the overall 
68
differences in the experimental setup directly affect the overall 
            
56
results and must be documented accurately and 
69
results and must be documented accurately and 
            
57
carefully.\r\nTechnicalRemarks: This dataset holds additional material 
70
carefully.\r\nTechnicalRemarks: This dataset holds additional material 
            
58
to the paper \"Reproducibility and Replicability of Web Measurement 
71
to the paper \"Reproducibility and Replicability of Web Measurement 
            
59
Studies\" submitted to the ACM Web Conference 2022. It contains the 
72
Studies\" submitted to the ACM Web Conference 2022. It contains the 
            
60
measurement data (requests, responses, visited URLs, cookies, and 
73
measurement data (requests, responses, visited URLs, cookies, and 
            
61
LocalStorage objects) we have collected from 25 different profiles. 
74
LocalStorage objects) we have collected from 25 different profiles. 
            
62
All data is in CSV format (exported from the Google BigQuery service) 
75
All data is in CSV format (exported from the Google BigQuery service) 
            
63
and can be imported into any database. \r\n\r\nTable sizes (according 
76
and can be imported into any database. \r\n\r\nTable sizes (according 
            
64
to Google BigQuery):\r\n\r\nCookies: 2.8 GB\r\nLocalStorage: 6 
77
to Google BigQuery):\r\n\r\nCookies: 2.8 GB\r\nLocalStorage: 6 
            
65
GB\r\nRequests: 626.6 GB\r\nResponses: 501.6 GB\r\nURL: 38 
78
GB\r\nRequests: 626.6 GB\r\nResponses: 501.6 GB\r\nURL: 38 
            
66
MB\r\nVisits: 935 MB\r\n\r\nNote: Although our paper does not include 
79
MB\r\nVisits: 935 MB\r\n\r\nNote: Although our paper does not include 
            
67
the analysis for the collected Cookie and LocalStorage objects, we 
80
the analysis for the collected Cookie and LocalStorage objects, we 
            
68
publish them for further studies.\r\n\r\nYou can find further 
81
publish them for further studies.\r\n\r\nYou can find further 
            
69
information about our study on [our repository in 
82
information about our study on [our repository in 
            
70
seven/Reproducibility-and-Replicability-of-Web-Measurement-Studies).",
83
seven/Reproducibility-and-Replicability-of-Web-Measurement-Studies).",
            
71
  "num_resources": 0,
84
  "num_resources": 0,
            
72
  "num_tags": 5,
85
  "num_tags": 5,
            
73
  "orcid": "",
86
  "orcid": "",
            
74
  "organization": {
87
  "organization": {
            
75
    "approval_status": "approved",
88
    "approval_status": "approved",
            
76
    "created": "2023-01-12T13:30:23.238233",
89
    "created": "2023-01-12T13:30:23.238233",
            
77
    "description": "RADAR (Research Data Repository) is a 
90
    "description": "RADAR (Research Data Repository) is a 
            
78
cross-disciplinary repository for archiving and publishing research 
91
cross-disciplinary repository for archiving and publishing research 
            
79
data from completed scientific studies and projects. The focus is on 
92
data from completed scientific studies and projects. The focus is on 
            
80
research data from subjects that do not yet have their own 
93
research data from subjects that do not yet have their own 
            
81
discipline-specific infrastructures for research data management. ",
94
discipline-specific infrastructures for research data management. ",
            
82
    "id": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
95
    "id": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
            
83
    "image_url": "radar-logo.svg",
96
    "image_url": "radar-logo.svg",
            
84
    "is_organization": true,
97
    "is_organization": true,
            
85
    "name": "radar",
98
    "name": "radar",
            
86
    "state": "active",
99
    "state": "active",
            
87
    "title": "RADAR",
100
    "title": "RADAR",
            
88
    "type": "organization"
101
    "type": "organization"
            
89
  },
102
  },
            
90
  "owner_org": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
103
  "owner_org": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
            
91
  "private": false,
104
  "private": false,
            
92
  "production_year": "2021",
105
  "production_year": "2021",
            
93
  "publication_year": "2023",
106
  "publication_year": "2023",
            
94
  "publishers": [
107
  "publishers": [
            
95
    {
108
    {
            
96
      "publisher": "Karlsruhe Institute of Technology"
109
      "publisher": "Karlsruhe Institute of Technology"
            
97
    }
110
    }
            
98
  ],
111
  ],
            
99
  "relationships_as_object": [],
112
  "relationships_as_object": [],
            
100
  "relationships_as_subject": [],
113
  "relationships_as_subject": [],
            
101
  "repository_name": "RADAR (Research Data Repository)",
114
  "repository_name": "RADAR (Research Data Repository)",
            
102
  "resources": [],
115
  "resources": [],
            
103
  "services_used_list": "",
116
  "services_used_list": "",
            
104
  "source_metadata_created": "2023",
117
  "source_metadata_created": "2023",
            
105
  "source_metadata_modified": "",
118
  "source_metadata_modified": "",
            
106
  "state": "active",
119
  "state": "active",
            
107
  "subject_areas": [
120
  "subject_areas": [
            
108
    {
121
    {
            
109
      "subject_area_additional": "",
122
      "subject_area_additional": "",
            
110
      "subject_area_name": "Computer Science"
123
      "subject_area_name": "Computer Science"
            
111
    }
124
    }
            
112
  ],
125
  ],
            
113
  "tags": [
126
  "tags": [
            
114
    {
127
    {
            
115
      "display_name": "Web measurements",
128
      "display_name": "Web measurements",
            
116
      "id": "961a5529-8310-4de7-a41e-2ea79b836a9f",
129
      "id": "961a5529-8310-4de7-a41e-2ea79b836a9f",
            
117
      "name": "Web measurements",
130
      "name": "Web measurements",
            
118
      "state": "active",
131
      "state": "active",
            
119
      "vocabulary_id": null
132
      "vocabulary_id": null
            
120
    },
133
    },
            
121
    {
134
    {
            
122
      "display_name": "privacy",
135
      "display_name": "privacy",
            
123
      "id": "af080db8-7f8f-49a0-a429-dc93037ce39e",
136
      "id": "af080db8-7f8f-49a0-a429-dc93037ce39e",
            
124
      "name": "privacy",
137
      "name": "privacy",
            
125
      "state": "active",
138
      "state": "active",
            
126
      "vocabulary_id": null
139
      "vocabulary_id": null
            
127
    },
140
    },
            
128
    {
141
    {
            
129
      "display_name": "replicability",
142
      "display_name": "replicability",
            
130
      "id": "7c3f6d2e-28bb-4b17-9508-db293bc7a0af",
143
      "id": "7c3f6d2e-28bb-4b17-9508-db293bc7a0af",
            
131
      "name": "replicability",
144
      "name": "replicability",
            
132
      "state": "active",
145
      "state": "active",
            
133
      "vocabulary_id": null
146
      "vocabulary_id": null
            
134
    },
147
    },
            
135
    {
148
    {
            
136
      "display_name": "reproducibility",
149
      "display_name": "reproducibility",
            
137
      "id": "94c644a1-e1b6-4e9a-a828-89466ab0ff0a",
150
      "id": "94c644a1-e1b6-4e9a-a828-89466ab0ff0a",
            
138
      "name": "reproducibility",
151
      "name": "reproducibility",
            
139
      "state": "active",
152
      "state": "active",
            
140
      "vocabulary_id": null
153
      "vocabulary_id": null
            
141
    },
154
    },
            
142
    {
155
    {
            
143
      "display_name": "security",
156
      "display_name": "security",
            
144
      "id": "c3018e45-a63d-4de4-a11a-5edbc0aee325",
157
      "id": "c3018e45-a63d-4de4-a11a-5edbc0aee325",
            
145
      "name": "security",
158
      "name": "security",
            
146
      "state": "active",
159
      "state": "active",
            
147
      "vocabulary_id": null
160
      "vocabulary_id": null
            
148
    }
161
    }
            
149
  ],
162
  ],
            
150
  "title": "Reproducibility and replicability of web measurement 
163
  "title": "Reproducibility and replicability of web measurement 
            
151
studies",
164
studies",
            
152
  "type": "vdataset",
165
  "type": "vdataset",
            
153
  "url": "https://doi.org/10.35097/1560"
166
  "url": "https://doi.org/10.35097/1560"
            
154
}
167
}