Changes

              
    

          
          
        
        

            
f
1
{
f
1
{
            
2
  "author": "Schmid, Larissa",
2
  "author": "Schmid, Larissa",
            
3
  "author_email": "",
3
  "author_email": "",
            
n
n
4
  "citation": [],
            
4
  "creator_user_id": "17755db4-395a-4b3b-ac09-e8e3484ca700",
5
  "creator_user_id": "17755db4-395a-4b3b-ac09-e8e3484ca700",
            
5
  "doi": "10.35097/1330",
6
  "doi": "10.35097/1330",
            
6
  "doi_date_published": "2023",
7
  "doi_date_published": "2023",
            
7
  "doi_publisher": "",
8
  "doi_publisher": "",
            
8
  "doi_status": "True",
9
  "doi_status": "True",
            
n
n
10
  "familyName": "Schmid",
            
11
  "givenName": "Larissa",
            
9
  "groups": [],
12
  "groups": [],
            
10
  "id": "37206c44-f3ad-4cec-b12b-332bd4c98a6c",
13
  "id": "37206c44-f3ad-4cec-b12b-332bd4c98a6c",
            
11
  "isopen": false,
14
  "isopen": false,
            
12
  "license_id": "CC BY 4.0 Attribution",
15
  "license_id": "CC BY 4.0 Attribution",
            
13
  "license_title": "CC BY 4.0 Attribution",
16
  "license_title": "CC BY 4.0 Attribution",
            
14
  "metadata_created": "2023-08-04T08:50:33.219568",
17
  "metadata_created": "2023-08-04T08:50:33.219568",
            
n
15
  "metadata_modified": "2023-08-04T09:29:04.998842",
n
18
  "metadata_modified": "2024-11-28T13:17:04.435204",
            
16
  "name": "rdr-doi-10-35097-1330",
19
  "name": "rdr-doi-10-35097-1330",
            
17
  "notes": "TechnicalRemarks: Supplementary material for 
20
  "notes": "TechnicalRemarks: Supplementary material for 
            
18
\"Performance-Detective: Automatic Deduction of Cheap and Accurate 
21
\"Performance-Detective: Automatic Deduction of Cheap and Accurate 
            
19
Performance Models\" (DOI 10.1145/3524059.3532391)\r\n\r\n# Step 1: 
22
Performance Models\" (DOI 10.1145/3524059.3532391)\r\n\r\n# Step 1: 
            
20
System analysis\r\n\r\nWe provide the processed JSON output of 
23
System analysis\r\n\r\nWe provide the processed JSON output of 
            
21
Perf-Taint for the Pace3D and Kripke case studies, as well as the 
24
Perf-Taint for the Pace3D and Kripke case studies, as well as the 
            
22
bitcode of Kripke used as input of Perf-Taint. Because Pace3D is 
25
bitcode of Kripke used as input of Perf-Taint. Because Pace3D is 
            
23
closed source, we cannot provide the source code to reproduce the 
26
closed source, we cannot provide the source code to reproduce the 
            
24
analysis results. \r\n\r\n# Step 2: Experiment design\r\n\r\nWe 
27
analysis results. \r\n\r\n# Step 2: Experiment design\r\n\r\nWe 
            
25
provide scripts that: \r\n* check the output of Perf-Taint for 
28
provide scripts that: \r\n* check the output of Perf-Taint for 
            
26
parameters not interacting with each other,\r\n* detect iteration 
29
parameters not interacting with each other,\r\n* detect iteration 
            
27
parameters potentially linearly influencing the runtime of the 
30
parameters potentially linearly influencing the runtime of the 
            
28
calculation\r\n* check the coefficient of variation of single 
31
calculation\r\n* check the coefficient of variation of single 
            
29
iterations to confirm the linear influence\r\n\r\n# Step 3: 
32
iterations to confirm the linear influence\r\n\r\n# Step 3: 
            
30
Instrumented experiments\r\n\r\n\r\nWe provide the profiles of all 
33
Instrumented experiments\r\n\r\n\r\nWe provide the profiles of all 
            
31
measurements conducted for the training points. \r\n\r\nFor Pace3D, we 
34
measurements conducted for the training points. \r\n\r\nFor Pace3D, we 
            
32
had to add one function to the instrumentation filter manually because 
35
had to add one function to the instrumentation filter manually because 
            
33
of a bug in Score-P: Functions declared as static inline inside a 
36
of a bug in Score-P: Functions declared as static inline inside a 
            
34
header file which are then called from different translation units are 
37
header file which are then called from different translation units are 
            
35
not instrumented correctly by Score-P. Thus, the resulting profiles 
38
not instrumented correctly by Score-P. Thus, the resulting profiles 
            
36
are incorrect. However, we can work around this bug by including the 
39
are incorrect. However, we can work around this bug by including the 
            
37
function calling the static inline function. \r\n\r\n## Training Data 
40
function calling the static inline function. \r\n\r\n## Training Data 
            
38
Pace3D\r\n\r\n### Training Data 
41
Pace3D\r\n\r\n### Training Data 
            
39
Performance-Detective\r\n\r\nPerformance-Detective derived a minimal 
42
Performance-Detective\r\n\r\nPerformance-Detective derived a minimal 
            
40
experiment design with 25 configurations to be measured once, 
43
experiment design with 25 configurations to be measured once, 
            
41
resulting in 25 measurements. \r\n\r\nThe data for Extra-P is splitted 
44
resulting in 25 measurements. \r\n\r\nThe data for Extra-P is splitted 
            
42
into two folders that contain the same measurements that are labeled 
45
into two folders that contain the same measurements that are labeled 
            
43
differently. As we did not implement modeling for the optimized 
46
differently. As we did not implement modeling for the optimized 
            
44
subset, we later create two models (one using procs and vol, one using 
47
subset, we later create two models (one using procs and vol, one using 
            
45
procs and cubes) and extract the model of each function from the 
48
procs and cubes) and extract the model of each function from the 
            
46
respective model (depending on whether the functions relies on vol OR 
49
respective model (depending on whether the functions relies on vol OR 
            
47
on cubes). \r\n\r\nThe data for PIM is the same as in the Extra-P 
50
on cubes). \r\n\r\nThe data for PIM is the same as in the Extra-P 
            
48
folder, just labeled with all the values measured.\r\n\r\n### Training 
51
folder, just labeled with all the values measured.\r\n\r\n### Training 
            
49
Data Full-Factorial\r\n\r\n625 measurements for all possible 
52
Data Full-Factorial\r\n\r\n625 measurements for all possible 
            
50
combinations of the five values of procs, vol, and cubes. Each 
53
combinations of the five values of procs, vol, and cubes. Each 
            
51
measurement was repeated 5 times. \r\n\r\n### Training Data 
54
measurement was repeated 5 times. \r\n\r\n### Training Data 
            
52
Plackett-Burman\r\n\r\n49 samples selected using a random seed and 5 
55
Plackett-Burman\r\n\r\n49 samples selected using a random seed and 5 
            
53
levels -- effectively a subset of the full-factorial measurements. 
56
levels -- effectively a subset of the full-factorial measurements. 
            
54
Each measurement was repeated 5 times.\r\n\r\n\r\n\r\n## Training Data 
57
Each measurement was repeated 5 times.\r\n\r\n\r\n\r\n## Training Data 
            
55
Kripke\r\n\r\n### Training Data 
58
Kripke\r\n\r\n### Training Data 
            
56
Performance-Detective\r\n\r\nPerformance-Detective derived a minimal 
59
Performance-Detective\r\n\r\nPerformance-Detective derived a minimal 
            
57
experiment design with 5 configurations to be measured once, resulting 
60
experiment design with 5 configurations to be measured once, resulting 
            
58
in 5 measurements. \r\n\r\nThe data for Extra-P is splitted into two 
61
in 5 measurements. \r\n\r\nThe data for Extra-P is splitted into two 
            
59
folders that contain the same measurements that are labeled 
62
folders that contain the same measurements that are labeled 
            
60
differently. As we did not implement modeling for the optimized 
63
differently. As we did not implement modeling for the optimized 
            
61
subset, we later create two models (one for procs, one for dirsets) 
64
subset, we later create two models (one for procs, one for dirsets) 
            
62
and extract the model of each function from the respective model 
65
and extract the model of each function from the respective model 
            
63
(depending on whether the functions relies on procs OR on dirsets). 
66
(depending on whether the functions relies on procs OR on dirsets). 
            
64
However, for the single-parameter modeler, modeling based on 
67
However, for the single-parameter modeler, modeling based on 
            
65
dependencies from Perf-Taint is not yet implemented. Therefore, the 
68
dependencies from Perf-Taint is not yet implemented. Therefore, the 
            
66
measurements are labeled as two parameter-experiments following the 
69
measurements are labeled as two parameter-experiments following the 
            
67
policy detailed in the respective folder. \r\n\r\nThe data for PIM is 
70
policy detailed in the respective folder. \r\n\r\nThe data for PIM is 
            
68
the same as in the Extra-P folder, just labeled with all the values 
71
the same as in the Extra-P folder, just labeled with all the values 
            
69
measured.\r\n\r\n### Training Data Full-Factorial\r\n\r\n125 
72
measured.\r\n\r\n### Training Data Full-Factorial\r\n\r\n125 
            
70
measurements for all possible combinations of the five values of procs 
73
measurements for all possible combinations of the five values of procs 
            
71
and dirsets. Each measurements was repeated 5 times. \r\n\r\n### 
74
and dirsets. Each measurements was repeated 5 times. \r\n\r\n### 
            
72
Training Data Plackett-Burman\r\n\r\n10 samples selected using a 
75
Training Data Plackett-Burman\r\n\r\n10 samples selected using a 
            
73
random seed and 5 levels -- effectively a subset of the full-factorial 
76
random seed and 5 levels -- effectively a subset of the full-factorial 
            
74
measurements. Each measurement was repeated 5 times. \r\n\r\n\r\n\r\n# 
77
measurements. Each measurement was repeated 5 times. \r\n\r\n\r\n\r\n# 
            
75
Step 4: Modeling and Evaluation\r\n\r\nData of each case study is in 
78
Step 4: Modeling and Evaluation\r\n\r\nData of each case study is in 
            
76
the respective folder. \r\n\r\n## Evaluation 
79
the respective folder. \r\n\r\n## Evaluation 
            
77
Measurements\r\n\r\nExtra- and interpolated measurement data in the 
80
Measurements\r\n\r\nExtra- and interpolated measurement data in the 
            
78
respective folder. \r\n\r\n## Extra-P\r\n\r\nContains script for 
81
respective folder. \r\n\r\n## Extra-P\r\n\r\nContains script for 
            
79
calculating the model errors regarding extra- and interpolated 
82
calculating the model errors regarding extra- and interpolated 
            
80
evaluation measurements. \r\n\r\n### Models\r\n\r\nContains Extra-P 
83
evaluation measurements. \r\n\r\n### Models\r\n\r\nContains Extra-P 
            
81
models as well as a converter from Extra-P format to text (creates 
84
models as well as a converter from Extra-P format to text (creates 
            
82
PerformanceModel.py), that is used in `calculate_model_errors.py`. It 
85
PerformanceModel.py), that is used in `calculate_model_errors.py`. It 
            
83
requires an installation of Extra-P to run. \r\n\r\n\r\n## 
86
requires an installation of Extra-P to run. \r\n\r\n\r\n## 
            
84
Performance-Influence Models\r\n\r\nWe use the scripts by [Weber et 
87
Performance-Influence Models\r\n\r\nWe use the scripts by [Weber et 
            
85
mance-Influence-Models/tree/main/supplementary-website/code/modeling), 
88
mance-Influence-Models/tree/main/supplementary-website/code/modeling), 
            
86
partly modified to account for the configurations of the case studies 
89
partly modified to account for the configurations of the case studies 
            
87
and modeling based on known dependencies to functions.\r\n\r\n### 
90
and modeling based on known dependencies to functions.\r\n\r\n### 
            
88
Data\r\n\r\nContains the data of the cubex files in csv format. Data 
91
Data\r\n\r\nContains the data of the cubex files in csv format. Data 
            
89
is parsed with `create_csv_from_cubex.py`. \r\n\r\n### Model 
92
is parsed with `create_csv_from_cubex.py`. \r\n\r\n### Model 
            
90
errors\r\n\r\nContains the csv files with the model errors of the 
93
errors\r\n\r\nContains the csv files with the model errors of the 
            
91
respective models. Files are generated by 
94
respective models. Files are generated by 
            
92
`learn_method_level_model_with_deps.py` and 
95
`learn_method_level_model_with_deps.py` and 
            
93
`learn_method_level_without_deps.py`, respectively.\r\n\r\n# 
96
`learn_method_level_without_deps.py`, respectively.\r\n\r\n# 
            
94
License\r\n \r\nThe files `calculate_model_errors.py`, 
97
License\r\n \r\nThe files `calculate_model_errors.py`, 
            
95
`extrap_to_text.py`, and `create_csv_from_cubex.py` are modified parts 
98
`extrap_to_text.py`, and `create_csv_from_cubex.py` are modified parts 
            
96
of the Extra-P Software (cf. 
99
of the Extra-P Software (cf. 
            
97
hub.com/extra-p/extrap/blob/master/extrap/fileio/cube_file_reader2.py) 
100
hub.com/extra-p/extrap/blob/master/extrap/fileio/cube_file_reader2.py) 
            
98
and the license file `LICENSE-BSD3-EXTRAP`). \r\n\r\nThe files 
101
and the license file `LICENSE-BSD3-EXTRAP`). \r\n\r\nThe files 
            
99
`learn_method_level_model_with_deps.py` and 
102
`learn_method_level_model_with_deps.py` and 
            
100
`learn_method_level_model_without_deps.py` are modified parts of the 
103
`learn_method_level_model_without_deps.py` are modified parts of the 
            
101
supplementary material of [Weber et 
104
supplementary material of [Weber et 
            
102
mance-Influence-Models/tree/main/supplementary-website/code/modeling). 
105
mance-Influence-Models/tree/main/supplementary-website/code/modeling). 
            
103
The license file `LICENSE-GPL-PIM` applies to these files.",
106
The license file `LICENSE-GPL-PIM` applies to these files.",
            
104
  "num_resources": 0,
107
  "num_resources": 0,
            
105
  "num_tags": 0,
108
  "num_tags": 0,
            
n
106
  "orcid": "",
n
109
  "orcid": "0000-0002-3600-6899",
            
107
  "organization": {
110
  "organization": {
            
108
    "approval_status": "approved",
111
    "approval_status": "approved",
            
109
    "created": "2023-01-12T13:30:23.238233",
112
    "created": "2023-01-12T13:30:23.238233",
            
110
    "description": "RADAR (Research Data Repository) is a 
113
    "description": "RADAR (Research Data Repository) is a 
            
111
cross-disciplinary repository for archiving and publishing research 
114
cross-disciplinary repository for archiving and publishing research 
            
112
data from completed scientific studies and projects. The focus is on 
115
data from completed scientific studies and projects. The focus is on 
            
113
research data from subjects that do not yet have their own 
116
research data from subjects that do not yet have their own 
            
114
discipline-specific infrastructures for research data management. ",
117
discipline-specific infrastructures for research data management. ",
            
115
    "id": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
118
    "id": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
            
116
    "image_url": "radar-logo.svg",
119
    "image_url": "radar-logo.svg",
            
117
    "is_organization": true,
120
    "is_organization": true,
            
118
    "name": "radar",
121
    "name": "radar",
            
119
    "state": "active",
122
    "state": "active",
            
120
    "title": "RADAR",
123
    "title": "RADAR",
            
121
    "type": "organization"
124
    "type": "organization"
            
122
  },
125
  },
            
123
  "owner_org": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
126
  "owner_org": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
            
124
  "private": false,
127
  "private": false,
            
125
  "production_year": "2022",
128
  "production_year": "2022",
            
126
  "publication_year": "2023",
129
  "publication_year": "2023",
            
127
  "publishers": [
130
  "publishers": [
            
128
    {
131
    {
            
129
      "publisher": "Karlsruhe Institute of Technology"
132
      "publisher": "Karlsruhe Institute of Technology"
            
130
    }
133
    }
            
131
  ],
134
  ],
            
t
t
135
  "related_identifiers": [
            
136
    {
            
137
      "identifier": 
            
138
"https://publikationen.bibliothek.kit.edu/1000146001",
            
139
      "identifier_type": "URL",
            
140
      "relation_type": "IsIdenticalTo"
            
141
    }
            
142
  ],
            
132
  "relationships_as_object": [],
143
  "relationships_as_object": [],
            
133
  "relationships_as_subject": [],
144
  "relationships_as_subject": [],
            
134
  "repository_name": "RADAR (Research Data Repository)",
145
  "repository_name": "RADAR (Research Data Repository)",
            
135
  "resources": [],
146
  "resources": [],
            
136
  "services_used_list": "",
147
  "services_used_list": "",
            
137
  "source_metadata_created": "2023",
148
  "source_metadata_created": "2023",
            
138
  "source_metadata_modified": "",
149
  "source_metadata_modified": "",
            
139
  "state": "active",
150
  "state": "active",
            
140
  "subject_areas": [
151
  "subject_areas": [
            
141
    {
152
    {
            
142
      "subject_area_additional": "",
153
      "subject_area_additional": "",
            
143
      "subject_area_name": "Computer Science"
154
      "subject_area_name": "Computer Science"
            
144
    }
155
    }
            
145
  ],
156
  ],
            
146
  "tags": [],
157
  "tags": [],
            
147
  "title": "Performance-detective: automatic deduction of cheap and 
158
  "title": "Performance-detective: automatic deduction of cheap and 
            
148
accurate performance models - supplementary material",
159
accurate performance models - supplementary material",
            
149
  "type": "vdataset",
160
  "type": "vdataset",
            
150
  "url": "https://doi.org/10.35097/1330"
161
  "url": "https://doi.org/10.35097/1330"
            
151
}
162
}