Changes

              
    

          
          
        
        

            
f
1
{
f
1
{
            
2
  "author": "Schmid, Larissa",
2
  "author": "Schmid, Larissa",
            
3
  "author_email": "",
3
  "author_email": "",
            
4
  "creator_user_id": "17755db4-395a-4b3b-ac09-e8e3484ca700",
4
  "creator_user_id": "17755db4-395a-4b3b-ac09-e8e3484ca700",
            
5
  "doi": "10.35097/1330",
5
  "doi": "10.35097/1330",
            
6
  "doi_date_published": "2023",
6
  "doi_date_published": "2023",
            
7
  "doi_publisher": "",
7
  "doi_publisher": "",
            
8
  "doi_status": "True",
8
  "doi_status": "True",
            
9
  "groups": [],
9
  "groups": [],
            
10
  "id": "37206c44-f3ad-4cec-b12b-332bd4c98a6c",
10
  "id": "37206c44-f3ad-4cec-b12b-332bd4c98a6c",
            
11
  "isopen": false,
11
  "isopen": false,
            
12
  "license_id": "CC BY 4.0 Attribution",
12
  "license_id": "CC BY 4.0 Attribution",
            
13
  "license_title": "CC BY 4.0 Attribution",
13
  "license_title": "CC BY 4.0 Attribution",
            
14
  "metadata_created": "2023-08-04T08:50:33.219568",
14
  "metadata_created": "2023-08-04T08:50:33.219568",
            
t
15
  "metadata_modified": "2023-08-04T08:50:33.219574",
t
15
  "metadata_modified": "2023-08-04T08:51:57.725674",
            
16
  "name": "rdr-doi-10-35097-1330",
16
  "name": "rdr-doi-10-35097-1330",
            
17
  "notes": "TechnicalRemarks: Supplementary material for 
17
  "notes": "TechnicalRemarks: Supplementary material for 
            
18
\"Performance-Detective: Automatic Deduction of Cheap and Accurate 
18
\"Performance-Detective: Automatic Deduction of Cheap and Accurate 
            
19
Performance Models\" (DOI 10.1145/3524059.3532391)\r\n\r\n# Step 1: 
19
Performance Models\" (DOI 10.1145/3524059.3532391)\r\n\r\n# Step 1: 
            
20
System analysis\r\n\r\nWe provide the processed JSON output of 
20
System analysis\r\n\r\nWe provide the processed JSON output of 
            
21
Perf-Taint for the Pace3D and Kripke case studies, as well as the 
21
Perf-Taint for the Pace3D and Kripke case studies, as well as the 
            
22
bitcode of Kripke used as input of Perf-Taint. Because Pace3D is 
22
bitcode of Kripke used as input of Perf-Taint. Because Pace3D is 
            
23
closed source, we cannot provide the source code to reproduce the 
23
closed source, we cannot provide the source code to reproduce the 
            
24
analysis results. \r\n\r\n# Step 2: Experiment design\r\n\r\nWe 
24
analysis results. \r\n\r\n# Step 2: Experiment design\r\n\r\nWe 
            
25
provide scripts that: \r\n* check the output of Perf-Taint for 
25
provide scripts that: \r\n* check the output of Perf-Taint for 
            
26
parameters not interacting with each other,\r\n* detect iteration 
26
parameters not interacting with each other,\r\n* detect iteration 
            
27
parameters potentially linearly influencing the runtime of the 
27
parameters potentially linearly influencing the runtime of the 
            
28
calculation\r\n* check the coefficient of variation of single 
28
calculation\r\n* check the coefficient of variation of single 
            
29
iterations to confirm the linear influence\r\n\r\n# Step 3: 
29
iterations to confirm the linear influence\r\n\r\n# Step 3: 
            
30
Instrumented experiments\r\n\r\n\r\nWe provide the profiles of all 
30
Instrumented experiments\r\n\r\n\r\nWe provide the profiles of all 
            
31
measurements conducted for the training points. \r\n\r\nFor Pace3D, we 
31
measurements conducted for the training points. \r\n\r\nFor Pace3D, we 
            
32
had to add one function to the instrumentation filter manually because 
32
had to add one function to the instrumentation filter manually because 
            
33
of a bug in Score-P: Functions declared as static inline inside a 
33
of a bug in Score-P: Functions declared as static inline inside a 
            
34
header file which are then called from different translation units are 
34
header file which are then called from different translation units are 
            
35
not instrumented correctly by Score-P. Thus, the resulting profiles 
35
not instrumented correctly by Score-P. Thus, the resulting profiles 
            
36
are incorrect. However, we can work around this bug by including the 
36
are incorrect. However, we can work around this bug by including the 
            
37
function calling the static inline function. \r\n\r\n## Training Data 
37
function calling the static inline function. \r\n\r\n## Training Data 
            
38
Pace3D\r\n\r\n### Training Data 
38
Pace3D\r\n\r\n### Training Data 
            
39
Performance-Detective\r\n\r\nPerformance-Detective derived a minimal 
39
Performance-Detective\r\n\r\nPerformance-Detective derived a minimal 
            
40
experiment design with 25 configurations to be measured once, 
40
experiment design with 25 configurations to be measured once, 
            
41
resulting in 25 measurements. \r\n\r\nThe data for Extra-P is splitted 
41
resulting in 25 measurements. \r\n\r\nThe data for Extra-P is splitted 
            
42
into two folders that contain the same measurements that are labeled 
42
into two folders that contain the same measurements that are labeled 
            
43
differently. As we did not implement modeling for the optimized 
43
differently. As we did not implement modeling for the optimized 
            
44
subset, we later create two models (one using procs and vol, one using 
44
subset, we later create two models (one using procs and vol, one using 
            
45
procs and cubes) and extract the model of each function from the 
45
procs and cubes) and extract the model of each function from the 
            
46
respective model (depending on whether the functions relies on vol OR 
46
respective model (depending on whether the functions relies on vol OR 
            
47
on cubes). \r\n\r\nThe data for PIM is the same as in the Extra-P 
47
on cubes). \r\n\r\nThe data for PIM is the same as in the Extra-P 
            
48
folder, just labeled with all the values measured.\r\n\r\n### Training 
48
folder, just labeled with all the values measured.\r\n\r\n### Training 
            
49
Data Full-Factorial\r\n\r\n625 measurements for all possible 
49
Data Full-Factorial\r\n\r\n625 measurements for all possible 
            
50
combinations of the five values of procs, vol, and cubes. Each 
50
combinations of the five values of procs, vol, and cubes. Each 
            
51
measurement was repeated 5 times. \r\n\r\n### Training Data 
51
measurement was repeated 5 times. \r\n\r\n### Training Data 
            
52
Plackett-Burman\r\n\r\n49 samples selected using a random seed and 5 
52
Plackett-Burman\r\n\r\n49 samples selected using a random seed and 5 
            
53
levels -- effectively a subset of the full-factorial measurements. 
53
levels -- effectively a subset of the full-factorial measurements. 
            
54
Each measurement was repeated 5 times.\r\n\r\n\r\n\r\n## Training Data 
54
Each measurement was repeated 5 times.\r\n\r\n\r\n\r\n## Training Data 
            
55
Kripke\r\n\r\n### Training Data 
55
Kripke\r\n\r\n### Training Data 
            
56
Performance-Detective\r\n\r\nPerformance-Detective derived a minimal 
56
Performance-Detective\r\n\r\nPerformance-Detective derived a minimal 
            
57
experiment design with 5 configurations to be measured once, resulting 
57
experiment design with 5 configurations to be measured once, resulting 
            
58
in 5 measurements. \r\n\r\nThe data for Extra-P is splitted into two 
58
in 5 measurements. \r\n\r\nThe data for Extra-P is splitted into two 
            
59
folders that contain the same measurements that are labeled 
59
folders that contain the same measurements that are labeled 
            
60
differently. As we did not implement modeling for the optimized 
60
differently. As we did not implement modeling for the optimized 
            
61
subset, we later create two models (one for procs, one for dirsets) 
61
subset, we later create two models (one for procs, one for dirsets) 
            
62
and extract the model of each function from the respective model 
62
and extract the model of each function from the respective model 
            
63
(depending on whether the functions relies on procs OR on dirsets). 
63
(depending on whether the functions relies on procs OR on dirsets). 
            
64
However, for the single-parameter modeler, modeling based on 
64
However, for the single-parameter modeler, modeling based on 
            
65
dependencies from Perf-Taint is not yet implemented. Therefore, the 
65
dependencies from Perf-Taint is not yet implemented. Therefore, the 
            
66
measurements are labeled as two parameter-experiments following the 
66
measurements are labeled as two parameter-experiments following the 
            
67
policy detailed in the respective folder. \r\n\r\nThe data for PIM is 
67
policy detailed in the respective folder. \r\n\r\nThe data for PIM is 
            
68
the same as in the Extra-P folder, just labeled with all the values 
68
the same as in the Extra-P folder, just labeled with all the values 
            
69
measured.\r\n\r\n### Training Data Full-Factorial\r\n\r\n125 
69
measured.\r\n\r\n### Training Data Full-Factorial\r\n\r\n125 
            
70
measurements for all possible combinations of the five values of procs 
70
measurements for all possible combinations of the five values of procs 
            
71
and dirsets. Each measurements was repeated 5 times. \r\n\r\n### 
71
and dirsets. Each measurements was repeated 5 times. \r\n\r\n### 
            
72
Training Data Plackett-Burman\r\n\r\n10 samples selected using a 
72
Training Data Plackett-Burman\r\n\r\n10 samples selected using a 
            
73
random seed and 5 levels -- effectively a subset of the full-factorial 
73
random seed and 5 levels -- effectively a subset of the full-factorial 
            
74
measurements. Each measurement was repeated 5 times. \r\n\r\n\r\n\r\n# 
74
measurements. Each measurement was repeated 5 times. \r\n\r\n\r\n\r\n# 
            
75
Step 4: Modeling and Evaluation\r\n\r\nData of each case study is in 
75
Step 4: Modeling and Evaluation\r\n\r\nData of each case study is in 
            
76
the respective folder. \r\n\r\n## Evaluation 
76
the respective folder. \r\n\r\n## Evaluation 
            
77
Measurements\r\n\r\nExtra- and interpolated measurement data in the 
77
Measurements\r\n\r\nExtra- and interpolated measurement data in the 
            
78
respective folder. \r\n\r\n## Extra-P\r\n\r\nContains script for 
78
respective folder. \r\n\r\n## Extra-P\r\n\r\nContains script for 
            
79
calculating the model errors regarding extra- and interpolated 
79
calculating the model errors regarding extra- and interpolated 
            
80
evaluation measurements. \r\n\r\n### Models\r\n\r\nContains Extra-P 
80
evaluation measurements. \r\n\r\n### Models\r\n\r\nContains Extra-P 
            
81
models as well as a converter from Extra-P format to text (creates 
81
models as well as a converter from Extra-P format to text (creates 
            
82
PerformanceModel.py), that is used in `calculate_model_errors.py`. It 
82
PerformanceModel.py), that is used in `calculate_model_errors.py`. It 
            
83
requires an installation of Extra-P to run. \r\n\r\n\r\n## 
83
requires an installation of Extra-P to run. \r\n\r\n\r\n## 
            
84
Performance-Influence Models\r\n\r\nWe use the scripts by [Weber et 
84
Performance-Influence Models\r\n\r\nWe use the scripts by [Weber et 
            
85
mance-Influence-Models/tree/main/supplementary-website/code/modeling), 
85
mance-Influence-Models/tree/main/supplementary-website/code/modeling), 
            
86
partly modified to account for the configurations of the case studies 
86
partly modified to account for the configurations of the case studies 
            
87
and modeling based on known dependencies to functions.\r\n\r\n### 
87
and modeling based on known dependencies to functions.\r\n\r\n### 
            
88
Data\r\n\r\nContains the data of the cubex files in csv format. Data 
88
Data\r\n\r\nContains the data of the cubex files in csv format. Data 
            
89
is parsed with `create_csv_from_cubex.py`. \r\n\r\n### Model 
89
is parsed with `create_csv_from_cubex.py`. \r\n\r\n### Model 
            
90
errors\r\n\r\nContains the csv files with the model errors of the 
90
errors\r\n\r\nContains the csv files with the model errors of the 
            
91
respective models. Files are generated by 
91
respective models. Files are generated by 
            
92
`learn_method_level_model_with_deps.py` and 
92
`learn_method_level_model_with_deps.py` and 
            
93
`learn_method_level_without_deps.py`, respectively.\r\n\r\n# 
93
`learn_method_level_without_deps.py`, respectively.\r\n\r\n# 
            
94
License\r\n \r\nThe files `calculate_model_errors.py`, 
94
License\r\n \r\nThe files `calculate_model_errors.py`, 
            
95
`extrap_to_text.py`, and `create_csv_from_cubex.py` are modified parts 
95
`extrap_to_text.py`, and `create_csv_from_cubex.py` are modified parts 
            
96
of the Extra-P Software (cf. 
96
of the Extra-P Software (cf. 
            
97
hub.com/extra-p/extrap/blob/master/extrap/fileio/cube_file_reader2.py) 
97
hub.com/extra-p/extrap/blob/master/extrap/fileio/cube_file_reader2.py) 
            
98
and the license file `LICENSE-BSD3-EXTRAP`). \r\n\r\nThe files 
98
and the license file `LICENSE-BSD3-EXTRAP`). \r\n\r\nThe files 
            
99
`learn_method_level_model_with_deps.py` and 
99
`learn_method_level_model_with_deps.py` and 
            
100
`learn_method_level_model_without_deps.py` are modified parts of the 
100
`learn_method_level_model_without_deps.py` are modified parts of the 
            
101
supplementary material of [Weber et 
101
supplementary material of [Weber et 
            
102
mance-Influence-Models/tree/main/supplementary-website/code/modeling). 
102
mance-Influence-Models/tree/main/supplementary-website/code/modeling). 
            
103
The license file `LICENSE-GPL-PIM` applies to these files.",
103
The license file `LICENSE-GPL-PIM` applies to these files.",
            
104
  "num_resources": 0,
104
  "num_resources": 0,
            
105
  "num_tags": 0,
105
  "num_tags": 0,
            
106
  "orcid": "",
106
  "orcid": "",
            
107
  "organization": {
107
  "organization": {
            
108
    "approval_status": "approved",
108
    "approval_status": "approved",
            
109
    "created": "2023-01-12T13:30:23.238233",
109
    "created": "2023-01-12T13:30:23.238233",
            
110
    "description": "RADAR (Research Data Repository) is a 
110
    "description": "RADAR (Research Data Repository) is a 
            
111
cross-disciplinary repository for archiving and publishing research 
111
cross-disciplinary repository for archiving and publishing research 
            
112
data from completed scientific studies and projects. The focus is on 
112
data from completed scientific studies and projects. The focus is on 
            
113
research data from subjects that do not yet have their own 
113
research data from subjects that do not yet have their own 
            
114
discipline-specific infrastructures for research data management. ",
114
discipline-specific infrastructures for research data management. ",
            
115
    "id": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
115
    "id": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
            
116
    "image_url": "radar-logo.svg",
116
    "image_url": "radar-logo.svg",
            
117
    "is_organization": true,
117
    "is_organization": true,
            
118
    "name": "radar",
118
    "name": "radar",
            
119
    "state": "active",
119
    "state": "active",
            
120
    "title": "RADAR",
120
    "title": "RADAR",
            
121
    "type": "organization"
121
    "type": "organization"
            
122
  },
122
  },
            
123
  "owner_org": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
123
  "owner_org": "013c89a9-383c-4200-8baa-0f78bf1d91f9",
            
124
  "private": false,
124
  "private": false,
            
125
  "production_year": "2022",
125
  "production_year": "2022",
            
126
  "publication_year": "2023",
126
  "publication_year": "2023",
            
127
  "publishers": [
127
  "publishers": [
            
128
    {
128
    {
            
129
      "publisher": "Karlsruhe Institute of Technology"
129
      "publisher": "Karlsruhe Institute of Technology"
            
130
    }
130
    }
            
131
  ],
131
  ],
            
132
  "relationships_as_object": [],
132
  "relationships_as_object": [],
            
133
  "relationships_as_subject": [],
133
  "relationships_as_subject": [],
            
134
  "repository_name": "RADAR (Research Data Repository)",
134
  "repository_name": "RADAR (Research Data Repository)",
            
135
  "resources": [],
135
  "resources": [],
            
136
  "services_used_list": "",
136
  "services_used_list": "",
            
137
  "source_metadata_created": "2023",
137
  "source_metadata_created": "2023",
            
138
  "source_metadata_modified": "",
138
  "source_metadata_modified": "",
            
139
  "state": "active",
139
  "state": "active",
            
140
  "subject_areas": [
140
  "subject_areas": [
            
141
    {
141
    {
            
142
      "subject_area_additional": "",
142
      "subject_area_additional": "",
            
143
      "subject_area_name": "Computer Science"
143
      "subject_area_name": "Computer Science"
            
144
    }
144
    }
            
145
  ],
145
  ],
            
146
  "tags": [],
146
  "tags": [],
            
147
  "title": "Performance-detective: automatic deduction of cheap and 
147
  "title": "Performance-detective: automatic deduction of cheap and 
            
148
accurate performance models - supplementary material",
148
accurate performance models - supplementary material",
            
149
  "type": "vdataset",
149
  "type": "vdataset",
            
150
  "url": "https://doi.org/10.35097/1330"
150
  "url": "https://doi.org/10.35097/1330"
            
151
}
151
}