Changes

              
    

          
          
        
        

            
f
1
{
f
1
{
            
n
2
  "author": "Jennifer D\u2019Souza, Soeren Auer",
n
2
  "author": "Jennifer D\u2019Souza",
            
3
  "author_email": "jennifer.dsouza@tib.eu",
3
  "author_email": "jennifer.dsouza@tib.eu",
            
4
  "creator_user_id": "17755db4-395a-4b3b-ac09-e8e3484ca700",
4
  "creator_user_id": "17755db4-395a-4b3b-ac09-e8e3484ca700",
            
5
  "doi": "10.25835/0019761",
5
  "doi": "10.25835/0019761",
            
6
  "doi_date_published": "2020-07-03",
6
  "doi_date_published": "2020-07-03",
            
7
  "doi_publisher": "LUIS",
7
  "doi_publisher": "LUIS",
            
8
  "doi_status": "true",
8
  "doi_status": "true",
            
9
  "domain": "https://data.uni-hannover.de",
9
  "domain": "https://data.uni-hannover.de",
            
n
n
10
  "extra_authors": [
            
11
    {
            
12
      "extra_author": " Soeren Auer"
            
13
    }
            
14
  ],
            
10
  "groups": [],
15
  "groups": [],
            
11
  "have_copyright": "Yes",
16
  "have_copyright": "Yes",
            
12
  "id": "3c23ef7a-45e8-47a0-b635-ce39006d2ba7",
17
  "id": "3c23ef7a-45e8-47a0-b635-ce39006d2ba7",
            
13
  "isopen": false,
18
  "isopen": false,
            
14
  "license_id": "CC-BY-SA-3.0",
19
  "license_id": "CC-BY-SA-3.0",
            
15
  "license_title": "CC-BY-SA-3.0",
20
  "license_title": "CC-BY-SA-3.0",
            
16
  "maintainer": "Jennifer D'Souza",
21
  "maintainer": "Jennifer D'Souza",
            
17
  "maintainer_email": "jennifer.dsouza@tib.eu",
22
  "maintainer_email": "jennifer.dsouza@tib.eu",
            
18
  "metadata_created": "2021-10-14T10:16:03.354056",
23
  "metadata_created": "2021-10-14T10:16:03.354056",
            
n
19
  "metadata_modified": "2023-01-12T13:14:21.766915",
n
24
  "metadata_modified": "2023-08-04T08:46:41.227172",
            
20
  "name": "luh-nlpcontributions-pilot-dataset",
25
  "name": "luh-nlpcontributions-pilot-dataset",
            
21
  "notes": "##An Annotation Scheme for Machine Reading of Scholarly 
26
  "notes": "##An Annotation Scheme for Machine Reading of Scholarly 
            
22
Contributions in Natural Language Processing Literature\r\n\r\nThis 
27
Contributions in Natural Language Processing Literature\r\n\r\nThis 
            
23
dataset is the result of a pilot annotation exercise to capture the 
28
dataset is the result of a pilot annotation exercise to capture the 
            
24
scholarly contributions in natural language processing (NLP) articles, 
29
scholarly contributions in natural language processing (NLP) articles, 
            
25
particularly, for the articles that discuss machine learning (ML) 
30
particularly, for the articles that discuss machine learning (ML) 
            
26
approaches for various information extraction tasks. The pilot 
31
approaches for various information extraction tasks. The pilot 
            
27
annotation exercise was performed on 50 NLP-ML scholarly articles 
32
annotation exercise was performed on 50 NLP-ML scholarly articles 
            
28
presenting contributions to the five information extraction tasks 1. 
33
presenting contributions to the five information extraction tasks 1. 
            
29
machine translation, 2. named entity recognition, 3. question 
34
machine translation, 2. named entity recognition, 3. question 
            
30
answering, 4. relation classification, and 5. text classification. 
35
answering, 4. relation classification, and 5. text classification. 
            
31
\r\n\r\nThe outcome of this pilot annotation exercise was two-fold: 1) 
36
\r\n\r\nThe outcome of this pilot annotation exercise was two-fold: 1) 
            
32
a preliminary annotation methodology, and 2) the dataset released in 
37
a preliminary annotation methodology, and 2) the dataset released in 
            
33
this repository.\r\n\r\nThe resulting annotation scheme is called 
38
this repository.\r\n\r\nThe resulting annotation scheme is called 
            
34
<b><i>NLPContributions</i></b>.\r\n\r\n###Supporting 
39
<b><i>NLPContributions</i></b>.\r\n\r\n###Supporting 
            
35
Publications\r\nD\u2019Souza, J., & Auer, S. (2020). NLPContributions: 
40
Publications\r\nD\u2019Souza, J., & Auer, S. (2020). NLPContributions: 
            
36
An Annotation Scheme for Machine Reading of Scholarly Contributions in 
41
An Annotation Scheme for Machine Reading of Scholarly Contributions in 
            
37
Natural Language Processing Literature. In C. Zhang, P. Mayr, W. Lu, & 
42
Natural Language Processing Literature. In C. Zhang, P. Mayr, W. Lu, & 
            
38
Y. Zhang (Eds.), Proceedings of the 1st Workshop on Extraction and 
43
Y. Zhang (Eds.), Proceedings of the 1st Workshop on Extraction and 
            
39
Evaluation of Knowledge Entities from Scientific Documents co-located 
44
Evaluation of Knowledge Entities from Scientific Documents co-located 
            
40
with the ACM/IEEE Joint Conference on Digital Libraries in 2020, 
45
with the ACM/IEEE Joint Conference on Digital Libraries in 2020, 
            
41
EEKE@JCDL 2020, Virtual Event, China, August 1st, 2020 (Vol. 2658, pp. 
46
EEKE@JCDL 2020, Virtual Event, China, August 1st, 2020 (Vol. 2658, pp. 
            
42
16\u201327). \r\n\r\nD'Souza, Jennifer, and S\u00f6ren Auer. 
47
16\u201327). \r\n\r\nD'Souza, Jennifer, and S\u00f6ren Auer. 
            
43
\"Sentence, Phrase, and Triple Annotations to Build a Knowledge Graph 
48
\"Sentence, Phrase, and Triple Annotations to Build a Knowledge Graph 
            
44
of Natural Language Processing Contributions\u2014A Trial Dataset.\" 
49
of Natural Language Processing Contributions\u2014A Trial Dataset.\" 
            
45
Journal of Data and Information Science, vol.6, no.3, 2021, pp.6-34. 
50
Journal of Data and Information Science, vol.6, no.3, 2021, pp.6-34. 
            
46
DOI: 10.2478/jdis-2021-0023 ",
51
DOI: 10.2478/jdis-2021-0023 ",
            
47
  "num_resources": 1,
52
  "num_resources": 1,
            
48
  "num_tags": 8,
53
  "num_tags": 8,
            
49
  "organization": {
54
  "organization": {
            
50
    "approval_status": "approved",
55
    "approval_status": "approved",
            
51
    "created": "2017-11-23T17:30:37.757128",
56
    "created": "2017-11-23T17:30:37.757128",
            
52
    "description": "The German National Library of Science and 
57
    "description": "The German National Library of Science and 
            
53
Technology, abbreviated TIB, is the national library of the Federal 
58
Technology, abbreviated TIB, is the national library of the Federal 
            
54
Republic of Germany for all fields of engineering, technology, and the 
59
Republic of Germany for all fields of engineering, technology, and the 
            
55
natural sciences.",
60
natural sciences.",
            
56
    "id": "0c5362f5-b99e-41db-8256-3d0d7549bf4d",
61
    "id": "0c5362f5-b99e-41db-8256-3d0d7549bf4d",
            
57
    "image_url": 
62
    "image_url": 
            
58
3conf/ext/tib_tmpl_bootstrap/Resources/Public/images/TIB_Logo_en.png",
63
3conf/ext/tib_tmpl_bootstrap/Resources/Public/images/TIB_Logo_en.png",
            
59
    "is_organization": true,
64
    "is_organization": true,
            
60
    "name": "tib",
65
    "name": "tib",
            
61
    "state": "active",
66
    "state": "active",
            
62
    "title": "TIB",
67
    "title": "TIB",
            
63
    "type": "organization"
68
    "type": "organization"
            
64
  },
69
  },
            
65
  "owner_org": "0c5362f5-b99e-41db-8256-3d0d7549bf4d",
70
  "owner_org": "0c5362f5-b99e-41db-8256-3d0d7549bf4d",
            
66
  "private": false,
71
  "private": false,
            
67
  "relationships_as_object": [],
72
  "relationships_as_object": [],
            
68
  "relationships_as_subject": [],
73
  "relationships_as_subject": [],
            
69
  "repository_name": "Leibniz University Hannover",
74
  "repository_name": "Leibniz University Hannover",
            
70
  "resources": [
75
  "resources": [
            
71
    {
76
    {
            
72
      "cache_last_updated": null,
77
      "cache_last_updated": null,
            
73
      "cache_url": null,
78
      "cache_url": null,
            
74
      "created": "2020-07-03T12:32:07.815445",
79
      "created": "2020-07-03T12:32:07.815445",
            
75
      "description": "Research contributions in NLP annotated as 
80
      "description": "Research contributions in NLP annotated as 
            
76
structured data using the NLPContributionGraph scheme for structuring 
81
structured data using the NLPContributionGraph scheme for structuring 
            
77
scholarly contributions in the 
82
scholarly contributions in the 
            
78
[ORKG](https://www.orkg.org/orkg/).\r\n\r\nThe repository is organized 
83
[ORKG](https://www.orkg.org/orkg/).\r\n\r\nThe repository is organized 
            
79
as follows:\r\n\r\n    [task-name-folder]/                                
84
as follows:\r\n\r\n    [task-name-folder]/                                
            
80
# machine-translation, named-entity-recognition, question-answering, 
85
# machine-translation, named-entity-recognition, question-answering, 
            
81
relation-classification, text-classification\r\n        
86
relation-classification, text-classification\r\n        
            
82
\u251c\u2500\u2500 [article-counter-folder]/                  # ranges 
87
\u251c\u2500\u2500 [article-counter-folder]/                  # ranges 
            
83
from 0 to 9 since we annotated 10 articles per task\r\n        \u2502   
88
from 0 to 9 since we annotated 10 articles per task\r\n        \u2502   
            
84
\u2514\u2500\u2500 research-problem.json              # `research 
89
\u2514\u2500\u2500 research-problem.json              # `research 
            
85
problem` mandatory information unit in json format\r\n        \u2502   
90
problem` mandatory information unit in json format\r\n        \u2502   
            
86
\u2514\u2500\u2500 model.json                         # `model` 
91
\u2514\u2500\u2500 model.json                         # `model` 
            
87
information unit in json format; in some articles it is called 
92
information unit in json format; in some articles it is called 
            
88
`approach`\r\n        \u2502   \u2514\u2500\u2500 ...                                
93
`approach`\r\n        \u2502   \u2514\u2500\u2500 ...                                
            
89
# there are 8 main information units in all and each article may be 
94
# there are 8 main information units in all and each article may be 
            
90
annotated by 3 or 6\r\n        \u2502   \u2514\u2500\u2500 triples/                               
95
annotated by 3 or 6\r\n        \u2502   \u2514\u2500\u2500 triples/                               
            
91
# the folder containing information unit triples one per line\r\n        
96
# the folder containing information unit triples one per line\r\n        
            
92
\u2502   \u2502   \u2514\u2500\u2500 research-problem.txt               
97
\u2502   \u2502   \u2514\u2500\u2500 research-problem.txt               
            
93
# `research problem` triples (one research problem statement per 
98
# `research problem` triples (one research problem statement per 
            
94
line)\r\n        \u2502   \u2502   \u2514\u2500\u2500 model.txt                          
99
line)\r\n        \u2502   \u2502   \u2514\u2500\u2500 model.txt                          
            
95
# `model` triples (one statement per line)\r\n        \u2502   \u2502   
100
# `model` triples (one statement per line)\r\n        \u2502   \u2502   
            
96
\u2514\u2500\u2500 ...                                # there are 8 
101
\u2514\u2500\u2500 ...                                # there are 8 
            
97
main information units in all and each article may be annotated by 3 
102
main information units in all and each article may be annotated by 3 
            
98
or 6\r\n        \u2502   \u2514\u2500\u2500 ...                                    
103
or 6\r\n        \u2502   \u2514\u2500\u2500 ...                                    
            
99
# there are ten articles annotated for each task, so this repeats nine 
104
# there are ten articles annotated for each task, so this repeats nine 
            
100
more times\r\n        \u2514\u2500\u2500 ...                                        
105
more times\r\n        \u2514\u2500\u2500 ...                                        
            
101
# there are five tasks selected overall, so this repeats four more 
106
# there are five tasks selected overall, so this repeats four more 
            
102
times",
107
times",
            
103
      "format": "JSON",
108
      "format": "JSON",
            
104
      "hash": "",
109
      "hash": "",
            
105
      "id": "29c065cf-7087-49e0-89aa-4901f90a528c",
110
      "id": "29c065cf-7087-49e0-89aa-4901f90a528c",
            
106
      "last_modified": "2020-07-24T12:03:36.054419",
111
      "last_modified": "2020-07-24T12:03:36.054419",
            
n
107
      "metadata_modified": "2023-01-12T13:14:21.770546",
n
112
      "metadata_modified": "2023-08-04T08:46:41.230513",
            
108
      "mimetype": "application/zip",
113
      "mimetype": "application/zip",
            
109
      "mimetype_inner": null,
114
      "mimetype_inner": null,
            
110
      "name": "Trial data from the NLPContributionGraph scheme",
115
      "name": "Trial data from the NLPContributionGraph scheme",
            
111
      "package_id": "3c23ef7a-45e8-47a0-b635-ce39006d2ba7",
116
      "package_id": "3c23ef7a-45e8-47a0-b635-ce39006d2ba7",
            
112
      "position": 0,
117
      "position": 0,
            
113
      "resource_type": null,
118
      "resource_type": null,
            
114
      "size": 29426833,
119
      "size": 29426833,
            
115
      "state": "active",
120
      "state": "active",
            
116
      "url": "https://github.com/ncg-task/trial-data",
121
      "url": "https://github.com/ncg-task/trial-data",
            
117
      "url_type": ""
122
      "url_type": ""
            
118
    }
123
    }
            
119
  ],
124
  ],
            
t
t
125
  "services_used_list": "",
            
120
  "source_metadata_created": "2020-07-03T12:08:02.648914",
126
  "source_metadata_created": "2020-07-03T12:08:02.648914",
            
121
  "source_metadata_modified": "2022-02-21T13:09:17.617156",
127
  "source_metadata_modified": "2022-02-21T13:09:17.617156",
            
122
  "state": "active",
128
  "state": "active",
            
123
  "tags": [
129
  "tags": [
            
124
    {
130
    {
            
125
      "display_name": "corpus",
131
      "display_name": "corpus",
            
126
      "id": "95b6b4a3-2816-47b4-a9da-50ab21116c20",
132
      "id": "95b6b4a3-2816-47b4-a9da-50ab21116c20",
            
127
      "name": "corpus",
133
      "name": "corpus",
            
128
      "state": "active",
134
      "state": "active",
            
129
      "vocabulary_id": null
135
      "vocabulary_id": null
            
130
    },
136
    },
            
131
    {
137
    {
            
132
      "display_name": "machine reading",
138
      "display_name": "machine reading",
            
133
      "id": "d34df1b1-5ebe-415e-8b43-80a15ef1e215",
139
      "id": "d34df1b1-5ebe-415e-8b43-80a15ef1e215",
            
134
      "name": "machine reading",
140
      "name": "machine reading",
            
135
      "state": "active",
141
      "state": "active",
            
136
      "vocabulary_id": null
142
      "vocabulary_id": null
            
137
    },
143
    },
            
138
    {
144
    {
            
139
      "display_name": "natural language processing",
145
      "display_name": "natural language processing",
            
140
      "id": "8af9c93a-1d87-41e0-83d9-f5d01a2bbd0c",
146
      "id": "8af9c93a-1d87-41e0-83d9-f5d01a2bbd0c",
            
141
      "name": "natural language processing",
147
      "name": "natural language processing",
            
142
      "state": "active",
148
      "state": "active",
            
143
      "vocabulary_id": null
149
      "vocabulary_id": null
            
144
    },
150
    },
            
145
    {
151
    {
            
146
      "display_name": "open research knowledge graph",
152
      "display_name": "open research knowledge graph",
            
147
      "id": "c9fb26fb-f92f-4740-899e-290c1a384971",
153
      "id": "c9fb26fb-f92f-4740-899e-290c1a384971",
            
148
      "name": "open research knowledge graph",
154
      "name": "open research knowledge graph",
            
149
      "state": "active",
155
      "state": "active",
            
150
      "vocabulary_id": null
156
      "vocabulary_id": null
            
151
    },
157
    },
            
152
    {
158
    {
            
153
      "display_name": "orkg",
159
      "display_name": "orkg",
            
154
      "id": "a029b5df-5c95-4e99-94f3-1d9e2fbf1fd0",
160
      "id": "a029b5df-5c95-4e99-94f3-1d9e2fbf1fd0",
            
155
      "name": "orkg",
161
      "name": "orkg",
            
156
      "state": "active",
162
      "state": "active",
            
157
      "vocabulary_id": null
163
      "vocabulary_id": null
            
158
    },
164
    },
            
159
    {
165
    {
            
160
      "display_name": "pilot annotation",
166
      "display_name": "pilot annotation",
            
161
      "id": "33d81870-19c7-4aea-9ba6-76c17255b905",
167
      "id": "33d81870-19c7-4aea-9ba6-76c17255b905",
            
162
      "name": "pilot annotation",
168
      "name": "pilot annotation",
            
163
      "state": "active",
169
      "state": "active",
            
164
      "vocabulary_id": null
170
      "vocabulary_id": null
            
165
    },
171
    },
            
166
    {
172
    {
            
167
      "display_name": "scholarly knowledge graph",
173
      "display_name": "scholarly knowledge graph",
            
168
      "id": "cad5b92d-5dd7-4e88-ab94-cf3dc6cb6594",
174
      "id": "cad5b92d-5dd7-4e88-ab94-cf3dc6cb6594",
            
169
      "name": "scholarly knowledge graph",
175
      "name": "scholarly knowledge graph",
            
170
      "state": "active",
176
      "state": "active",
            
171
      "vocabulary_id": null
177
      "vocabulary_id": null
            
172
    },
178
    },
            
173
    {
179
    {
            
174
      "display_name": "semantic web",
180
      "display_name": "semantic web",
            
175
      "id": "cc98f198-dc4f-47f2-87b4-9ee665b8dfd8",
181
      "id": "cc98f198-dc4f-47f2-87b4-9ee665b8dfd8",
            
176
      "name": "semantic web",
182
      "name": "semantic web",
            
177
      "state": "active",
183
      "state": "active",
            
178
      "vocabulary_id": null
184
      "vocabulary_id": null
            
179
    }
185
    }
            
180
  ],
186
  ],
            
181
  "terms_of_usage": "Yes",
187
  "terms_of_usage": "Yes",
            
182
  "title": "NLPContributionGraph Trial Dataset",
188
  "title": "NLPContributionGraph Trial Dataset",
            
183
  "type": "vdataset",
189
  "type": "vdataset",
            
184
  "url": 
190
  "url": 
            
185
"https://data.uni-hannover.de/dataset/nlpcontributions-pilot-dataset",
191
"https://data.uni-hannover.de/dataset/nlpcontributions-pilot-dataset",
            
186
  "version": "2.0"
192
  "version": "2.0"
            
187
}
193
}