Using Online Dictionaries 9783110341287, 9783110341164

Citation preview

Carolin Müller-Spitzer (Ed.) Using Online Dictionaries

LEXICOGRAPHICA

Series Maior

Supplementary Volumes to the International Annual for Lexicography Suppléments à la Revue Internationale de Lexicographie Supplementbände zum Internationalen Jahrbuch für Lexikographie

Edited by Rufus Hjalmar Gouws, Ulrich Heid, Thomas Herbst, Oskar Reichmann, Stefan Schierholz, Wolfgang Schweickard and Herbert Ernst Wiegand

Volume 145

Carolin Müller-Spitzer (Ed.)

Using Online Dictionaries

DE GRUYTER

ISBN 978-3-11-034116-4 e-ISBN 978-3-11-034128-7 ISSN 0175-9264 Library of Congress Cataloging-in-Publication Data A CIP catalog record for this book has been applied for at the Library of Congress. Bibliografische Information der Deutschen Nationalbibliothek Die Deutsche Nationalbibliothek verzeichnet diese Publikation in der Deutschen Nationalbibliografie; detaillierte bibliografische Daten sind im Internet über http://dnb.dnb.de abrufbar. © 2014 Walter de Gruyter GmbH, Berlin/Boston Druck: CPI buch bücher.de GmbH, Birkach ♾ Gedruckt auf säurefreiem Papier Printed in Germany www.degruyter.com

Contents Carolin Müller-Spitzer  Introduction | 1 Part I: Basics  Antje Töpel  Review of research into the use of electronic dictionaries | 13 Alexander Koplenig  Empirical research into dictionary use | 55 Part II: General studies on online dictionaries  Alexander Koplenig, Carolin Müller-Spitzer  The first two international studies on online dictionaries – background information | 79 Carolin Müller-Spitzer  Empirical data on contexts of dictionary use | 85 Alexander Koplenig, Carolin Müller-Spitzer  General issues of online dictionary use | 127 Carolin Müller-Spitzer, Alexander Koplenig  Online dictionaries: expectations and demands | 143 Alexander Koplenig, Carolin Müller-Spitzer  Questions of design | 189 Part III: Specialized studies on online dictionaries  Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig  Evaluation of a new web design for the dictionary portal OWID | 207 Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer  Dictionary users do look up frequent words. A log file analysis | 229



VI | Contents Katharina Kemmer  Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 251 Part IV: Studies on monolingual (German) online dictionaries, esp. elexiko  Annette Klosa, Alexander Koplenig, Antje Töpel  Benutzerwünsche und -meinungen zu dem monolingualen deutschen Onlinewörterbuch elexiko | 281 Index (English chapters) | 385 Index (German chapters) | 387

Carolin Müller-Spitzer

Introduction | Carolin Müller-Spitzer: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)6211581-429, [email protected]

Research into dictionary use is the newest research area within the field of dictionary research (Wiegand, 1998, p. 259). It is to the credit of many lexicographers and researchers of recent years (cf. e.g. Rundell, 2012a, p. 3) that this area of research has increased in importance in the last few years. In fact it has long been asserted in individual publications that users should be of central importance in the conception of lexicographical processes (cf. e.g. Householder, 1962; Wiegand, 1977); now, however, in contrast to 30 years ago, it can be seen as undisputed in lexicography and dictionary research that dictionaries are utility tools, i.e. they are made to be used. And that therefore the “user presupposition” (Wiegand et al. 2010: 680) should be the central point in every lexicographic process (Bogaards, 2003, p. 26,33; Sharifi, 2012, p. 626; Tarp, 2008, pp. 33–43; Wiegand, 1998, pp. 259–260). “Most experts now agree that dictionaries should be compiled with the users’ needs foremost in mind.” (Lew, 2011a, p. 1)

Bergenholtz and Tarp also state that one of the most important aims in the function theory established by them is to place users at the centre. “Consequently, all theoretical and practical considerations must be based upon a determination of these needs, i.e. what is needed to solve the set of specific problems that pop up for a specific group of users with specific characteristics in specific user situations.” (Bergenholtz & Tarp, 2003, p. 172)

It may still not be clear why so much emphasis is placed on this reference to users in lexicography, when really every text is directed towards a target group. What is special about lexicographical texts in contrast to other texts is that, for the most part, the genuine aim of dictionaries is to be used as a tool. As Wiegand argues in relation to language dictionaries: ‘Generally speaking, the existence of lexicographical reference works is based first of all, in the face of a multitude of languages and language varieties (and the parts of experience which are linguistically revealed in them), on there always having been a need to achieve linguistic communication in those areas of life which are considered to be significant. Dictionaries have accompanied all kinds of written cultures; in this, it is essentially the culture-bearing, socially influential groups along with the institutions created by them who have supported lexicography. […] Viewed in this context, dictionaries have been and will continue to be compiled with the aim of meeting individual and group-specific reference needs of the linguisitic and tech-

2 | Carolin Müller-Spitzer

nical kind. The aim of appropriate everyday lexicographical products has always been to promote communication between members of various language communities or groups of speakers within a language community, or to provide the necessary foundation for it in the first place […].’ (Wiegand et al., 2010, pp. 98–99)1

Therefore, usage research does not only serve to find out more about practical dictionary use, but to improve dictionaries on the basis of the knowledge gained from it, and to make them more user-friendly. ‘The purpose of usage research, its research logic and its legitimacy arise from the fact that dictionaries are compiled in order to make their practical use possible, and that therefore academic knowledge about this cultural practice is one of the prerequisites, among others, for new dictionaries [...] being more suitable for users, in the sense that they have a higher usage value, whereby the conditions for greater usage efficiency are created, as well as enabling the proportion of successful usage actions to increase.’ (Wiegand, 1998, p. 259)2

As well as dictionaries whose main purpose is to be a suitable tool in situations in which communicatively or cognitively orientated linguistic questions or difficulties arise, and for which is it now undisputed that the user is at the centre of all concepttional considerations, there has always been documentary-orientated lexicography as well. For this documentary area of lexicography, the user presupposition does not have the same validity (Wiegand et al., 2010, p. 99). However, it is the case for the vast majority of dictionaries that they are considered to be good if they serve as an appropriate tool for specific users in specific usage situations. In order to find out how this can best be achieved, it is necessary to

|| 1 „Die Existenz lexikographischer Nachschlagewerke gründet allgemein gesagt zunächst darin, dass angesichts einer Vielzahl von Sprachen und Sprachvarietäten (und der in ihnen sprachlich ausgewiesenen Erfahrungsausschnitte) die Notwendigkeit immer gegeben war, in den für bedeutsam gehaltenen Lebensbereichen sprachliche Verständigung zu erreichen. Wörterbücher haben alle Arten von Schriftkulturen begleitet; dabei sind es im wesentlichen die kulturtragenden, gesellschaftlich bestimmenden Gruppen mit den von ihnen geschaffenen Institutionen gewesen, die die Lexikographie befördert haben. […] In diesem Kontext betrachtet, wurden und werden Wörterbücher mit dem Ziel ausgearbeitet, individuelle und gruppenspezifische Nachschlagebedürfnisse sprach- und sachbezogener Art zu befriedigen. Entsprechende gebrauchslexikographische Produkte haben immer darauf gezielt, die Kommunikation zwischen Angehörigen unterschiedlicher Sprachgemeinschaften oder Sprechergruppen innerhalb einer Sprachgemeinschaft zu befördern bzw. dafür überhaupt erst die nötige Basis zur Verfügung zu stellen […].“(Wiegand et al., 2010, pp. 98– 99). 2 „Der Sinn der Benutzungsforschung, ihr forschungslogischer Status und ihre Legitimation ergeben sich daraus, daß Wörterbücher erarbeitet werden, um die Praxis ihrer Benutzung zu ermöglichen, und daß daher wissenschaftliche Kenntnisse zu dieser kulturellen Praxis eine der Voraussetzungen u. a. dafür sind, daß neue Wörterbücher […] in dem Sinne benutzeradäquater sind, daß sie einen höheren Nutzungswert haben, wodurch sowohl die Voraussetzung für eine größere Benutzungseffizienz geschaffen wird als auch dafür, daß die Quote der erfolgreichen Benutzungshandlungen steigen kann.“ (Wiegand, 1998, p. 259).

Introduction | 3

investigate how dictionaries are used, what aspects of them users value or criticize, and what improvements are needed. On the other hand, one objection which is sometimes raised against using current dictionaries as the subjects of research into dictionary use is that research carried out in this way could impede innovation, since it is based on dictionaries which are already available, and therefore ideas for possible innovations cannot be developed. Since innovations – no matter how constructive and helpful they are in the long term – are initially unfamiliar and therefore also a hurdle. In this spirit, Johnson quotes Richard Hooker3 in his now famous “Preface to a dictionary of the English Language” as follows: “Change, says Hooker, is not made without inconvenience, even from worse to better” (Johnson, 1775, p. 5). However, this only applies to research into dictionary use in a limited way, because by usage research we do not always just mean that currently already available dictionaries are chosen as a starting point. For example, it is also possible to make an evaluation of innovative features the object of an investigation, as we have in our studies (see below for more details). As well as research into actual dictionary use, however, it is important to identify and examine linguistic tasks that need to be managed in everyday life, as stressed in the following quote: “[…] the present study leads me to believe that the starting point should be the language problem rather than the dictionary. If we want learners to use dictionaries well, it is important to begin by helping them become aware of language problems that they are not used to confronting.” (Frankenberg-Garcia, 2011, p. 121; Pearsall, 2013, p. 3)

It is therefore essential that from both sides, a contribution is made to a better knowledge of the use of dictionaries and possible improvements to this, through the observation of linguistic tasks in which lexicographical tools can be used (more on this at the end of this introduction), and also through better empirical research into the use of those dictionaries which are already available. On this topic, Bogaards states as recently as 2003 that “nevertheless, uses and users of dictionaries remain for the moment relatively unknown” (Bogaards, 2003, p. 33). In relation to this, nonnative speaker users of dictionaries are still the most researched area: “Most progress in meta-lexicography has been made in relationship with L2 learners. Next to nothing is known when it comes to the use that is made of dictionaries by L1 users, or by the general public outside L2 courses.” (Bogaards, 2003, p. 28). (For a similar statement, cf. also Welker and, on research needs for translators, Bowker (Bowker, 2012, p. 380; Welker, 2010, p. 10).)

On the one hand, experimental dictionaries are the objects of usage studies in which “metalexicographers are also part of the dictionary development team” as well as

|| 3 See http://en.wikipedia.org/wiki/Richard_Hooker (last accessed 13 July 2013).

4 | Carolin Müller-Spitzer

commercial dictionaries from large publishing houses (Nesi, 2012, p. 364). There are also some studies on the comparison of printed vs. electronic dictionaries (cf. Dziemanko, 2012). But even if, in the last ten years, some studies in the field of the use of dictionaries have been published, the need for research is still great. In particular, there are few comprehensive studies which deal with the use of online dictionaries. It is for this reason that the studies presented in this volume were specifically focussed on online dictionaries. Many experts are of the opinion that online dictionaries are the dictionaries of the future. For many publishing houses and academic dictionary projects, the internet is already the main platform: “Today lexicography is largely synonymous with electronic lexicography and many specialists predict the disappearance of paper dictionaries in the near future.” (Granger, 2012, p. 2; cf. also Rundell, 2012a, p. 201, 2013)

Because of this, it seems reasonable for research into dictionary use to concentrate on online dictionaries. On the other hand, this is risky, because the dictionary landscape in this field changes very quickly and empirical studies take a long time to analyze. This can cause problems, since in “a rapidly growing area such as edictionaries, user research may find itself overtaken by events” (Lew, 2012, p. 343). In this respect, the results presented here can also be interpreted as a sort of historical snapshot, at least in those areas where, since 2010, when the first of the studies presented here were carried out, fundamental things have changed, e.g. with respect to the use of devices such as smartphones and tablets. The studies in this volume, with the exception of a log file study (Koplenig et al., this volume), were carried out as part of the project “User-adaptive Access and Cross-references in elexiko”, an externally financed project which was carried out from 2009 to 2011 at the Institut für deutsche Sprache (Institute for German Language)4. This project had several research focuses, one of which was research into dictionary use. Usage research is time-consuming and labour-intensive, and therefore it mostly takes place either in an academic context, in which case it is concentrated on the needs of the users taught there (e.g. L2 users), or it is carried out by individual projects, in which case it is focused on improving the dictionary being examined. In contrast to this, there is no room for the collection of general data in most of the studies. However, we were able, independently of a dictionary project, to first of all settle such general questions as: What is it about online dictionaries that is particularly important to users? What forms of layout do they prefer and why? We placed fundamental questions such as these at the centre of the first two studies. It was only in the studies which follow these that monolingual dictionaries, in particular elexiko (Klosa et al., this volume), and with them L1 users, became the

|| 4 www.ids-mannheim.de.

Introduction | 5

focus, or particular design decisions for the relaunch of the dictionary portal OWID were examined in an eye-tracking study. In addition to this, our aim was to ‘try out’ the different data collection methods for research into dictionary use, and thereby also to make a contribution to the sometimes rather unobjective discussion of which methods are best for which questions in research into dictionary use. For example, Bergenholtz & Bergenholtz (2011, p. 190) make sweeping criticisms of the methodological quality of most usage studies. It is precisely this sweeping negative evaluation that Rundell rejects (cf. also Lew, 2011a, p. 1): “Among so much varied research activity, there is inevitably some unevenness in quality. But this hardly justifies the view of Bergenholtz and Bergenholtz (2011: 190) that ‘most of the studies of dictionary usage [have been] carried out in the most unscientific way imaginable, as they were conducted without any knowledge and without use of the methods of the social sciences’. This does not chime with my experience.” (Rundell, 2012b, p. 3)

For this reason, in all of the chapters in this volume, the methodology of the empirical investigation in question is presented as precisely as possible. Because we placed particular value on the reader being able to reproduce and criticize the reported findings, we also decided to present our findings according to the so-called IMRAD structure, which stands for introduction, method, results, and discussion (cf. Sollaci & Pereira, 2004), and which is the usual structure for a scientific paper in the empirical social sciences and the natural sciences. In addition to this, we have put the questionnaires and raw data (as far as copyright will allow) all together on the accompanying website (www.using-dictionaries.info), in order to make our results even easier to understand. This anthology is divided into four parts. The first part contains chapters on fundamental issues: a research review of the empirical studies on digital dictionaries which have already been carried out (chapter 2), and methodological guidelines for carrying out empirical studies from a social science point of view. This latter chapter does not claim to present anything new, but rather it is a summary aimed at researchers in the field of lexicography who want to carry out empirical research. This seemed to us to be particularly important in view of the discussion about methodological quality quoted above (chapter 3). The second part contains the results of our general studies of online dictionaries. The key data from the two studies, how the studies were set up, and information about the participants are put together in the chapter “The first two international studies on online dictionaries: background information” (chapter 4). “Empirical data on contexts of dictionary use” are the subject of the fifth chapter. Here, response data for a very general, open question about this topic is presented. As well as being of interest in terms of the content, this analysis is also methodologically interesting, since it uses a method of data analysis which has hardly ever been used before in dictionary usage research. Particularly in the case of online dictionaries,

6 | Carolin Müller-Spitzer

there is a danger that, “without proper guidance, users run the risk of getting lost in the riches” (Lew, 2011b, p. 248). For this reason, the focus of our first study was on finding out which criteria, according to our participants, make a good online dictionary. Equally, we wanted to know how users assess innovative features, such as the use of multimedia data or the option of user-adaptive adjustment to an online dictionary. As well as “general issues of online dictionary use”, chapters 6–8 contain the main results from the first two studies in respect of the “expectations and demands for online dictionaries and the evaluation of innovative features”, as well as “questions of design”. The third part of this volume brings together more specific studies of online dictionaries. As mentioned earlier, the use of different data collection methods was one of the aims of our research project. We therefore evaluated some decisions which had been taken in relation to the redesign of the dictionary portal OWID prior to the relaunch in an eye-tracking study. However, we can see some weaknesses in this study ourselves, which is why the subtitle is “an attempt at using eye tracking technology” (chapter 9). The second chapter attempts, with the help of the log files of two frequently used German dictionaries (Digital Dictionary of the German Language and the German version of Wiktionary), to get to the bottom of the question of whether users look up frequent words, i.e. whether there is a connection between how often a word is looked up and how often it appears in a corpus. This study is therefore a continuation of or an answer to the question asked by De Schryver and colleagues in 2006, “Do dictionary users really look-up frequent words?” (De Schryver et al. 2006). Up until now, there have been few publications on log file studies in which it is really possible to understand how the data has been collected, in what form it has been analyzed, etc., with the result that the studies can only be replicated and understood in a very limited way. In this chapter (chapter 10), we have tried to document the different steps of the study as precisely as possible. In the last chapter in this thematic group, the question of how users receive a combination of written definition and additional illustration in illustrated online dictionaries is addressed. To approach this question empirically, a questionnaire-based study and a small eye-tracking study were carried out in the context of a dissertation project, and these are reported in chapter 11. Another important topic for our research project was the use of monolingual dictionaries, in particular the German online dictionary elexiko, which is being developed at the IDS. For this topic area, two online questionnaire-based studies were carried out, the entire results of which are presented in chapter 12, which, due to its size, makes up the fourth part of the volume on its own. These latter two chapters are in German, since the studies on elexiko, for example, were only carried out in German. We hope that with this bilingual structure, we will reach a wide audience, and also be able to make a contribution to active multilingualism in Europe. From every activity, much can be learnt. We asked ourselves at the end of our research project what we had learnt from our studies, and whether, with the knowl-

Introduction | 7

edge we now had, we would do things differently in the future, so as not to make the same “mistakes” twice, as Gouws emphasizes with reference to lexicography in general: “What should be learned from the past, and this applies to both printed and electronic dictionaries, is to conscientiously avoid similar traps and mistakes, especially in cases where what are now seen as mistakes were then regarded as the proper way of doing things. […] In these new endeavours, we as lexicographers are still bound to make mistakes in the future, but we have to restrict ourselves to making only new mistakes.” (Gouws, 2011, p. 18)

We had good reasons for raising very general questions about online dictionaries. However, the group differences, e.g. between different user groups, that we assumed would arise and that were well supported throughout the literature often did not materialize in the data. This means that in the results, the data was more uniform in some places than expected, and because of that, it could also not be used, for example, as a basis for developing a possible user-adaptive representation of lexicographical data, as had originally been thought. Did we therefore use some of our resources examining things that were too general or “the all but obvious”? “In the real world, where time and resources are limited, we should think twice before using too many resources on expensive procedures only to confirm the all but obvious.” (Lew, 2011c, p. 8)

Even with the current state of knowledge, I would not view the survey with the general questions about online dictionaries as pointless. As Diekmann also asserts, an empirical investigation of assumed correlations also represents an advance in knowledge, if the assumptions are confirmed (which, however, was not always the case in our studies, by any means) (Diekmann, 2010, p. 30)5. What we underestimated, however, was the cost of such empirical studies. It is true that in the literature, this is often referred to in some detail, but just how much it costs to develop, evaluate and analyze a questionnaire-based study, for example, can only really be learnt through practical experience: the famous ‚learning by doing‘. In this respect, it was not possible in our research project to investigate both general questions and, to a || 5 ‘[…] even in the less impressive case of a confirmation of our previous knowledge, the test represents an advance in knowledge. It would be arrogant to judge an empirical study to be ‚trivial‘ for this reason alone, because it proves what we had already assumed. Because everyday knowledge is uncertain, systematic test processes are needed, in order to increase the level of trust in assumed correlations or possibly to prove their limited validity or lack of validity.’ [“[…] auch in dem weniger beeindruckenden Fall der Bestätigung unseres Vorwissens stellt die Prüfung einen Erkenntnisfortschritt dar. Es wäre hochmütig, eine empirische Studie einzig aus diesem Grund als ‚trivial‘ zu bewerten, weil sie nachweist, was wir schon immer vermutet haben. Weil das Alltagswissen unsicher ist, werden systematische Prüfverfahren benötigt, um den Grad des Vertrauens in vermutete Zusammenhänge zu erhöhen oder eventuell deren bedingte Gültigkeit oder Ungültigkeit nachzuweisen.“] (Diekmann, 2010, p. 30).

8 | Carolin Müller-Spitzer

greater extent, specific questions. So since we investigated questions surrounding the use of online dictionaries in a breadth which did not exist before now, we would in future first of all concentrate more on smaller comparative studies, as Dziemianko suggests (2012, pp. 336–337), as this increases the reliability of the empirically investigated correlations. It would also be interesting to observe potential users actually resolving the linguistic tasks in which lexicographical data could play a role, and in that way approach empirically the question of how particular groups use dictionaries or indeed whether they still use dictionaries at all, whether they consciously distinguish them from other language-related data on the internet, etc. For that, it would be necessary to create a test structure, which does not stipulate the use of particular reference works, but which tries to bring the test situation as close as possible to an everyday situation. An empirical investigation of this kind would be costly, but it could deliver very interesting data at a time when lexicography is “at a turning point in its history” (Granger, 2012, p. 10), which is where the journey could lead in the future. In this, I, like Lew, am convinced that such investigations cannot be managed just by using the method of ‘deduction’, i.e. by consulting experts. “The studies […] here show over and over again that expert opinion, intuition, or purely deductive reasoning cannot replace solid empirical evidence from user studies: dictionary use is just too complex an affair to be that predictable.” (Lew, 2011a, p. 3)

The results which are brought together in this volume should contribute a whole range of new “solid empirical evidence” to the field of online lexicography. On the basis of empirical studies such as these, we can gradually familiarize ourselves with the potential users, their preferences, their behaviour, and much more, and in this way make a contribution to how lexicographical tools can be developed more effectively.

Bibliography Bergenholtz, H., & Bergenholtz, I. (2011). A Dictionary Is a Tool, a Good Dictionary Is a Monofunctional Tool. In H. Bergenholtz & P. A. Fuertes-Olivera (Eds.), e-Lexicography. The Internet, Digital Initiatives and Lexicography (pp. 187–207). London/New York: Continuum. Bergenholtz, H., & Tarp, S. (2003). Two opposing theories: On H.E. Wiegand’s recent discovery of lexicographic functions, 31, 171–196. Bogaards, P. (2003). Uses and users of dictionaries. In P. van Sterkenburg (Ed.), A Practical Guide to Lexikography (pp. 26–33). Amsterdam/Philadelphia: John Benjamins Publishing Company. Bowker, L. (2012). Meeting the needs of translators in the age of e-lexicography: Exploring the possibilities. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 379–397). Oxford: Oxford University Press. De Schryver, G.-M., Joffe, D., Joffe, P., & Hillewaert, S. (2006). Do dictionary users really look up frequent words?—on the overestimation of the value of corpus-based lexicography. Lexikos, 16, 67–83.

Introduction | 9

Diekmann, A. (2010). Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen (4th ed.). Hamburg: Rowohlt. Dziemanko, A. (2012). On the use(fulness) of paper and electronic dictionaries. In Electronic lexicography (pp. 320–341). Oxford: Oxford University Press. Frankenberg-Garcia, A. (2011). Beyond L1-L2 Equivalents: Where do Users of English as a Foreign Language Turn for Help? International Journal of Lexicography, 24(1), 97. Gouws, R. H. (2011). Learning, Unlearning and Innovation in the Planning of Electronic Dictionaries. In P. A. Fuertes-Olivera & H. Bergenholtz (Eds.), e-Lexicography. The Internet, Digital Initiatives and Lexicography (pp. 17–29). London: Continuum. Granger, S. (2012). Introduction: Electronic lexicography – from challenge to opportunity. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 1–11). Oxford: Oxford University Press. Householder, F. W. (1962). Problems in Lexicography. Bloomigton: Indiana University Press. Johnson, S. (1775). Preface To A Dictionary Of The English Language. Kessinger Publishing. Lew, R. (2011a). Studies in Dictionary Use: Recent Developments. International Journal of Lexicography, 24(1), 1–4. Lew, R. (2011b). Online dictionaries of English. In P. A. Fuertes-Olivera & H. Bergenholtz (Eds.), eLexicography. The Internet, Digital Initiatives and Lexicography (pp. 230–250). London: Continuum. Lew, R. (2011c). User studies: Opportunities and limitations. In K. Akasu & U. Satoru (Eds.), ASIALEX2011 Proceedings Lexicography: Theoretical and practical perspectives (pp. 7–16). Kyoto: Asian Association for Lexicography. Lew, R. (2012). How can we make electronic dictionaries more effective? In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 343–361). Oxford: Oxford University Press. Nesi, H. (2012). Alternative e-dictionaries: Uncovering dark practices. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 363–378). Oxford: Oxford University Press. Pearsall, J. (2013). The future of dictionaries, Kernermann Dictionary News, 21, 2–4. Rundell, M. (2012a). The road to automated lexicography: An editor’s viewpoint. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 15–30). Oxford: Oxford University Press. Rundell, M. (2012b). It works in practice but will it work in theory?’ The uneasy relationship between lexicography and matters theoretical. In J. M. Torjusen & R. V. Fjeld (Eds.), Proceedings of the 15th EURALEX International Congress 2012, Oslo, Norway, 7 – 11 August 2012. Oslo. Retrieved 12, 2013, from http://www.euralex.org/elx_proceedings/Euralex2012/pp4792%20Rundell.pdf. Rundell, M. (2013). Redefining the dictionary: From print to digital, 21, 5–7. Sharifi, S. (2012). General Monolingual Persian Dictionaries and Their Users: A Case Study. In J. M. Torjusen & R. V. Fjeld (Eds.), Proceedings of the 15th EURALEX International Congress 2012, Oslo, Norway, 7 – 11 August 2012 (pp. 626–639). Oslo: Universitetet i Oslo, Institutt for lingvistiske og nordiske studier. Retrieved December 12, 2013, from http://www.euralex.org/elx_proceedings/Euralex2012/pp626-639%20Sharifi.pdf. Sollaci, L. B., & Pereira, M. G. (2004). The introduction, methods, results, and discussion (IMRAD) structure: a fifty-year survey. Journal of the Medical Library Association, 92(3), 364–371. Tarp, S. (2008). Lexicography in the borderland between knowledge and non-knowledge: general lexicographical theory with particular focus on learner’s lexicography. Tübingen: Max Niemeyer Verlag. Welker, H. A. (2010). Dictionary use : a general survey of empirical studies. Brasília: Eigenverlag. Wiegand, H. E. (1977). Nachdenken über Wörterbücher: Aktuelle Probleme. In H. Drosdowski, H. Henne, & H. Wiegand (Eds.), Nachdenken über Wörterbücher (pp. 51–102). Mannheim. Wiegand, H. E. (1998). Wörterbuchforschung. Untersuchungen zur Wörterbuchbenutzung, zur Theorie, Geschichte, Kritik und Automatisierung der Lexikographie. Berlin, New York: de Gruyter.

10 | Carolin Müller-Spitzer

Wiegand, H. E., Beißwenger, M., Gouws, R. H., Kammerer, M., Storrer, A., & Wolski, W. (2010). Wörterbuch zur Lexikographie und Wörterbuchforschung: mit englischen Übersetzungen der Umtexte und Definitionen sowie Äquivalenten in neuen Sprachen. de Gruyter. Retrieved December 12, 2013, from http://books.google.de/books?id=Bg9tcgAACAAJ.

| Part I: Basics

Antje Töpel

Review of research into the use of electronic dictionaries Abstract: The following chapter provides a review of research literature on the use of electronic dictionaries. Because the central terms electronic dictionary and research into dictionary use are sometimes used in different ways in the research, it is necessary first of all to examine these more closely, in order to clarify their use in this research review. The main chapter presents several individual studies in chronological order. The chapter is completed by a summary. Keywords: dictionary typology, user studies, questionnaire, experiment, test, usability study, eye-tracking, log file

| Antje Töpel: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)621-1581434, [email protected]

1 Clarification of terminology 1.1 Electronic dictionary The term electronic dictionary (ED) is defined by Nesi as follows: “The term electronic dictionary (or ED) can be used to refer to any reference material stored in electronic form that gives information about the spelling, meaning, or use of words. Thus a spell-checker in a word-processing program, a device that scans and translates printed words, a glossary for on-line teaching materials, or an electronic version of a respected hard-copy dictionary are all EDs of a sort, characterised by the same system of storage and retrieval.” (Nesi 2000 a: 839; her italics)

Electronic dictionaries are therefore distinguished from printed dictionaries firstly by the way in which the data are stored, and secondly by the way in which these data are accessed (cf. also Engelberg/Lemnitzer 2009: 271). In addition, MüllerSpitzer restricts the term electronic dictionary to human users, as this conveys the precondition for transferring in a meaningful way the basic properties of a printed dictionary to an electronic dictionary (cf. Müller-Spitzer 2007: 31). The term electronic dictionary is therefore, as Nesi has already argued, a generic term for different types of electronic dictionaries. For this reason, some academics have tried to develop typologies of electronic dictionaries. A very early attempt at

14 | Antje Töpel

typologization can be found in Storrer/Freese (cf. Storrer/Freese 1996: 107 ff.). In this, the authors base their work on the typology of printed dictionaries developed by Hausmann (cf. Hausmann 1989). From that, they use the medium-independent criteria of number of languages and degree of specialization, according to which they differentiate between monolingual, bilingual and multilingual dictionaries, as well as between general and specialist dictionaries (which are then further subdivided). In addition to this, they add some medium-specific typological features (publication form, discreteness, hypertextualization, multimediality and access modes) in order to do justice to the medial peculiarities of electronic dictionaries. Nesi distinguishes between four main categories of electronic dictionary – the internet dictionary, the glossary for on-line courseware, the learners’ dictionary on CD-ROM und the pocket electronic dictionary (PED) (cf. Nesi 2000 a: 842 f.). However, she herself acknowledges the blurred boundaries between the individual types. Further attempts from the 1990s to typologize electronic dictionaries are presented in De Schryver (2003: 147). Unhappy with existing attempts to typologize electronic dictionaries, De Schryver developed his own typology (cf. De Schryver 2003: 147 ff.). This is a three-tier typology, which above all places access to the dictionary at the centre (see Fig. 1). On the first level, the typology asks who accesses the dictionary – humans or machines. The second level addresses the question of what is being accessed, or the medium of the dictionary, i.e. a physical (non-electronic) object, or the electronic medium. Finally, the third level further differentiates electronic dictionaries according to place of access, i.e. storage. According to this categorization, internet dictionaries, for example, are electronic dictionaries which are networked, linked to a device, and oriented towards people. Tono also addresses the typologization of electronic dictionaries. He distinguishes the following main types (cf. Tono 2004: 16 ff.): regular format, hyperlink format, pop-up mode interface, parallel format und pocket e-dictionaries. One criticism of this typologization is that two different criteria, namely how the content is presented and the device on which the dictionary is accessed, are mixed up together: dictionaries of the regular format type present data as in a printed dictionary, dictionaries of the hyperlink format type use hyperlinks, dictionaries of the popup mode interface type rely on pop-up menus, while dictionaries of the parallel format type display translation equivalents in parallel. In contrast, the pocket edictionary type is defined by the device on which the dictionary is accessed. Another criticism is that the typology is too strongly linked to current technologies (such as pop-ups).

Review of research into the use of electronic dictionaries | 15

Fig. 1: Typology of dictionaries according to De Schryver (2003: 150) (D = dictionary, ED = electronic dictionary, LAN = local area network, NLP = natural language processing, PED = pocket electronic dictionary)

Instead of the term electronic dictionary, the expression digital dictionary is often chosen, for example by Wiegand (2010: 88). Here as well, the two terms are used synonymously. Wiegand further differentiates between digital dictionaries: 1. he makes a distinction according to the availability of the lexicographical database (cf. Wiegand 2010: 89) between offline and online dictionaries, which are further subdivided according to type of storage medium or network service; 2. he distinguishes between Abschlusswörterbücher (‘closed’ dictionaries) and Ausbauwörterbücher (‘open’ dictionaries) according to level of discreteness (cf. Wiegand 2010: 90 f.); 3. he distinguishes between text-based digital dictionaries and multimedia dictionaries according to the type of semiotic coding of the lexicographical database (cf. Wiegand 2010: 91). However, in the case of the differentiation (type of semiotic coding), it remains unclear why this distinction is made only in relation to electronic dictionaries, when there are printed dictionaries with illustrations as well.

16 | Antje Töpel

Electronic dictionaries can be presented as individual products which are independent of other dictionaries, or they can be part of a dictionary portal. A dictionary portal is “a data structure (i) that is presented as a page or set of interlinked pages on a computer screen and (ii) provides access to a set of electronic dictionaries, (iii) where these dictionaries can also be consulted as stand-alone products” (Engelberg/Müller-Spitzer).

Dictionary portals can also be typologized, according to the type of access available, the reference structures between the dictionaries, the proprietary relationship between the portal and the dictionaries it contains, as well as the layout of the portal (cf. Engelberg/Müller-Spitzer). As far as terminology is concerned, the present article follows De Schryver. However, it is concerned generally with research into the use of electronic or digital dictionaries – regardless of what types these are further subdivided into. Up until now, however, studies into the use of electronic dictionaries have dealt exclusively with three groups of digital dictionary: dictionaries on CD-ROM, internet dictionaries and PEDs.

1.2 Research into dictionary use According to Hartmann, research into dictionary use comprises four areas: typology of dictionaries, typology of users, analysis of needs, and analysis of skills (cf. Hartmann 1987: 154). In this differentiation, Hartmann concentrates on the categorization of dictionaries and their users, as well as on the needs and skills of the users. According to Wiegand, research into dictionary use addresses the following questions (cf. Wiegand 1987: 192 ff.): who uses a dictionary, in what way, under what external circumstances, at what moment, for how long, in what place, why, on what occasion, with what aim, with what outcome, and with what consequences? Of interest in the framework of Wiegand’s action theory are therefore the subject (the user), the modality (the skills of the user), the internal context (the cognitive conditions), the external context (the context and circumstances of the action), the consequences, as well as the outcome of the action of using a dictionary (cf. Wiegand 1987: 181). Research into dictionary use should provide academic knowledge about the use of dictionaries, but here Wiegand refers only to printed dictionaries (cf. Wiegand 1998: 259). Research into the use of electronic dictionaries has also been carried out, but it obviously did not start until later than research into the use of print dictionaries, since electronic dictionaries are the more recent type. Research into dictionary use should support current as well as future lexicographical projects in improving their products:

Review of research into the use of electronic dictionaries | 17

‘If you have academic knowledge, especially if it is empirically based, about dictionary users and above all dictionary use, you can with justification improve the usefulness of new dictionaries which will be developed in the future and that of new dictionary editions, as well as that of concise versions of existing dictionaries.’1 (Wiegand 1998: 259, see also Wiegand 1987: 179)

This statement, which applies to print lexicography, is relevant to an even greater degree to internet dictionaries. For, in this case, there is the possibility, at least technically, of making immediate, visible changes to the dictionary content, or to the way in which it is presented. In the field of general dictionary research, research into dictionary use is the most recent and least developed area (cf. Wiegand 1998: 259 ff.). As well as research into dictionary use, critical, historical, and systematic research into dictionaries are three further areas of dictionary research. (cf. Wiegand 1998: 6). Research into dictionary use was started by Barnhart at the beginning of the 1960s. It was not until the 1990s that the importance of research into dictionary use grew to such an extent that it gained the status of a separate area of research within the field of dictionary research. According to Wiegand, three areas of work are important for the further development of research into dictionary use – laying the theoretical foundations, developing the methodology and formulating fruitful questions for empirical studies (Wiegand 1998: 262). Bergenholtz and Tarp’s functional lexicographical approach sees dictionary users and their needs as the starting point for all decisions (cf. Bergenholtz/Tarp 2002: 254): “The theory of lexicographical functions […] is based on the idea that dictionaries are objects of use which are produced or should be produced to satisfy specific types of social need. These needs are not abstract – they are linked to specific types of user in specific types of social situation. Attempts are made to cover these needs using specific types of lexicographical data collected and made available in specific types of dictionary.” (Tarp 2008: 43)

The functional approach also sees research into dictionary use as one of the four areas of dictionary research. Empirical social research plays a particularly important role in research into dictionary use, as the latter makes use of the methodology of the former (for more detail, see the chapter by Koplenig in this volume). If the individual suggestions by metalexicographers on possible methods of investigation in research into dictionary use are considered together, all distinguish between forms of survey, observation, and experiment or test. Some also mention || 1 „Wenn man wissenschaftliche Kenntnisse, insbesondere empirisch fundierte, über die Wörterbuchbenutzer und vor allem über die Wörterbuchbenutzung hat, kann man den Nutzungswert in Zukunft zu erarbeitender neuer Wörterbücher und den von neuen Wörterbuchauflagen sowie den von gekürzten Versionen bereits vorhandener Wörterbücher mit guten Gründen erhöhen.“ (Wiegand 1998: 259).

18 | Antje Töpel

content analysis. Ultimately, metalexicographers agree on many points as far as the fundamental framework of methods for research into dictionary use is concerned. In some instances, however, there are deviations from empirical social science, for example when specific concepts from research into dictionary use do not fit into the general schema. For this reason, the following suggestion for categorization is made, which comes from the standard techniques of data investigation in empirical social research and incorporates the specific concepts of research into dictionary use (cf. Zöfgen 1994: 39 ff.): – Questioning o written: questionnaire o spoken: interview – Observation o self-observation: keeping records of dictionary use, thinking aloud, commentaries on dictionary use o external observation: keeping observation records of users, camera recordings, log file analysis and eye-tracking with electronic dictionaries – Experiment/test and – Content analysis.

2 Research literature on the use of electronic dictionaries 2.1 Overview Research literature on dictionary use is – seen as a whole – relatively extensive. Welker estimates the number of studies worldwide up until 2008 to be between 250 and 300 (cf. Welker 2008: 8), not to mention those that have appeared in the meantime. Because of this, Bergenholtz/Johnsen state: “From 1985 until today, so many monographs, editions and papers in journals have been published that it is difficult or even impossible to get a complete overview” (Bergenholtz/Johnsen 2005: 119). However, Wiegand is right when some years later he characterizes research into dictionary use as the least developed area within dictionary research in comparison with other research areas (cf. Wiegand 2008: 1). How then does the situation arise, which at first glance appears to be paradoxical, that despite the fairly high number globally of studies on dictionary use, the research situation as a whole is considered to be poor? There are several reasons for this. The first lies in the complexity of the topic. For one, research into dictionary use refers to completely different types of dictionary, which vary for instance in

Review of research into the use of electronic dictionaries | 19

medium (printed/electronic), number of languages (monolingual/bilingual/multilingual), degree of specialization (general/specialist), type of information given (pronunciation/meaning/examples/paradigms), or target group (non-native speakers/native speakers). For another, with all these dictionaries, different types of usage action can be studied, for example activities which stress the function of the dictionary in the field of production, reception or learning, or specialist actions such as translation. From the combination of the individual realizations of these two dimensions alone, a multitude of possible individual areas arises, which can be studied in the framework of research into dictionary use. Furthermore, it is not only dictionaries as the object of study as well as the particular questions which are complex, but also the methodological options for studying the dictionary as object. Depending on the investigation process used (survey, observation, experiments/tests, content analysis) and the form (e.g. scope of the study, type and number of participants), completely different approaches to the relevant questioning arise. The countless possible combinations of questions (object and type of usage action) and investigation processes mean that it is almost impossible to compare the individual studies with one another, as Welker also observes: ‘After reading many research reports, what can be established is that it is difficult to generalise the results: sometimes the authors have not isolated the external factors which influence dictionary use. In each case, the results – unless a sophisticated methodology is used – can only be generalised for identical situations.’ (Welker 2006 b: 225)2

It is therefore rare to find works which address the same topic and at the same time correspond in their methodological structure (cf. also Wiegand 2008: 2 and Dziemianko 2012b: 335). One of the few exceptions is Lew/Doroszewska (2009). They carried out an extended version of the study by Laufer/Hill (2000) on Polish learners of English (see section 3.1). Chen (2011) is an example of an investigation of printed dictionaries, which is oriented towards Laufer/Hadar (1997). Heid/Zimmermann’s study is inspired by Bank’s inquiry. The fact that, up until now, there have been only a few studies which can be compared with one another particularly applies to research into the use of electronic dictionaries, since up until now, comparatively few investigations have dealt with this still new type of dictionary. Researchers repeatedly demand, both in general and in research into electronic dictionaries in particular, that the topic be more firmly tackled and that more high-quality qualitative studies be carried out (cf. for instance Höhne 1991: 293 f., Zöfgen 1994: 36, Atkins/Varantola 1997: 36, Hartmann 2000: 385 and Hulstijn/Atkins 1998: 16). Occasional criticism of the lack of research into the use of electronic dictionaries began || 2 “O que se constata após a leitura de muitos relatos de pesquisa é que os resultados dificilmente são generalizáveis: às vezes, os autores deixaram de isolar fatores externos que influenciam no uso do dicionário, e, de qualquer modo, mesmo quando se adota uma metodologia aprimorada, os resultados podem ser generalizados apenas para situações idênticas.” (Welker 2006 b: 225).

20 | Antje Töpel

to surface at the end of the 1980s (cf. Hartmann 1989 a: 109), although it did not become more forceful until ten years later. Nesi, for example, makes this criticism: “We still do not know much about how such dictionaries [electronic dictionaries, A. T.] are used, or how they might be used” (Nesi 1999: 63). Research into the use of digital dictionaries is “still in its infancy” (Nesi 2000 a: 845), because there are only a few studies on the topic. Loucky also stresses this, when – in the context of the research situation of the dictionary use of Japanese learners of English – he observes of internet dictionaries: “Even less available are any studies of online web dictionary use” (Loucky 2005: 390). This situation has not changed fundamentally until now, as “the dictionary users and their actions are to some extent still unknown, especially in Internet lexicography” (Simonsen 2011: 77). The special edition of the International Journal of Lexicography on the topic “Studies in Dictionary Use: Recent Developments” is an example of this: of the six studies of dictionary use it contains, only one (Tono 2011) deals explicitly with digital dictionaries. Germanlanguage literature is similarly critical of the research situation: ‘User research has been carried out into only a very few online dictionaries. It is precisely here that things should change in the future.’ [“Für die wenigsten Online-Wörterbücher ist Benutzerforschung betrieben worden […]. Gerade hierzu sollte sich zukünftig etwas ändern”] (Klosa/Lemnitzer/Neumann 2008: 16; cf. also Aust/Kelley/Roby 1993: 72, Nesi 2000 b: 113, Tono 2000: 861, Winkler 2001 b: 194, Engelberg/Lemnitzer 2009: 90). A second reason for the unsatisfactory situation in research into dictionary use is the lack of methodology in many studies (cf. Zöfgen 1994: 33 f., Hulstijn/Atkins 1998: 16, Bogaards 2003: 26, Engelberg/Lemnitzer 2009: 85 f.). Ripfel/Wiegand observe: ‘Apart from a small number of exceptions, there is hardly any information in the works presented about statistical evaluation. Sometimes even the number of participants is not given! They do not even fulfil the minimum requirements of an investigation report for an empirical study. This is not just for academic, theoretical or ethical reasons, but also because for this reason, the relevance of the results and with it of the whole investigation, cannot be properly evaluated.’3 (Ripfel/Wiegand 1988: 496)

In most cases, the authors of more recent studies on the subject of research into dictionary use have at their disposal a wider knowledge of methodology than in the early days of research into this subject (cf. also Lew 2011 a: 1). However, this is not

|| 3 „Bis auf wenige Ausnahmen werden in den vorgelegten Arbeiten kaum Angaben zur statistischen Auswertung gemacht, z. T. wird sogar die Zahl der Probanden nicht genannt! Sie genügen damit nicht einmal den Minimalanforderungen an einen Untersuchungsbericht über eine empirische Erhebung. Dies ist nicht nur aus wissenschaftstheoretischen oder -ethischen Gründen bedauerlich, sondern auch [sic!] weil dadurch die Relevanz der Ergebnisse und damit der ganzen Untersuchung schlecht eingeschätzt werden kann.“ (Ripfel/Wiegand 1988: 496).

Review of research into the use of electronic dictionaries | 21

without exception: ‘Several of the more recent empirical works can hardly be taken seriously, since they are neither theoretically sound nor methodologically well thought-out.’ [“Mehrere der neueren empirischen Arbeiten sind kaum ernst zu nehmen, da sie weder theoretisch fundiert noch methodologisch durchdacht sind”] (Wiegand 2008: 2). For example, in studies involving questionnaires, only a very few researchers make the questionnaires they have used available. This is necessary, however, in order to be able to fully evaluate how particular answers have come about, for instance, when the order and interaction of the individual questions, or the type of scales and how they are verbalized may influence the response behaviour. Bergenholtz, too, criticizes “the totally unscientific and actually almost meaningless surveys, in which the respondents were not selected in accordance with the principles of social science” (Bergenholtz 2011: 32). In principle, research literature on dictionary use can be divided into two groups – individual studies and reviews. The latter summarize the results of several individual studies, but up until now, there have been no overviews which are concerned only with research into the use of electronic dictionaries. Welker (2006 a and 2010), however, is at least one work which has a chapter devoted to research into the use of electronic dictionaries. The individual studies often have sections which summarize the research which has been carried out up to that point, from the viewpoint of the particular research topic in hand. In the following section, the most important individual studies on digital dictionaries are presented in chronological order. The preceding boxes provide a short summary. Publications in which the author only documents the observation of his/her own user behaviour are excluded, since these do not belong to the field of research into dictionary use, but rather to the field of critical dictionary research (see section 2). Examples of such accounts are Heuberger (2000), Winkler (2001 a), Tribble (2003), and Krajka (2004), who evaluate dictionaries on CD-ROM, Drápela (2005), Chiari (2006), Simonsen (2007), and Mann (2010), who assess online dictionaries, and Tono (2009), who deals with PEDs.

22 | Antje Töpel

2.2 Important individual studies

2.2.1 Leffa (1993) Type of investigation: Subjects: Subject matter:

Result:

Observation/test 20 students of English as a foreign language and 51 mathematics students Comparison between a printed and an electronic dictionary when used for translation, attitudes towards the electronic dictionary Participants translated texts better and more quickly with the electronic dictionary, participants had a positive attitude towards the electronic dictionary

Vilson Leffa, who was conducting research into the use of electronic dictionaries as early as the beginning of the 1990s, can be considered to be a pioneer in this field. In his essay “Using an Electronic Dictionary to Understand Foreign Language Texts” he summarizes the results of several of his works, in which he compares printed and electronic bilingual dictionaries when used for reading texts. For this study, 20 students of English as a foreign language in the first semester of lower middle school translated several sections from newspapers into their native language, Portuguese, using either a printed or an electronic dictionary (cf. Leffa 1993: 23 ff.). The individual sections were divided equally between the two different types of dictionary. The results of the test show that the use of an electronic dictionary led, on average, to a 38% better understanding of the text, and that weaker students benefitted most from using an electronic dictionary (cf. Leffa 1993: 25 f.). Furthermore, with the electronic dictionary, the texts were translated not only better, but also more quickly: using the printed dictionary, the students needed on average 17.34 minutes to translate a text, while using the electronic dictionary, it was only 12.5 minutes (cf. Leffa 1993: 26). In addition to this, Leffa investigated attitudes towards the electronic dictionary. For this, 51 mathematics students worked on text comprehension exercises, translating the texts with the help of an electronic dictionary. The opinions of the students on the electronic dictionary turned out to be very positive, with more than 80% finding it more helpful than traditional printed dictionaries. The speed of the electronic dictionary and the fact that it was easy to use were particularly emphasized (cf. Leffa 1993: 26 f.).

Review of research into the use of electronic dictionaries | 23

Aust/Kelley/Roby (1993) Type of investigation: Subjects: Subject matter:

Result:

Observation/test 80 students of Spanish as a foreign language Comparison between printed and electronic, monolingual and bilingual dictionaries, attitudes towards electronic dictionaries Participants looked up more words and more quickly with the electronic dictionary, participants had a positive attitude towards the electronic dictionary

Aust/Kelley/Roby also compare electronic dictionaries and printed dictionaries. With 80 students of Spanish as a foreign language, they investigated the influence that the dictionary medium (electronic or printed) as well as the number of languages a dictionary contains (monolingual or bilingual) has on the process of looking up words. The results can be summarized as follows: the groups which used electronic dictionaries looked up more than twice as many words as the groups with the printed dictionaries, and were 20% faster at looking up words. (Roby 1999: 97 f presents the same results.) The groups with the bilingual dictionaries consulted their dictionaries more than 25% more often than the groups with the monolingual dictionaries and needed around 20% less time. The participants could therefore look words up more quickly in electronic and bilingual dictionaries than in printed or monolingual dictionaries. There were no differences in comprehension between the electronic and printed dictionaries or between the bilingual and monolingual dictionaries. The participants in Aust et al. were likewise very positive about electronic dictionaries, again with particular emphasis on the fact that they are easy and quick to use.

2.2.2 Laufer/Hill (2000) Type of investigation: Subjects: Subject matter: Result:

Observation (log files) 72 students of English as a foreign language (Israel and China) Which types of information are looked up, vocabulary retention Participant groups preferred different types of information, no correlation between how often a word was looked up and how well it was retained

In 2000, Laufer/Hill tested the comprehension of unknown vocabulary through the use of logfile analysis. The focal point of the investigation was precisely what infor-

24 | Antje Töpel

mation is looked up and how unknown vocabulary is retained. The following aspects of investigation using log files are named as advantages: “Some studies report that electronic or paper dictionaries were available to the class. This, in itself, however, does not necessarily mean that learners looked up the words the researcher assumed would be looked up. If a study does not provide log files which record what learners are doing during the reading task, there is no evidence that they indeed are looking up unknown words, rather than guessing or ignoring them. Nor do we have the information about the number of times they return to a specific word during the reading task.” (Laufer/Hill 2000: 59)

If different types of information, such as translation equivalents, definitions or grammatical information, are made available to participants for the task, then it is also possible to check which information is preferred when looking up which words and what effect this has on retention rates. Laufer/Hill tested 12 low-frequency words on 72 advanced students of English as a foreign language from Haifa and Hong Kong, words which were unknown to the students. For this, they used the Words in your ear programme, which logs which information is looked up about which words and how frequently (cf. Laufer/Hill 2000: 61 ff.). Afterwards, the vocabulary retention rate of the students was checked by means of a vocabulary test which they were not told about in advance. The Israeli students could remember the meanings of four words on average, while the Chinese students could remember seven. The best retention rates were obtained by the students from Haifa when they looked up both native-language and foreign-language information about the word they were looking for. The Hong Kong students obtained the best scores when looking up words in the foreign language. No correlation could be found between how frequently words were looked up and how well they were retained (cf. Laufer/Hill 2000: 65 ff.). Again in Laufer/Hill, emphasis was placed on the ease and speed of using electronic dictionaries as advantages of the medium.

2.2.3 Laufer (2000) Type of investigation: Subjects: Subject matter:

Result:

Observation (log files) 55 students of English as a foreign language Comparison between a printed and an electronic dictionary, what information is looked up in the electronic dictionary, vocabulary retention Participants with the electronic dictionary achieved better vocabulary retention rates, better long-term retention rates were achieved by participants who used several types of information when looking up words

Review of research into the use of electronic dictionaries | 25

In terms of the structure of the experiment, Laufer/Hill is similar to Laufer’s study: two parallel groups of participants of a total of 55 students of English as a foreign language looked up unknown vocabulary to complete a text comprehension exercise using an electronic or a printed dictionary. The types of information they relied on (translation, English definition, example of use) were logged in the electronic dictionary. Vocabulary retention was checked by means of tests which the participants were not told about in advance, one immediately after the experiment, and a second two weeks later. In both retention tests the group with the electronic dictionary achieved better results. As possible reasons for these results, Laufer cites firstly the more striking appearance of the electronic information, and secondly the closer involvement of the users when looking for the meanings of the words. In contrast to other investigations, Laufer’s study finds differences in long-term vocabulary retention rates, which are connected to the type of information the participants looked up: “The immediate recall does not seem to be significantly affected by the type of information selected even though the scores are higher for words looked up in both languages. The long term recall scores, however, are significantly higher when a combination of translation, definition and example is selected.” (Laufer 2000: 852)

Possible reasons given for this are both the more extensive semantic encoding as well as the longer attentiveness of the participants (cf. Laufer 2000: 852 f.).

2.2.4 Nesi (2000) Type of investigation: Subjects: Subject matter: Result:

Observation (log files) 29 students of English as a foreign language Comparison between a printed and an electronic dictionary Participants with an electronic dictionary looked up more words, found looking up words easier and were more satisfied with the results

Like Aust/Kelley/Roby and Laufer, Nesi also compares electronic and printed dictionaries. For this, 29 students of English as a foreign language read Englishlanguage texts, either with a printed dictionary or with its equivalent on CD-ROM. Every time they looked up a word, the students documented this along with an assessment of how easily they had found the required information and how satisfied they were with it. Some of the results are astonishing:

26 | Antje Töpel

“Although the dictionary definitions on screen and in print were the same, subjects looked up more words when using the CD-ROM, found look-up significantly easier, and were significantly more satisfied with the results.” (Nesi 2000 b: 111)

These results correspond with those of the earlier studies outlined above.

2.2.5 Corris/Manning/Poetsch/Simpson (2000) Type of investigation: Subjects: Subject matter: Result:

Observation/test 76 speakers of Aboriginal languages Comparison between a printed and an electronic dictionary Participants with an electronic dictionary had fewer problems when looking up words

In the proceedings from Euralex 2000, two more articles, in addition to Laufer, are devoted to the topic of research into dictionary use. Corris et al. examine the use and user-friendliness of multilingual dictionaries of Aboriginal languages by observing 76 speakers using dictionaries and giving them exercises on dictionary use. Here also, with regards to the results relating to electronic dictionaries, the comparison with printed dictionaries was at the forefront: problems caused by alphabetical access or the word list played a much greater role in the printed dictionary than in the electronic dictionary (cf. Corris et al. 2000: 175 f.). The same applied when looking for inflected forms, which, as it was possible to be automatically forwarded to the basic form, was more successful in the electronic dictionary than in the printed dictionary. According to Corris et al., other advantages of electronic dictionaries are the integration of sound recordings for information on pronunciation and the variable font size (cf. Corris et al. 2000: 176 f.). Again, in this investigation, the participants were very receptive to the electronic dictionary.

2.2.6 Tono (2000) Type of investigation: Subjects: Subject matter:

Result:

Observation/test 5 students of English as a foreign language Comparison between printed and electronic dictionaries as well as different types of interface Participants with an electronic dictionary looked up words more quickly, and most quickly with a parallel bilingual interface

Review of research into the use of electronic dictionaries | 27

Tono addresses how easy it is to look up words: are there differences between electronic and printed dictionaries, between different electronic interfaces (traditional, parallel bilingual and step-form), between different types of task and when a user becomes accustomed to a particular interface? His participants were five Japanese students of English as a foreign language, who were filmed whilst working on the tasks they had been given. The extremely low number of participants is problematic when drawing general conclusions. Tono’s study confirms that electronic dictionaries allow quicker access than printed dictionaries. The quickest access for the participants was via the parallel bilingual interface (cf. Tono 2000: 856 ff.).

2.2.7 Lemnitzer (2001) Type of investigation: Subjects: Subject matter: Result:

Observation (log files) 149,830 accesses Examination of why words are unsuccessfully looked up Common reasons for unsuccessful searches were spelling mistakes, gaps in the lemmata, problems in the choice of basic form/lemma and choosing the wrong dictionary

Lemnitzer examined the log files of a total of four bilingual electronic dictionaries (English–German, German–English, French–German and German–French) for a total period of 28 months. He was interested above all in the reasons why looking up words goes wrong. The investigation period was divided into two phases. In the first phase, 62% of all searches were unsuccessful. The most common reasons for this were misspelling the search word, gaps in lemmata in the dictionary, problems in the choice of basic form/lemma or choosing the wrong dictionary (cf. Lemnitzer 2001: 250). This knowledge was used before the second phase of the investigation to make alterations to the interface of the dictionaries. For instance, the search function was made more able to tolerate mistakes and it was emphasized more clearly that a dictionary was to be chosen before the search. This had a positive effect on the success of the searches, which were now successful in almost 46% of cases.

28 | Antje Töpel

Winkler (2001 a) Type of investigation: Subjects: Subject matter: Result:

Questionnaire, test, observation (commentaries) 30 students of English as a foreign language Comparison between a printed dictionary and a dictionary on CD-ROM With the printed dictionary and the dictionary on CD-ROM, sometimes different skills were needed, different problems arose

In her study, Winkler also compares a printed and an electronic dictionary. 30 students of English as a foreign language first of all completed a questionnaire about the ownership and use of their dictionaries. Afterwards, they had to write a short text on screen, for which they had the OALD at their disposal, first as a book and later on CD-ROM. Furthermore, the students were encouraged to think aloud during the writing task, and these remarks were recorded. In addition, observers noted details about individual searches for words. In the evaluation, Winkler concentrates on the skills dictionary users must have, as well as on problems which arose while the dictionaries were being used. Both the skills and the problems sometimes differ in relation to CD-ROM or printed dictionaries. All participants agreed that searches in the CD-ROM dictionary were quicker and more comfortable than in the printed dictionary. Unfortunately, there is no evaluation of the questionnaire.

2.2.8 Selva/Verlinde (2002) Type of investigation: Subjects: Subject matter: Result:

Observation (log files)/test 67 learners of French as a foreign language Investigation of how users deal with an electronic dictionary for learners of French Users had difficulty finding information in extensive word entries and long definitions

Within the framework of Euralex 2002, Selva/Verlinde look closely at the issue of how users of an electronic dictionary for learners of French cope with the dictionary. For this, two groups of Dutch-speaking students with 40 and 27 participants respectively completed four different tasks, and their actions were logged. The tasks consisted of assigning the correct individual meaning of a word from its dictionary entry in a text comprehension exercise, translating into the foreign language, looking for appropriate synonyms and coping with the actant schema. Problems arose for the users mainly when trying to find information in the word entries of polysemous head words and in long definitions (cf. Selva/Verlinde 2002: 774 ff.).

Review of research into the use of electronic dictionaries | 29

2.2.9 Ernst-Martins (2003) Type of investigation: Subjects: Subject matter: Result:

Observation/test 15 students of Spanish as a foreign language Text comprehension using different types of dictionary (monolingual, bilingual, online) Online dictionary supported text comprehension best, it also allowed the quickest access

In her dissertation, Ernst-Martins starts from the hypothesis that a bilingual online dictionary, which is linked to a text, will increase the understanding of this text in comparison with other dictionaries. To test this hypothesis, a total of 15 students of Spanish as a foreign language, divided into three groups of five students, translated three shorter texts from Spanish into Portuguese, either with a monolingual printed dictionary, a bilingual printed dictionary or an online dictionary linked to the text. The dictionaries were swapped round so that every group used different dictionaries for all the texts, and every text was translated with all the dictionaries. The online dictionary linked to the text came off best regardless of how difficult the text was, and the tasks set were completed the most quickly with it as well.

2.2.10 Hill/Laufer (2003) Type of investigation: Subjects: Subject matter: Result:

Observation (log files) 96 students of English as a foreign language Influence of the type of task on vocabulary retention Frequently looking up words in the dictionary had a positive influence on vocabulary learning

Hill/Laufer once again address vocabulary retention. They investigated how different types of tasks influence vocabulary learning. 96 students of English as a foreign language from Hong Kong read a text containing 12 unknown words and worked on the unknown vocabulary in various tasks: yes-no comprehension questions or multiple choice comprehension questions (based on the form or meaning of the word). For each unknown word, the participants could learn about the pronunciation, the English and Chinese meaning in addition to supplementary information. A computer programme logged all the participants’ activities as well as how long they took. Immediately after the tasks, a vocabulary test which the participants had not been told about in advance was set, and then a second unannounced test was set a week later. The participants who had only answered yes-no comprehension questions on the unknown vocabulary fared worst in both retention tests. There were no

30 | Antje Töpel

significant differences in the time needed to complete the tasks. For the task which involved answering multiple choice questions about the meaning of the word, the participants used the most search options, with the focus on translation into Chinese. With the other two types of task, on the other hand, the English explanation was used the most. Hill/Laufer infer from the results of the study that frequently looking up words in a dictionary has a positive influence on vocabulary retention.

2.2.11 De Schryver/Joffe (2004) Type of investigation: Subjects: Subject matter: Result:

Observation (log files) 2,530 users, 21,337 accesses Investigation of how users deal with a bilingual internet dictionary Users mostly looked up frequent words and taboo vocabulary

De Schryver/Joffe also work with the logging method, albeit with the difference that their log files arise directly from the normal use of an internet dictionary rather than within the context of a specially designed test. This has the crucial advantage that all the actions of the users are recorded in natural dictionary usage situations. De Schryver/Joffe call this procedure Fuzzy SF (Fuzzy Simultaneous Feedback): “In Fuzzy SF, traditional means for gathering feedback such as participant observation or questionnaires are replaced with the computational tracking of all actions in an electronic dictionary.” (De Schryver/Joffe 2004: 188)

As well as the analysis of the log files, this article is concerned with the evaluation of comments which are sent via the contact form of the internet dictionary. The internet dictionary is a bilingual Sesotho sa Leboa-English dictionary, the user actions of which have been logged since its inception via user IDs. The article analyzes the log files from the first six months after the dictionary was activated on the internet. The 2,530 users looked up words a total of 21,337 times, which gives an average of 8.4 searches per user (cf. De Schryver/Joffe 2004: 189). 65% of the searches were from English to Sesotho sa Leboa. Comparisons between the most frequently looked up words in Sesotho sa Leboa und the 1,000 most frequent words in that language show, “that genuine frequent words are looked up on the one hand, and then those words that only mother-tongue speakers know but, as they are taboo, never pronounce in public” (De Schryver/Joffe 2004: 190; their italics, cf. also Lemnitzer 2001: 251 f.). The log files of individual users allow conclusions to be drawn about their individual search strategies: for example, words from the same semantic field are often looked up after each other. Users switch to semantically similar words when-

Review of research into the use of electronic dictionaries | 31

ever typing errors mean that the word they originally searched for is not successfully looked up.

2.2.12 Bergenholtz/Johnsen (2005) Type of investigation: Subjects: Subject matter: Result:

Observations (log files) 2,239 accesses a day Investigation of how users deal with a bilingual internet dictionary Users often looked up taboo vocabulary, and also many non-lemmatized words

Bergenholtz/Johnsen likewise the use log file analysis method as a “tool for improving internet dictionaries” (Bergenholtz/Johnsen 2005: 117). Like De Schryver/Joffe, Bergenholtz/Johnsen also devote a short section to users’ emails (cf. Bergenholtz/Johnsen 2005: 140). The dictionary analysed is the monolingual Danish dictionary Den Danske Netordbog, which is accessed on average 2,239 times a day. Almost 20% of the searches were for words which are not lemmatized in the dictionary. Most searches (84%) were for the lemma itself. The option of searching for the beginning of a lemma (just under 8%), a sequence of letters contained in it (over 6%) or the end of a lemma (just under 2%) was taken advantage of much less often. Bergenholtz/Johnsen also note – just like De Schryver/Joffe a year earlier – the relatively high proportion of sexual vocabulary in the searches. Particular problems with searches arose through passive and imperative forms of verbs, the misspelling of words (influenced by pronunciation), mistakenly writing words as separate words or as one word, incorrect word forms, differences in morphological joins or through gaps in the lemmata (particularly common with terms from the specialist areas of computer science, finance, law and medicine) (cf. Bergenholtz/Johnsen 2005: 127 ff.). Bergenholtz/Johnsen estimate the proportion of lemmata searched for in the logged time period to be a good third of the total stock of lemmata (cf. Bergenholtz/Johnsen 2005: 139).

32 | Antje Töpel

2.2.13 Haß (2005) Type of investigation: Subjects: Subject matter: Result:

Survey (questionnaire) 427 students and academics Investigation of the labelling of the buttons of a monolingual internet dictionary Participants for the most part favoured several labels

The first study of electronic dictionary use known to us which uses a questionnaire is Haß (2005). 82% of the 427 participants consisted of students und 11% consisted of academics from the Institute for German Language as well as Germanists from abroad. 71% of those questioned were native speakers. The aim of the study was to investigate the language of the user interface of the monolingual German internet dictionary elexiko, which at the time of the investigation was still called Wissen über Wörter. For this, the participants were put into possible dictionary use situations. From this situation, they had to judge different ways of labelling the individual buttons in terms of how easy they were to understand, for instance in relation to the meaning, connotations, origin or pragmatics of a word. Since the survey produced no clear results relating to this, but rather several options obtained similar levels of agreement, the author argues for a double labelling of the buttons as well as for ‘detailed paraphrases, i.e. a kind of glossary of the lexicographical designations, which is readily accessible to the user’ [“ausführliche Paraphrasierungen […], d. h. eine Art Glossar der lexikografischen Benennungen, nach dem die Nutzer nicht lange suchen müssen”] (Haß 2005: 39).

2.2.14 Sánchez Ramos (2005) Type of investigation: Subjects: Subject matter: Result:

Questionnaire 98 translation students Requirements and habits of translation students when using dictionaries Participants were not familiar with using electronic dictionaries

Sánchez Ramos conducted research into the dictionary use of 98 translation students, through the use of a questionnaire. The second part of the questionnaire was concerned with electronic reference works. In 2005, the majority of the participants were not familiar with dictionaries on CD-ROM, be these monolingual Spanish or English dictionaries or bilingual dictionaries. Likewise, most of those questioned did not know of any monolingual English online dictionaries. On the other hand, monolingual Spanish as well as bilingual online dictionaries were known to the

Review of research into the use of electronic dictionaries | 33

majority. The participants stressed speed of access as well as accessibility and usefulness as advantages of electronic dictionaries, but felt that their own lack of skills in using electronic dictionaries was a disadvantage.

2.2.15 De Schryver/Joffe/Joffe/Hillewaert (2006) Type of investigation: Subjects: Subject matter: Result:

Observation (log files) approximately half a million accesses Investigation of how users deal with a bilingual internet dictionary Users mostly looked up frequent words

De Schryver/Joffe/Joffe/Hillewaert also choose the same procedure as De Schryver/Joffe for a different internet dictionary, the Swahili–English dictionary written by Hillewaert/Joffe/De Schryver. They observe: “Log files attached to such dictionaries clearly show that users increasingly assume that electronic dictionaries behave like Web search engines such as Google, and type in concatenations of keywords, combinations and phrases surrounded by quotes, entire sentences, and even dump full paragraphs (lifted from other sources) into the search field. In addition to that, an increasing number of people do not care about spelling, even type in SMS-like words and smileys, and search for a variety of languages other than the one(s) the dictionary is treating.” (De Schryver et al. 2006: 71; their italics)

Users of online dictionaries therefore search for more than just words. De Schryver et al. project from the number of searches and from the dictionary content, “that all dictionary data will indeed be seen over time” (De Schryver et al. 2006: 71; their italics). Based on the dictionary of Sesotho sa Leboa–English, they claim also for this dictionary: “It is and remains true that the top few thousand words of a language are also those that users most frequently look up, but the real question one wishes to answer is what happens beyond that point” (De Schryver et al. 2006: 74). For this, they examined the extent to which there were correlations between the order in which words are looked up and how often they appear in the corpus. The result of their investigation is, “that there is indeed some minor correlation between corpus ranks and actual dictionary lookup ranks for the first few thousand words […], but beyond that point there simply is no correlation whatsoever. This is a hugely important — albeit shocking — revelation, as it means that it is simply impossible to ‘predict’ which words will be of interest to the dictionary user.” (De Schryver et al. 2006: 78)

As a consequence of these results, the corpus should only be used “as a guidance” (De Schryver et al. 2006: 78) when selecting and ordering which lemmata in a dictionary to work on.

34 | Antje Töpel

2.2.16 Laufer/Levitzky-Aviad (2006) Type of investigation: Subjects: Subject matter:

Result:

Test, observation (log files) 75 students Comparison between four different dictionaries, including the printed and digital versions of the Bilingual Dictionary Plus Bilingual Dictionary Plus was advantageous irrespective of medium

The focus of the Laufer/Levitzky-Aviad study is on the evaluation of a HebrewEnglish bilingual dictionary with supplementary information (the so-called Bilingual Dictionary Plus). 75 students translated 36 sentences from Hebrew into English, but the dictionary being used was changed every nine sentences, so that a total of four dictionaries were used. In the context of electronic dictionaries, the comparison between the printed and digital versions of the Bilingual Dictionary Plus is of interest. Irrespective of the medium, the Bilingual Dictionary Plus proved itself against the normal bilingual and bilingualized dictionary. In the electronic version, most participants looked up the translation with definitions and examples or just the translation.

2.2.17 Boonmoh/Nesi (2008) Type of investigation: Subjects: Subject matter: Result:

Survey (questionnaire) 30 high school teachers and 1,211 students Knowledge and use of PEDs Teachers preferred and recommended monolingual printed dictionaries, students favoured bilingual dictionaries and PEDs

The aim of Boonmoh/Nesi’s study was to examine the use and knowledge of PEDs. For this, 30 high school teachers and 1,211 students in Thailand, who were teaching or learning English, were questioned by means of questionnaires (cf. Boonmoh/Nesi 2008). Of the 30 high school teachers, 29 owned at least one monolingual English dictionary in print form, and 22 owned one on CD-ROM. 11 teachers indicated that they used bilingual online dictionaries, and nine used monolingual online dictionaries. Only four used a PED. The teaching staff had hardly any knowledge of the lexicographical content of PEDs, with the exception of the few teachers who used them. By and large, the teachers preferred printed dictionaries, regardless of the type of task (text reception or text production). The use of electronic dictionaries also seemed, however, to be linked to working at a computer. The majority of the high school teachers disapproved of the use of PEDs, with almost all encouraging

Review of research into the use of electronic dictionaries | 35

their students to use monolingual dictionaries. 95% of the students questioned owned at least one dictionary – of these, 82% had a monolingual printed dictionary, 45% a bilingual printed dictionary and 40% a PED. The students liked using bilingual printed dictionaries and PEDs the most. By contrast, they did not like using monolingual printed dictionaries: “there was a great mismatch between the number of respondents who stated that they owned a monolingual print dictionary (1149) and the number who stated that they normally used one (46 for reading, and 102 for writing)” (Boonmoh/Nesi 2008).

2.2.18 Petrylaite/Vežyte/Vaškeliene (2008) Type of investigation: Subjects: Subject matter: Result:

Survey (questionnaire) 88 IT students Comparison of printed and electronic, monolingual and bilingual dictionaries Participants used monolingual electronic dictionaries almost as frequently as bilingual, participants looked words up more frequently with the electronic dictionary

Petrylaite/Vežyte/Vaškeliene also carried out a study using questionnaires, which, amongst other things, compared printed and electronic dictionaries. The 88 participants were Lithuanian IT students, who were learning English for specific purposes. The following results are of significance in the context of electronic dictionaries. In the case of printed dictionaries, the participants clearly and exclusively preferred the bilingual ones. However, when it came to electronic dictionaries, they used monolingual dictionaries in the target language almost as often. On the whole, the participants used electronic dictionaries rather more frequently than printed dictionaries. Speed of access, ease of use, variety and the fact that they are free of charge were named as the main advantages (cf. Petrylaite/Vežyte/Vaškeliene 2008: 80).

36 | Antje Töpel

Lew/Doroszewska (2009) Type of investigation: Subjects: Subject matter: Result:

Observation (log files) 56 learners of English Which information is looked up, vocabulary retention, influence of animated pictures Participant groups preferred translation information, no correlation between how often words were looked up and retention rates, consulting only animated pictures led to the worst retention rates

Lew/Doroszewska expanded on Laufer/Hill’s (2000) study and carried it out on 56 Polish learners of English in upper school (for methodology, see section 3.2.3). The expansion sought to establish the extent to which consulting animated pictures during text reception influences the learning of these words. By far the type of information most frequently chosen by the participants (two-thirds of the searches) was the Polish translation. The remaining third was divided between the animated pictures (18%), the English definition (just under 12%) and the examples (just under 3%). The data from Lew/Doroszewska confirm that there is no statistically significant correlation between how often a word is looked up and retention rate. The highest retention rate was achieved with the words for which both the Polish translation and the English definition were consulted. The participants remembered least well the words for which only the animated pictures were consulted.

2.2.19 Simonsen (2009) Type of investigation: Subjects: Subject matter: Result:

Observation (eye-tracking and thinking aloud) 5 participants Preferences for different ways of presenting data The preferred type of data presentation was determined by the type of task

In Simonsen’s eye-tracking study, a total of just five participants had to carry out different searches in an internet dictionary, the contents of which were available in two versions, with a horizontal and a vertical data presentation. At the same time, the participants said their thoughts aloud. Which version of the data presentation the participants preferred depended on the type of task they were carrying out: the horizontal organization of the data lent itself to cognitive dictionary functions, while the vertical one lent itself to communicative functions (cf. also Simonsen 2011: 78).

Review of research into the use of electronic dictionaries | 37

2.2.20 Chen (2010) Type of investigation: Subjects: Subject matter:

Result:

Test and survey (questionnaire) 85 Chinese students of English (main subject) Comparison of the use of PEDs and printed dictionaries and their effectiveness in vocabulary learning No significant differences between the two types of dictionary; only the time taken to complete tasks was significantly shorter with PEDs

The investigation carried out by Chen aimed to compare the perception and use of PEDs and printed dictionaries as well as their respective effectiveness in vocabulary acquisition. His participants were 85 Chinese advanced learners of English who were studying English as a main subject and who took part completely in the test. 61 questionnaires could later be collected from these students. The printed dictionary at their disposal was the bilingualised Oxford Advanced Learner’s English-Chinese Dictionary, while on the PEDs, the participants were likewise to use bilingualized English-Chinese dictionaries. The participants were randomly assigned to groups which were to use either the printed dictionary or the PEDs. The vocabulary test, with ten low-frequency words unknown to the participants, consisted of both receptive and productive elements, and was followed by two retention tests which the participants had not been told about in advance. Although the participants were equally successful in both the receptive and productive tasks, regardless of the type of dictionary they used, the group with the PEDs completed the tasks significantly more quickly. In the retention tests which followed, however, there were no significant differences between the two groups. The results of the questionnaires showed that the students used PEDs considerably more often than printed dictionaries. PEDs were used mostly when reading, while printed dictionaries were used when completing exercises. The information areas other than the explanation of meaning were consulted more often in the printed dictionaries than in the PEDs. The three most frequently searched-for areas in the PEDs were semantic information, pronunciation and collocations, while in the printed dictionaries it was semantic information, examples and collocations. In the case of the least used areas of information – information about style, pragmatics and derived or related words – there were no differences between the types of dictionary. When using PEDs, the students indicated more frequently that in the case of polysemous entries, they decided on one of the first versions. Core information was noted more frequently after using printed dictionaries. Just under half of the participants thought that printed dictionaries were more effective for learning vocabulary. PEDs were judged to be most useful for reading, printed dictionaries for translating and writing. On the whole, the partici-

38 | Antje Töpel

pants were more satisfied with the use of printed dictionaries, as they considered the information available in these to be more comprehensive.

2.2.21 Dziemianko (2010) Type of investigation: Subjects: Subject matter:

Result:

Test 64 Polish students of English Testing the usefulness of an electronic and a printed monolingual learners’ dictionary in production and reception, as well as in vocabulary learning Online version fared better in productive and receptive tasks as well as in retention results

Dziemianko pursues a similar aim in her study as Chen (2010): she compares the usefulness of a monolingual English dictionary in printed and electronic form in productive and receptive tasks, and investigates what effect the form of a dictionary has on vocabulary retention (meaning and collocations). Her test dictionary was the Collins COBUILD Advanced Dictionary as a printed dictionary and an online dictionary, and her participants were 64 intermediate and advanced Polish students of English as a foreign language. In the receptive part, the participants had to explain the meaning of nine unknown words (in their native language of Polish or in English), and in the productive part, they had to complete sentences with prepositions missing from collocations. Two weeks later, the students took a test which they did not know about in advance, which tested their vocabulary retention. Dziemianko’s test showed that the group of participants with the online dictionary performed significantly better in both the productive as well as the receptive tasks than the group which used the printed dictionary. The same also applied to learning (meaning and collocation), whereby on the whole, the participants could remember the meanings of the words better than the collocations.

2.2.22 Bank (2010) Type of investigation: Subjects: Subject matter:

Result:

Usability test and survey (questionnaire) 30 students Investigation of the fitness for use of three online language facilities (Eldit, OWID and the Base lexicale du français – BLF) Each of the tested facilities showed weaknesses in the area of usability, but on the whole, the participants judged Eldit to be the best

Review of research into the use of electronic dictionaries | 39

In her Master’s dissertation, Bank, by means of usability tests, compares the fitness for use of different online language facilities: the German-Italian learners’ dictionary Eldit, the dictionary portal OWID and the Base lexicale du français (BLF). For this, 30 students completed various tasks. When looking for single-word lemmata, the participants achieved their aim most quickly using OWID, while when looking for collocations, the participants managed best with Eldit. The search for synonyms of a particular word was quickest with Eldit, but the type of task set for OWID (or, more precisely, the dictionary elexiko) was a different one, for reasons not given – in this case, the participants had to find the adjectival collocations of a search word. In the associated survey, the participants judged Eldit to be the most clearly structured, and furthermore, the information they were looking for in Eldit was where they expected it to be. With both OWID and Eldit, the participants knew where they were in the dictionary at any one time, and did not land on unexpected pages. OWID was judged to be the best, as far as reversing individual actions and going back to the homepage were concerned. In terms of whether the participants were aware when new windows were being opened in the dictionary, all the dictionaries were somewhere in the middle. On the whole, the manageability of Eldit was judged to be the best. However, all three facilities tested showed weaknesses in the area of usability, which in the interests of the users should be eliminated (for further discussion cf. Bank 2012).

2.2.23 Verlinde/Binon (2010) Type of investigation: Subjects: Subject matter: Result:

Observation (log files) 55,752 accesses Investigation of how users manage with the Base lexical du français (BLF) Users were interested above all in special information (about meaning, gender and translations), frequent words were also frequently looked up

Using the log files of 55,752 accesses, Verlinde/Binon investigate how users use the Base lexical du français (BLF), which has a modular structure, and is divided into small sections. Approximately 60% of the accesses occurred in the “Get information on” section, just under 30% in “Get the translation of”. Only 7% of the users were interested in the learning section. Of the approximately 20 information areas available in “Get information on”, meaning (20%), gender (13%) and translation (9%) were chosen most often. In only 11% of cases was use made of the option of displaying the whole entry according to particular information, which Verlinde/Binon see as a confirmation of the concept of the BLF, whereby the user is asked for the concrete reason for the search, and the presentation of the results is arranged in small

40 | Antje Töpel

sections accordingly. Verlinde/Binon also found a correlation between the frequency of a word in the corpus and how often it was looked up (cf. De Schryver/Joffe 2004).

2.2.24 Boonmoh (2011) Type of investigation: Subjects: Subject matter: Result:

Survey (questionnaire) 540 first-year university students Students’ use and knowledge of PEDs Many students use PEDs, but most of them are not familiar with advanced functions

Boonmoh asked 540 first-year university students in Thailand (Faculty of Engineering, Faculty of Industrial Engineering and Faculty of Science) for their use and knowledge of PEDs. 81% stated that they had used PEDs, 41% (221 students) that they owned one. The two most popular PEDs were TalkingDict (106 respondents) and CyberDict (84 respondents). Out of these 190 students, 138 didn’t know how many dictionaries their PED contained. Between 73% and 91% didn’t know who the authors of the different dictionaries were, and 88% didn’t know which edition they had. Between 69% and 85% weren’t aware of the special functions (cross-referral search function, wildcard search function, phrase search function, function to add new words or meanings) of the dictionaries they used. As a consequence, Boonmoh suggests some guidelines for PED purchase and training.

2.2.25 Simonsen (2011) Type of investigation: Subjects: Subject matter: Result:

Observation (eye-tracking) and associated survey (interview) 6 professional translators Investigation of which points on the screen are looked at and for how long Lexicographical function, usage situation and user profile determined which points on the screen were looked at and for how long

Six professional translators took part in Simonsen’s second eye-tracking study (which was followed by a qualitative interview). During a translation task from their native language of Danish into English, they had to look up at least five lemmata in a Danish-English frequency dictionary (Dansk-Engelske Regnskabsordbog). Because of the variable quality of the data, the results of the participants could not easily be compared, and for this reason, only three participants with three searches respec-

Review of research into the use of electronic dictionaries | 41

tively could be considered for further analysis. The results show that the individual participants differed significantly in precisely where and for how long they looked at the screen. Simonsen concludes from this that the differences between individuals are determined by factors such as lexicographical function, usage situation and user profile.

2.2.26 Tono (2011) Type of investigation: Subjects: Subject matter:

Result:

Observation (eye-tracking) 8 students Investigation of the influence of various elements of a dictionary entry on the process of looking up words among non-native speakers Looking up words in a dictionary is complex and is influenced by various factors (such as microstructure, aids, type of information being looked for and level of competence in the language)

Tono (2011) also carries out an eye-tracking study, in order to research the process of looking words up in a dictionary among non-native speaker language learners with different levels of competence. The participants were eight Japanese students with knowledge of English as a foreign language (at least six years of study). However, for the investigation, no real digital dictionaries were used, but rather two extracts – make from the Longman Dictionary of Contemporary English and fast from the Macmillan English Dictionary Online – were adapted. The participants had to find out the meaning of a word which was highlighted in red in a presented sentence, by consulting the dictionary entry on the screen. The dictionary entry had been edited in various ways, in order to evaluate the influence of different elements on the process of looking up words. The following results were recorded. The participants fared badly with the ‘signposts’, which highlighted the relevant individual meaning in a summary (mostly a single word) at the beginning of the entry. Furthermore, only participants with poorer competence in the language used the menus, which structured longer dictionary entries like a table of contents. Whether a piece of information in a dictionary entry was found quickly did not depend on whether the entry was monolingual or bilingual but on the type of information being looked for: if the information was at the end of a complex entry, it did not matter whether the participant was looking in a monolingual or multilingual entry. When evaluating two systems for encoding syntactic structures (SVOO and make A B), the same success rates resulted for both variants. Only the eye-tracking investigation showed that the SVOO type was not used at all and the participants succeeded in finding the right solution

42 | Antje Töpel

in other ways. This result demonstrates a clear advantage of the eye-tracking method, which can show not only the actual result of the search, but also the path taken to it.

2.2.27 Dziemianko (2011) Type of investigation: Subjects: Subject matter:

Result:

Test 87 Polish students of English Testing the usefulness of an electronic and a printed monolingual learners’ dictionary in production and reception, as well as in vocabulary learning No differences between the printed and the electronic form of the LDOCE5

Dziemianko replicated her study on the usefulness of the COBUILD6 in printed and electronic form for the LDOCE5. The design and the materials of the study were the same as in Dziemianko (2010). 87 Polish students of English took part, 42 used the printed dictionary, 45 consulted the electronic equivalent. Dziemianko’s (2010) results were not confirmed in this study, as the medium of the LDOCE5 didn’t affect the students’ performance in receptive and productive tasks or in retention tasks. In addition, the electronic version of the COBUILD6 performed better than the electronic version of the LDOCE5. Dziemianko suspects that “unsolicited promotional material can lose an online dictionary much of its usefulness” (Dziemianko 2011: 99).

2.2.28 Kaneta (2011) Type of investigation: Subjects: Subject matter:

Result:

Observation (eye-tracking) and test 6 students Differences between dictionary types (monolingual/bilingual) and interfaces (traditional/layered) Dictionary types/interfaces do not influence the success rate, but different interfaces have an influence on the amount and length of reference to examples

6 Japanese students took part in Kaneta’s eye-tracking study and translation test. Kaneta wanted to find out whether different dictionary types (monolingual/bilingual) and interfaces (traditional/layered) have an influence on the success rate of consultation tasks and on the amount and length of reference to illustrative exam-

Review of research into the use of electronic dictionaries | 43

ples. The success rate didn’t differ by dictionary type or by interface. But the dictionary interface influenced both the amount and the length of reference to illustrative examples. The traditional interface led to a higher number of references, while the length of reference to the examples was longer in the layered interfaces.

2.2.29 Law/Li (2011) Type of investigation: Subjects: Subject matter: Result:

Survey (questionnaire and interviews) 342 translation students Use of Mobile Phone Dictionaries (MPDs): preferences and habits Users of MPDs need dictionary training, the functionality of MPDs should be expanded

Law/Li questioned 342 Hong Kong translation students about their use of Mobile Phone Dictionaries (MPDs) in translating. 66.1% of the students (226) had installed an electronic dictionary on their mobile phone, 62.3% of them used it every day or several times a week. Only half of the users (53.5%) considered themselves efficient users, but only 7.5% thought that they needed any instruction for using the device. To increase the efficiency of MPDs, users should develop their dictionary skills and MPD developers could improve the functions of MPDs (e.g. by providing an on-line hyperlink function).

2.2.30 Boonmoh (2012) Type of investigation: Subjects: Subject matter: Result:

Think-aloud protocol, observation, survey (interview) 13 students Utilisation of PEDs Participants read only the information on the PED screen and prefer bilingual dictionaries

Boonmoh’s study aims to report how PEDs are used for writing and how successful students are in their consultation of PEDs. 13 Thai students of English took part (chosen from the 1,211 participants in Boonmoh/Nesi’s study [2008]). They were asked to read a text in Thai and write a summary in English, using their PEDs. Additionally, five participants could review their summaries with the 6th edition of the OALD. While writing the summaries, students reported the process in think-aloud protocols. In addition, the author took observation notes and interviewed the students afterwards. The study confirmed the assumption that only few students would scroll down the screen to read the whole dictionary entry. The participants preferred

44 | Antje Töpel

to use bilingual dictionaries although they considered monolingual dictionaries to be useful.

2.2.31 Dziemianko (2012a) Type of investigation: Subjects: Subject matter: Result:

Test and survey (questionnaire) 86 students of English Usefulness of paper and electronic versions of OALDCE7 Comparable results for both dictionary forms

Dziemianko replicated the studies she conducted in 2010 and 2011 to investigate the usefulness of the OALDCE7 in paper and electronic form and to compare the three studies. The same materials as in Dziemianko (2010 and 2011) were used. 86 Polish students of English took part, 42 of them consulted the paper version, 44 the electronic version. There were no significant differences between the scores of users of paper and electronic dictionary form.

2.2.32 Lorentzen/Theilgaard (2012) Type of investigation: Subjects: Subject matter: Result:

Survey (online questionnaire) and observation (logging and interview) 1,082 participants Information on users of an online dictionary Broad target group and different situations of use

Lorentzen/Theilgaard describe the results of an online survey for the monolingual Danish dictionary Den Danske Ordbog, in which 1,082 users took part. The dictionary appeals to a well-educated target group at any age. The respondents – only 8 percent of them were new users – used the dictionary at work or in school, but at home as well. They often looked up information about meaning/use and spelling.

Review of research into the use of electronic dictionaries | 45

2.2.33 Heid/Zimmermann (2012) Type of investigation: Subjects: Subject matter: Result:

Survey (questionnaire) and test 13 students of translation science and specialized communication Suitable design of dictionary interface for collocation retrieval Translation students prefer the profile-based dictionaries

Heid/Zimmermann’s study deals with the most appropriate design for dictionary interfaces with regards to searching for collocations. They built different mock-ups of electronic dictionaries and tested them with 13 German students of translation science and specialized communication in a usability laboratory. Accompanying questionnaires completed the study. Three types of dictionary mock-ups were compared: a “one-shot” dictionary working as a search engine, a production-oriented profile-based dictionary and a reception-oriented profile-based dictionary. For the specific task of looking up collocations, the profile-based dictionaries were rated better by translation students. The participants preferred the possibilities they offered for focused search and the clear result presentation in contrast to the one-shot dictionary. However, the participants commented that they needed some time to familiarize themselves with the profile-based dictionaries.

2.2.34 Wictorsen Kola (2012) Type of investigation: Subjects: Subject matter:

Result:

Test 42 Norwegian pupils (15/16 years old) Morphological information in the monolingual electronic dictionary Bokmålsordboka and Nynorskordboka Fewer mistakes when morphological information is presented by a code and an example word

Wictorsen Kola investigates whether pupils understand the morphological information given in the monolingual electronic dictionary Bokmålsordboka and Nynorskordboka. The dictionary uses codes representing certain inflectional patterns. 42 Norwegian pupils (15/16 years old) participated in the study. 73 percent of the exercises were answered correctly. Fewer mistakes occurred when morphological information was presented by a code and an example word.

46 | Antje Töpel

2.2.35 Hult (2012) Type of investigation: Subjects:

Subject matter: Result:

Survey (online questionnaire) and observation (logging) 863 participants (questionnaires), 154,000 log files of consultations, 160,600 log files of users’ navigation Users and use of the dictionary Advantage of combining different research methods

Hult combines an online questionnaire and logfile analysis to obtain information on the users of the Swedish Lexin Dictionary, a monolingual learners’ dictionary for immigrants. As the IP addresses of the questionnaires and the log files were merged, Hult was able to compare the statements in the questionnaire to real users’ behaviour. 863 questionnaires were submitted. Unfortunately, no information is given about the results of the questionnaires, because they have still to be evaluated. Hult just mentions the fact that there were 154,000 log files of consultations and 160,600 log files of users’ navigation. She then presents the analysis of one particular user, combining the data of the questionnaire and the log files.

3 Summary and future research This review of the individual studies on the use of electronic dictionaries shows that the majority of investigations are concerned with multilingual, and above all bilingual, dictionaries (e.g. Leffa, Corris et al., Selva/Verlinde, De Schryver/Joffe, De Schryver et al., Laufer/Levitzky-Aviad, Chen and Simonsen). In addition to this, there are those works in which aspects of comparison of bilingual and monolingual dictionaries are the focus (e.g. Aust et al., Laufer/Hill, Ernst-Martins, Petrylaite et al., Lew/Doroszewska, Dziemianko and Kaneta). This is connected to the fact that some of the studies concentrate in particular on the subject of vocabulary learning, for instance Leffa, Laufer/Hill, Laufer, Hill/Laufer, Lew/Doroszewska, Chen and Dziemianko. The majority of the results of these studies show that looking up several different types of information supports vocabulary retention. Only Bergenholtz/Johnsen, Haß and more recently Tono, Lorentzen/Theilgaard, Wictorsen Kola and Hult deal exclusively with research into the use of monolingual electronic dictionaries, if the two adapted dictionary extracts are counted as digital dictionaries. As well as comparing bilingual and monolingual dictionaries, many investigations focus on contrasting electronic and printed dictionaries, such as Leffa, Aust et al., Laufer, Nesi (2000 b), Corris et al., Tono (2000), Winkler, Ernst-Martins, Boonmoh/Nesi, Petrylaite et al., Dziemianko and Chen (cf. Dziemianko 2012b for a sum-

Review of research into the use of electronic dictionaries | 47

mary). The most important results are that participants look up more in electronic dictionaries and that access to the required information is quicker than in printed dictionaries. In many studies, the positive attitude of those questioned towards electronic dictionaries is also emphasized, which is often expressed in the users’ higher level of satisfaction with the dictionary. Studies into the use of electronic dictionaries have until now dealt mostly with documenting and evaluating user behaviour. In some cases (for example De Schryver/Joffe 2004), log files serve to close gaps in the lemmata in electronic dictionaries, if words which have been unsuccessfully looked up in the dictionary are amended (cf. De Schryver/Prinsloo and their concept of simultaneous feedback). Until now, users have been almost completely excluded from the process of constructing an electronic dictionary and the issue of how to present particular content. One exception is Haß, in whose investigation users judge the language used in the interface of the online dictionary elexiko. In addition, Simonsen (2009) investigates which type of data presentation the participants prefer. Of the numerous investigations presented here, only a proportion contain research into the use of online dictionaries. This arises from the fact that online dictionaries are only one kind of electronic dictionary. It is interesting in this context that academics from Asia (such as Boonmoh/Nesi, Boonmoh, Tono and Chen) carry out research into PEDs frequently, because these are particularly popular there, especially in Japan. The methods used until now in research into the use of electronic dictionaries are less diverse than in research into dictionary use generally, and they are dominated by logfile analysis. They are mostly special tests in the framework of research into dictionary use. User data logged over a longer period are evaluated by De Schryver/Joffe, Bergenholtz/Johnsen, De Schryver et al., Verlinde/Binon, Lorentzen/Theilgaard and Hult. Simonsen (2009 and 2011), Kaneta (2011) and Tono (2011) carry out observations using eye-tracking studies. A total of five studies – Haß, Sánchez Ramos, Boonmoh/Nesi, Petrylaite et al. and Boonmoh – use questionnaires. Winkler, Chen and Bank combine a survey using a questionnaire with an experimental design. No other methods have been used to date. There is wide variation in the number of participants in the individual works. It ranges from five participants in Tono (2000) and Simonsen (2009) to 2,530 dictionary users in De Schryver/Joffe. On the one hand, the aforementioned concentration on logfile analysis makes use of the opportunities which arise from researching a type of dictionary which is still very new in terms of medium: there can hardly be another method which could supply more comprehensive, more exact and more reliable data on what users look up in electronic dictionaries than logfile analysis (see also Laufer/Hill 2000). On the other hand, this method also has various disadvantages: one problem is that the content of online dictionaries is often searched not by genuine dictionary users but by web crawlers, which should be excluded from the analyses. For example, Verlinde/Binon (2010: 1146) disclose in their logfile analysis of the

48 | Antje Töpel

Base lexical du français (BLF) that 90.49 % of all accesses arise from web crawlers. With regard to human users, there are also data protection considerations. Furthermore, only existing dictionaries can be analyzed through the use of log files. Another problem is that by just analyzing log files, without additional data about the user (such as sociodemographic information), many questions remain unanswered (cf. Lew 2011 b: 13, cf. Hult 2012 for an attempt to combine log files with sociodemographic data). If, for example, there is no concrete information about the situation which has led to the user looking something up, then no statements can be made about what has really motivated the user to look something up. Nor can information about how satisfied the user is with what s/he has found in the dictionary be extracted in this way. For information of this kind, the user must be either asked directly or deliberately placed in a particular dictionary usage situation in which his/her behaviour can be seen. The same applies to issues of constructing and presenting individual dictionary entries, such as the use of menus, integrating visual representations or the language of the user interface. So through the use of eyetracking studies, in contrast to logfile analyses, it is possible to establish not only what the user is looking for, but also what movements his/her eyes make on the screen (cf. Simonsen 2011: 75). However, investigations which use eye-tracking have the disadvantage of being very expensive, for which reason often only an extremely small number of participants take part in them, such as six people in Kaneta (2011) or Simonsen (2011), of which in the end only three were included in the data analysis. This explains why eye-tracking studies have until now been unable to provide generalizable results in the context of research into dictionary use. On the whole, a combination of different methods is advantageous, which combines elements of observation (eye-tracking and/or logfile analysis as an expression of concrete user behaviour), surveys (in the form of questionnaires or interviews, for information on background) and tests (construction of a particular dictionary usage situation which is identical for all participants). In this way, the advantages of the individual methods of investigation could be used specifically for different questions. This would provide results which above all could be more easily compared with each other in relation to the make-up of the participants and the dictionary usage situations. In recent years, the combination of different research methods in a single study has gained in importance. This description of the current state of research into the use of electronic dictionaries makes it clear that in several areas there remains much to investigate. On the content side, both research into online dictionaries, in this case particularly monolingual dictionaries, and issues of user-friendly presentation of content have been investigated only a little or not at all. Overall, general questions on online dictionary use, such as expectations of and demands on online dictionaries in general, and questions of design, have been poorly addressed so far. On the methodological side, a combination of different procedures and participant groups would be desirable in the future, for the reasons outlined above. In the remaining articles in

Review of research into the use of electronic dictionaries | 49

this volume, attempts to put this into practice in the framework of a project on research into the use of online dictionaries (www.using-dictionaries.info) at the Institute for German Language in Mannheim will be presented.

Bibliography Atkins, S. B. T., & Varantola, K. (1997). Monitoring dictionary use. International Journal of Lexicography, 10(1), 1–45. Aust, R., Kelley, M. J., & Roby, W. (1993). The Use of Hyper-Reference and Conventional Dictionaries. Educational Technology Research and Development, 41(4), 63–73. Bank, C. (2010). Die Usability von Online-Wörterbüchern und elektronischen Sprachportalen. Universität Hildesheim,, Hildesheim. Barnhart, C. L. (1962). Problems in editing commercial monolingual dictionaries. In F. W. Householder & S. Sapatora (Eds.), Problems in Lexicography (pp. 161–181). Bloomington: Indiana U. P. Bergenholtz, H. (2011). 2. Access to and Presentation of Needs-adapted Data in Monofunctional Internet Dictionaries. In H. Bergenholtz & P. A. Fuertes-Olivera (Eds.), e-Lexicography. The Internet, Digital Initiatives and Lexicography (pp. 30–45). London/New York: Continuum. Bergenholtz, H., & Johnsen, M. (2005). Log Files as a Tool for Improving Internet Dictionaries. Hermes. Journal of Language and Communication Studies, 34, 117–141. Bergenholtz, H., & Tarp, S. (2002). Die moderne lexikographische Funktionslehre. Diskussionsbeitrag zu neuen und alten Paradigmen, die Wörterbücher als Gebrauchsgegenstände verstehen. Lexicographica, 18, 253–263. Bergenholtz, H., & Varank, V. (2002, 2009). Den Danske Netordbog. In collaboration with Lena Lund, Helle Grønborg, Maria Bruun Jensen, Signe Rixen Larsen, Rikke Refslund, Mia Johnsen, Katja Å. Laursen, Sophie Leegaard and Maj H. Bukhave. Databank and Design: Richard Almind. Retrieved 15 October, 2009, from http://www.ordbogen.com/ordboger/ ddno/ Bogaards, P. (2003). Uses and users of dictionaries. In P. van Sterkenburg (Ed.), A Practical Guide to Lexikography (pp. 26–33). Amsterdam/Philadelphia: John Benjamins Publishing Company. Boonmoh, A. (2011). Students’ knowledge of pocket electronic dictionaries: recommendations for the students. In K. Akasu & U. Satoru (Eds.), ASIALEX2011 Proceedings Lexicography: Theoretical and practical perspectives (pp. 66–75). Kyoto: Asian Association for Lexicography. Boonmoh, A. (2012). E-dictionary Use under the Spotlight. Students’ Use of Pocket Electronic Dictionaries for Writing. Lexikos, (22), 43–68. Boonmoh, A., & Nesi, H. (2008). A survey of dictionary use by Thai university staff and students, with special reference to pocket electronic dictionaries. Horizontes de Lingüística Aplicada, 6(2), 79–90. Chen, Y. (2010). Dictionary use and EFL learning. A contrastive study of pocket electronic dictionaries and paper dictionaries. International Journal of Lexicography, 23(3), 275–306. Chen, Y. (2011). Studies on bilingualized dictionaries: The user perspective. International Journal of Lexicography, 24(2), 161–197. Chiari, I. (2006). Performance Evaluation of Italian Electronic Dictionaries: User’s Needs and Requirements. In E. Corino, C. Marello, & C. Onesti (Eds.), XII EURALEX International Congress. Turin. Corris, M., Manning, C., Poetsch, S., & Simpson, J. (2000). Bilingual Dictionaries for Australian Languages: User studies on the place of paper and electronic dictionaries. In U. Heid, S. Evert, E. Lehmann, & C. Rohrer (Eds.), IX EURALEX International Congress (pp. 169–181). Stuttgart.

50 | Antje Töpel

De Schryver, G.-M. (2003). Lexicographers’ Dreams in the Electronic Dictionary Age. International Journal of Lexicography, 16(2), 143–199. De Schryver, G.-M., & Joffe, D. (2003, 2009). Online Dictionary: Sesotho sa Leboa (Northern Sotho) English. Retrieved December 18, 2013, from http://africanlanguages.com/sdp/ De Schryver, G.-M., & Joffe, D. (2004). On How Electronic Dictionaries are Really Used. In G. Williams & S. Vessier (Eds.), Proceedings of the Eleventh EURALEX International Congress, Lorient, France, July 6th–10th (pp. 187–196). Lorient: Université de Bretagne Sud. De Schryver, G.-M., Joffe, D., Joffe, P., & Hillewaert, S. (2006). Do dictionary users really look up frequent words?—on the overestimation of the value of corpus-based lexicography. Lexikos, 16, 67–83. De Schryver, G.-M., & Prinsloo, D. J. (2000). The Concept of “Simultaneous Feedback”: Towards a New Methodology for Compiling Dictionaries. Lexikos, (10), 1–31. Diekmann, A. (2010). Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen (4th ed.). Hamburg: Rowohlt. Drápela, M. (2005). Three Online Learners’ Dictionary. Retrieved December 18, 2013, from http://philologica.net/studia/20051231180000.htm Dziemanko, A. (2010). Paper or electronic? The role of dictionary form in language reception, production and the retention of meaning and collocations. International Journal of Lexicography, 23(3), 257–273. Dziemanko, A. (2011). Does dictionary form really matter? In K. Akasu & U. Satoru (Eds.), ASIALEX2011 Proceedings Lexicography: Theoretical and practical perspectives (pp. 92–101). Kyoto: Asian Association for Lexicography. Dziemanko, A. (2012a). On the use(fulness) of paper and electronic dictionaries. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 319–341). Oxford: Oxford University Press. Dziemanko, A. (2012b). Why one and two do not make three: Dictionary form revisited. Lexikos, (22), 195–216. Engelberg, S., & Lemnitzer, L. (2001). Lexikographie und Wörterbuchbenutzung. Tübimgen: Stauffenburg. Engelberg, S., & Müller-Spitzer, C. (forthcoming). Dictionary Portals. In R. H. Gouws, U. Heid, W. Schweickard, & H. E. Wiegand (Eds.), Dictionaries. An international encyclopedia of lexicography. Supplementary volume: Recent Developments with Focus on Electronic and Computational Lexicography. Berlin/New York: De Gruyter. Ernst-Martins, N. M. R. (2003). O uso de dicionário on-line na compreensão de textos em língua española. Universidade católica de Pelotas, Pelotas. Retrieved July 11, 2013, from http://biblioteca.ucpel.tche.br/tedesimplificado/tde_busca/arquivo.php?codArquivo=185. Europäische Akademie Bozen. (2002). ELDIT – Elektronisches Lern(er)wörterbuch Deutsch Italienisch. Retrieved July 11, 2013, from http://dev.eurac.edu:8081/MakeEldit1/Eldit.html Gehrau, V. (2002). Die Beobachtung in der Kommunikationswissenschaft: methodische Ansätze und Beispielstudien. Konstanz: UVK-Verlagsgesellschaft. Hartmann, R. R. K. (1987). Wozu Wörterbücher? Die Benutzungsforschung in der zweisprachigen Lexikographie. Lebende Sprachen, 32(4), 154–156. Hartmann, R. R. K. (1989). Sociology of the Dictionary User: Hypotheses and Empirical Studies. In F. J. Hausmann, O. Reichmann, H. E. Wiegand, & L. Zgusta (Eds.), Wörterbücher – Dictionaries – Dictionnaires. Ein internationales Handbuch zur Lexikographie (Vol. 1, pp. 102–111). Berlin, New York: de Gruyter. Hartmann, R. R. K. (2000). European Dictionary Culture. The Exeter Case Study of Dictionary Use among University Students, against the Wider Context of the Reports and Recommendations of the Thematic Network Project in the Area of Languagew 1996–1999. In U. Heid, S. Evert, E. Lehmann, & C. Rohrer (Eds.), IX EURALEX International Congress (pp. 385–391). Stuttgart.

Review of research into the use of electronic dictionaries | 51

Haß, U. (2005). Nutzungsbedingungen in der Hypertextlexikografie. Über eine empirische Untersuchung. In D. Steffens (Ed.), Wortschatzeinheiten: Aspekte ihrer (Be) schreibung. Dieter Herberg zum 65. Geburtstag (pp. 29–41). Mannheim: Institut für Deutsche Sprache. Hausmann, F. J. (1989). Wörterbuchtypologie. In F. J. Hausmann, O. Reichmann, H. E. Wiegand, & L. Zgusta (Eds.), Wörterbücher – Dictionaries – Dictionnaires. Ein Internationales Handbuch zur Lexikographie (Vol. 1, pp. 968–981). Berlin,New York: de Gruyter. Heid, U. (2011). Electronic Dictionaries as Tools: Towards an Assessment of Usability. In P. A. Fuertes-Olivera & H. Bergenholtz (Eds.), e-Lexicography. The Internet, Digital Initiatives and Lexicography (pp. 285–304). London: Continuum. Heid, U., & Zimmermann, J. T. (2012). Usability testing as a tool for e-dictionary design: collocations as a case in point. In J. M. Torjusen & R. V. Fjeld (Eds.), Proceedings of the 15th EURALEX International Congress 2012, Oslo, Norway, 7 – 11 August 2012 (pp. 661–671). Oslo. Heuberger, R. (2000). Monolingual dictionaries for foreign learners of English: a constructive evaluation of the state-of-the-art reference works in book form and on CD-ROM. Wien: Braumüller. Hill, M., & Laufer, B. (2003). Type of task, time-on-task and electronic dictionaries in incidental vocabulary acquisition. IRAL-International Review of Applied Linguistics in Language Teaching, 41(2), 87–106. Hillewaert, S., Joffe, P., & De Schryver, G.-M. (2004, 2006). Swahili – English Dictionary (Kamusi ya Kiswahili – Kiingereza). Retrieved December 18, 2013, from http://africanlanguages.com/swahili/. Höhne, S. (1991). Die Rolle des Wörterbuchs in der Sprachberatung. Zeitschrift Für Germanistische Linguistik, 19(3), 293–321. Hornby, A. S., & Wehmeier, S. (2004). Oxford Advanced Learner’s English–Chinese Dictionary. Beijing: The Commercial Press. Hulstijn, J. H., & Atkins, B. T. S. (1998). Empirical research on dictionary use in foreign-language learning: survey and discussion. In B. T. S. Atkins (Ed.), Using Dictionaries (pp. 7–19). Tübingen: Max Niemeyer Verlag. Hult, A.-K. (2012). Old and New User Study Methods Combined ‒ Linking Web Questionnaires with Log Files from the Swedish Lexin Dictionary. Oslo. Universitetet i Oslo, Institutt for lingvistiske og nordiske studier. In J. M. Torjusen & R. V. Fjeld (Eds.), Proceedings of the 15th EURALEX International Congress 2012 (pp. 922–928). Oslo, Norway. Retrieved December 18, 2013, from http://www.euralex.org/elx_proceedings/Euralex2012/pp922-928%20Hult.pdf. Institut für Deutsche Sprache (Ed.). (2003ff). elexiko : Online-Wörterbuch zur deutschen Gegenwartssprache. Retrieved December 18, 2013, from www.elexiko.de. Kaneta, T. (2011). Folded or unfolded: eye-tracking analysis of L2 learner’s reference behavior with different types of dictionary interfaces. In K. Akasu & U. Satoru (Eds.), ASIALEX2011 Proceedings Lexicography: Theoretical and practical perspectives (pp. 219–224). Kyoto: Asian Association for Lexicography. Klosa, A., Lemnitzer, L., & Neumann, G. (2008). Wörterbuchportale–Fragen der Benutzerführung. Lexikographische Portale Im Internet. OPAL Sonderheft, 1, 5–35. Krajka, J. (2004). Electronic Dictionaries as Teaching and Learning Tools – Possibilities and Limitations. In M. C. Campoy Cubillo & P. Safont Jordà (Eds.), Computer-mediated lexicography in the foreign language learning context (pp. 29–46). Castellón de la Plana: Universitat Jaume I. Laufer, B., & Hadar, L. (1997). Assessing the Effectiveness of Monolingual, Bilingual, and “Bilingualised” Dictionaries in the Comprehension and Production of New Words. Modern Language Journal, 81(2), 189–196. Laufer, B., & Hill, M. (2000). What lexical information do L2 learners select in a CALL dictionary and how does it affect word retention? Language Learning & Technology, 3(2), 58–76.

52 | Antje Töpel

Laufer, B., & Levitzky-Aviad, T. (2006). Examining the effectiveness of “bilingual dictionary plus”–a dictionary for production in a foreign language. International Journal of Lexicography, 19(2), 135–155. Law, W. (2011). Mobile Phone Dictionary: Friend or Foe? A User Attitude Survey of Hong Kong Translation Students. In K. Akasu, U. Satoru, & K. Li (Eds.), ASIALEX2011 Proceedings Lexicography: Theoretical and practical perspectives (pp. 303–312). Kyoto: Asian Association for Lexicography. LDOCE Online – Longman English Dictionary Online. (2013). Retrieved December 11, 2013, from http://www.ldoceonline.com/ Leffa, V. J. (1993). Using an Electronic Dictionary to Understand Foreign Language Texts. Trabalhos Em Linguistica Aplicada, 21, 19–29. Lemnitzer, L. (2001). Das Internet als Medium für die Wörterbuchbenutzungsforschung. In I. Lemberg, B. Schröder, & A. Storrer (Eds.), Chancen und Perspektiven computergestützer Lexikographie. Hypertext, Internet und SGML/XML für die Produktion und Publikation digitaler Wörterbücher (pp. 247–254). Tübingen: Max Niemeyer Verlag. Lew, R. (2011). Studies in Dictionary Use: Recent Developments. International Journal of Lexicography, 24(1), 1-4. Lew, R. (2011). User studies: Opportunities and limitations. In K. Akasu & U. Satoru (Eds.), ASIALEX2011 Proceedings Lexicography: Theoretical and practical perspectives (pp. 7–16). Kyoto: Asian Association for Lexicography. Lew, R., & Doroszewska, J. (2009). Electronic dictionary entries with animated pictures: Lookup preferences and word retention. International Journal of Lexicography, 22(3), 239–257. Limited, M. P. (2009, 2011). Macmillan Dictionary and Thesaurus: Free English Dictionary Online. Retrieved July 11, 2011, from http://www.macmillandictionary.com/ Lorentzen, H. (2012). Online dictionaries – how do users find them and what do they do once they have? In L. Theilgaard (Ed.), Proceedings of the 15th EURALEX International Congress 2012, Oslo, Norway, 7 – 11 August 2012 (pp. 654–660). Oslo: Universitetet i Oslo, Institutt for lingvistiske og nordiske studier. Retrieved December 18, 2013, from http://www.euralex.org/elx_proceedings/Euralex2012/pp626-639%20Sharifi.pdf Loucky, J. P. (2005). Combining the benefits of electronic and online dictionaries with CALL web sites to produce effective and enjoyable vocabulary and language learning lessons. Computer Assisted Language Learning, 18(5), 389–416. Macmillan Publishers Limited. (2009, 2011). Macmillan Dictionary and Thesaurus: Free English Dictionary Online. Retrieved July 11, 2011, from http://www.macmillandictionary.com/ Mann, M. (2010). Internet-Wörterbücher am Ende der „Nullerjahre“: Der Stand der Dinge. Eine vergleichende Untersuchung beliebter Angebote hinsichtlich formaler Kriterien unter besonderer Berücksichtigung der Fachlexikographie. In Lexicographica (pp. 19–46). De Gruyter. Müller-Spitzer, C. (2007). Der lexikografische Prozess: Konzeption für die Modellierung der Datenbasis. Tübingen: Narr. Müller-Spitzer, C. (2008). Research on Dictionary Use and the Development of User-Adapted Views. In A. Storrer, A. Geyken, A. Siebert, & K.-M. Würzner (Eds.), Text Resources and Lexical Knowledge Selected Papers from the 9th Conference on Natural Language Processing KONVENS 2008 (pp. 223–238). Berlin: de Gruyter. Nesi, H. (1999). A User’s Guide to Electronic Dictionaries for Language Learners. International Journal of Lexicography, 12(1), 55–66. Nesi, H. (2000a). Electronic dictionaries in second language vocabulary comprehension and acquisition: The state of the art. In U. Heid, S. Evert, E. Lehmann, & C. Rohrer (Eds.), IX EURALEX International Conference (pp. 839–847). Stuttgart.

Review of research into the use of electronic dictionaries | 53

Nesi, H. (2000b). On screen or in print? Students’ use of a learner’s dictionary on CD-ROM and in book form. In P. Howarth & R. Herington (Eds.), Issues in EAP Learning Technologies (pp. 106– 114). Leeds: Leeds University Press. Nord, B. (2002). Hilfsmittel beim Übersetzen: eine empirische Studie zum Rechercheverhalten professioneller Übersetzer. Frankfurt: Peter Lang. OWID – Online-Wortschatz-Informationssystem Deutsch. (2008, 2013). Retrieved December 18, 2013, from http://www.owid.de/ Petrylaitė, R., Vaškelienė, D., & Vėžytė, T. (2008). Changing Skills of Dictionary Use. Studies about Languages, 12, 77–82. Ripfel, M., & Wiegand, H. E. (1988). Wörterbuchbenutzungsforschung. Ein kritischer Bericht. In H. E. Wiegand (Ed.), Studien zur neuhochdeutschen Lexikographie VI (pp. 491–520). Hildesheim u.a.: Georg Olms Verlag. Roby, W. B. (1999). What’s in a gloss. Language Learning & Technology, 2(2), 94–101. Sánchez Ramos, M. M. (2005). Research on dictionary use by trainee translators. Translation Journal, 9(2). Schnell, R., Hill, P. B., & Esser, E. (2009). Methoden der empirischen Sozialforschung. München: Oldenbourg, R. Selva, T., & Verlinde, S. (2002). L’utilisation d’un dictionnaire électronique: une étude de cas. In A. Braasch & C. Povlsen (Eds.), X EURALEX International Conference (pp. 773–781). Kopenhagen. Simonsen, H. K. (2009). Vertical or Horizontal? That is the Question: An Eye-Track Study of Data Presentation in Internet Dictionaries. Kopenhagen: Copenhagen Business School. Simonsen, H. K. (2011). User Consultation Behaviour in Internet Dictionaries: An Eye-Tracking Study. Hermes. Journal of Language and Communication Studies, 46, 75–101. Sinclair, J. (Ed.). (2009). Collins COBUILD advanced dictionary. Boston, MA: Heinle Cengage Learning. Storrer, A., & Freese, K. (1996). Wörterbücher im Internet. Deutsche Sprache, 24(2), 97–153. Tarp, S. (2008). Lexicography in the borderland between knowledge and non-knowledge: general lexicographical theory with particular focus on learner’s lexicography. Tübingen: Max Niemeyer Verlag. Tono, Y. (2000). On the effects of different types of electronic dictionary interfaces on L2 learners’ reference behaviour in productive/receptive tasks. In U. Heid, S. Evert, E. Lehmann, & C. Rohrer (Eds.), IX EURALEX Interntational Conference (pp. 855–861). Stuttgart. Tono, Y. (2004). Research on the use of electronic dictionaries for language learning: Methodological Considerations. In M. C. Campoy Cubillo & M. P. Safont Jordá (Eds.), Computer-mediated lexicography in the foreign language learning context (pp. 13–27). Castelló de la Plana: Universitat Jaume I. Tono, Y. (2009). Pocket Electronic Dictionaries in Japan: User Perspectives. In H. Bergenholtz, S. Nielsen, & S. Tarp (Eds.), Lexicography at a Crossroads: Dictionaries and Encyclopedias Today, Lexicographical Tools Tomorrow (pp. 33–67). Bern u.a.: Peter Lang. Tono, Y. (2011). Application of Eye-Tracking in EFL Learners. Dictionary Look-up Process Research.’International Journal of Lexicography, 23. Tribble, C. (2003). Five electronic learners’ dictionaries. ELT Journal, 57(2), 182–197. Verlinde, S., & Binon, J. (2010). Monitoring Dictionary Use in the Electronic Age. In A. Dykstra & T. Schoonheim (Eds.), Proceedings of the XIV Euralex International Congress (pp. 1144–1151). Ljouwert: Afûk. Verlinde, S., Peeters, G., & Wielants, J. (n.d.). Lexical Database for French (Base lexicale du français – BLF). Retrieved December 18, 2013, from http://ilt.kuleuven.be/blf/ Welker, H. A. (2006). O uso de dicionários: panorama geral das pesquisas empíricas. Brasília, DF: Thesaurus.

54 | Antje Töpel

Welker, H. A. (2006). Pesquisando o uso de dicionários. Linguagem & Ensino, 9(2), 223–243. Welker, H. A. (2008). Sobre o Uso de Dicionarios. Anais Do Celsul, 1–17. Wictorsen Kola, A.-K. (2012). A study of pupils’ understanding of the morphological information in the Norwegian electronic dictionary Bokmålsordboka and Nynorskordboka. In J. M. Torjusen & R. V. Fjeld (Eds.), Proceedings of the 15th EURALEX International Congress 2012 (pp. 672–675). Oslo, Norway. Retrieved from http://www.euralex.org/elx_proceedings/Euralex2012/pp922928%20Hult.pdf Wiegand, H. E. (1987). Zur handlungstheoretischen Grundlegung der Wörterbuchbenutzungsforschung. Lexicographica, 3, 178–227. Wiegand, H. E. (1998). Wörterbuchforschung: Untersuchungen zur Wörterbuchbenutzung, zur Theorie, Geschichte, Kritik und Automatisierung der Lexikographie. Berlin u.a.: Walter De Gruyter. Wiegand, H. E. (2008). Wörterbuchbenutzung bei der Übersetzung. Möglichkeiten ihrer Erforschung. Wiegand, H. E., Beißwenger, M., Gouws, R. H., Kammerer, M., Storrer, A., & Wolski, W. (2010). Systematische Einführung. In Wörterbuch zur Lexikographie und Wörterbuchforschung. 1st vol.: Systematische Einführung (pp. 1–121). de Gruyter. Retrieved from http://books.google.de/books?id=Bg9tcgAACAAJ Winkler, B. (1998). Electronic Dictionaries for Learners of English. Retrieved from http://web.warwick.ac.uk/fac/soc/CELTE/PG_conference/B_Winkler.htm Winkler, B. (2001a). English learners’ dictionaries on CD-ROM as reference and language learning tools. ReCALL, 13(02), 191–205. Winkler, B. (2001b). Students working with an English learners’ dictionary on CD-ROM. In ITMELT (pp. 227–254). Hong Kong, The English Language Centre, The Hong Kong Polytechnic University. Retrieved from http://elc.polyu.edu.hk/conference/papers2001/winklet.htm Zöfgen, E. (1994). Lernerwörterbücher in Theorie und Praxis. Ein Beitrag zur Metalexikographie mit besonderer Berücksichtigung des Französischen. Tübingen: Max Niemeyer.

(Atkins&Varantola,1997;Aust,Kelley,&Roby,1993;Bank,2010;Barnhart,1962;H.Bergenholtz&Tarp,2002;HenningBergenholtz&Johnsen, 2005;Bogaards,2003;A.Boonmoh&Nesi,2008;Chen,2010,2011;Chiari,2006;Corris,Manning,Poetsch,&Simpson,2000;DeSchryver,Joffe,Joffe,&Hillewaert,2006;DeSchryver&Joffe,2004;DeSchryver,2003;Diekmann,2010;Drápela,2005;Dziemanko,2010;S. Engelberg&Lemnitzer,2001;StefanEngelberg&MüllerͲSpitzer,inpress;Hartmann,1987,1989,2000;Haß,2005;Heid&Zimmermann,2012;Heid,2011;Hill&Laufer,2003;InstitutfürDeutscheSprache,2003ff) (Höhne,1991;Hulstijn&Atkins,1998;Hult,2012;Klosa,Lemnitzer,&Neumann,2008)(R.Lew&Doroszewska,2009;R.Lew,2011;RobertLew,2011)(Loucky,2005;Mann,2010;MüllerͲSpitzer,2008;H.Nesi, 2000b;HilaryNesi,1999;Nord,2002)(PetrylaitĦ,VaškelienĦ,&VĦžytĦ,2008;Ripfel&Wiegand,1988;SánchezRamos,2005;Selva&Verlinde,2002;Simonsen,2011;Storrer&Freese,1996;Tarp,2008;Tono,2011,2000,2004,2009;Tribble,2003;Verlinde&Binon,2010;H.A.Welker,2006,2008;H.E.Wiegand,1987,1998,2008;B.Winkler,2001a,2001b;Zöfgen,1994)(HenningBergenholtz&Varank,2002)(Henning Bergenholtz,2011)(AtipatBoonmoh,2011)(AtipatBoonmoh,2012)(DeSchryver&Joffe,2003)(DeSchryver&Prinsloo,2000)(Dziemanko,2011)(Dziemanko,2012b)(Dziemanko,2012a)(Hausmann,1989)(ErnstͲMartins,2003)(EuropäischeAkademieBozen,2002)(Gehrau,2002)(Heuberger,2000)(BatiaLaufer&Hadar,1997)(Hillewaert,Joffe,&DeSchryver,2004)(Hornby&Wehmeier,2004)(Kaneta,2011)(Verlinde,Peeters,& Wielants,o.J.)(Krajka,2004)(B.Laufer&Hill,2000)(B.Laufer&LevitzkyͲAviad,2006)(Law,2011)(Leffa,1993)(Lemnitzer,2001)(„LDOCEOnlineͲLongmanEnglishDictionaryOnline“,2013)(Lorentzen,2012)(MüllerͲSpitzer,2007)(MacmillanPublishersLimited,2009)(H.Nesi,2000a)(Nielsen,Mourier,&Bergenholtz,2009)(Roby,1999)(„OWID–OnlineͲWortschatzͲInformationssystemDeutsch“,2008)(Schnell,Hill,&Esser, 2009)(Simonsen,2009)(Sinclair,2009)(HerbertAndreasWelker,2006)(WictorsenKola,2012)(HerbertErnstWiegandu.a.,2010)(BirgitWinkler,1998)

Alexander Koplenig

Empirical research into dictionary use A brief guide Abstract: This chapter summarizes the typical steps of an empirical investigation. Every step is illustrated using examples from our research project into online dictionary use or other relevant studies. This chapter does not claim to contain anything new, but presents a brief guideline for lexicographical researchers who are interested in conducting their own empirical research. Keywords: research question, operationalization, research design, methods of data collection, data analysis

| Alexander Koplenig: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)6211581435, [email protected]

1 Introduction On the subject of the methodology of user studies in the context of dictionary research, Lew (2011, p. 8) argues that “[u]ser studies can answer a number of questions that are relevant to (mostly) practical lexicography. However, to be maximally useful, researchers need to be really careful about the exact form of the question they actually want to ask. Having settled on this part, they need to think long and hard about what are the best possible means to tackle the specific questions that they want answered.”

To “tackle the specific questions” (for example about how online dictionaries are actually being used or how they could be made more user-friendly), many researchers have called for a more intense focus on empirical research (Atkins & Varantola, 1997; Hartmann, 2000; Hulstijn & Atkins, 1998). When referring to empirical social research, Hartmann (1987, p. 155, 1989, pp. 106–107), Ripfel & Wiegand (1988, pp. 493–520), Tono (1998, pp. 102–105) and Zöfgen (1994, p. 39 seqq.) list experiments and surveys as distinct methods of dictionary usage research. However, as I will try to show below, these authors seem to mix up two distinct elements of empirical research that it is important to distinguish: on the one hand the research design, and on the other hand the instrument of data collection. In this chapter, I will therefore try to describe the typical steps in an empirical investigation as defined by Diekmann (2002), Babbie (2008) and Trochim & Land (1982) that seem to be im-

56 | Alexander Koplenig

portant for empirical research into dictionary usage. Every step will be illustrated using examples from our research project or other relevant studies. I hope that this brief guide will be of some help – in Lew’s words – in maximizing the usefulness of user studies in dictionary research by helping the investigator to answer the following questions: – What is the relationship of interest? (cf. Section 2.1) – How will the variables involved be measured? (cf. Section 2.2) – What type of design is the most appropriate for collecting the data? (cf. Section 2.3.1) – What kind of structure is best suited for answering the research question? (cf. Section 2.3.2) – How should the data be collected? (cf. Section 2.3.3) – How should the collected data be analyzed? (cf. Section 2.4)

2 Research Methodology The following five steps on how to conduct an empirical study are closely based on Diekmann’s guidelines (2002, pp. 161–191).

Formulating the Research Question It may seem trivial, but nevertheless it is worth mentioning: each (empirical) research project starts with the formulation of a question. If there is no question, then there is nothing to research. Popper (1972) most notably demonstrated this by asking his audience to “observe”. Of course, the only logical reply to his demand is “what?” (or “why”, or “when”, or “how”). The better the research question is articulated, the easier all subsequent steps will be. In relation to dictionary usage research, it is also first of all necessary to clarify what exactly the focus of interest is. On the one hand, framing a research question can also mean specifying the hypotheses to be tested in the study. Ideally, the researcher already knows at this point which variables are dependent and which ones are independent (Diekmann, 2002, p. 162; cf. Example 1). Example 1 In our project, we tried to find out whether different user groups have different preferences regarding the use of an online dictionary (Koplenig, 2011). This means we were interested in the influence of a person’s background on his/her individual preference. In this case, the dependent variable is the preference relation of the user, whereas professional background and academic background serve as independent variables.

Empirical research into dictionary use | 57

Example 1 highlights an important point: if the researcher is interested in the influence of one or more background variables on a response variable, it is essential that all the information needed to answer the question is collected. In this case, using log files as “the electronic trace of the dictionary user’s consultation behaviour” (Lew, 2011, p. 6) does not seem to be a promising research strategy (cf. the following sections for further arguments supporting this view). On the other hand, if the general aim of the research is to gain an initial insight into a topic, no hypotheses can be formed ex ante. In this situation, the purpose of the investigation is to develop hypotheses by exploring a field (Diekmann, 2002, p. 163, cf. Example 2). Example 2 As Tarp (2009a) has pointed out, the “close relation between specific types of social needs and the solutions given by means of dictionaries” (Tarp, 2009a, p. 19) have not yet been thoroughly investigated. To explore the contexts of dictionary use, we decided to include an open-ended question in our first survey: In which contexts or situations would you use a dictionary? Please use the field below to answer this question by providing as much information as possible. (cf. Müller-Spitzer: Contexts of dictionary use, this volume). After the theoretical concept of the investigation has been decided, the researcher needs to decide how to measure this concept. This is called operationalization.

Operationalization Testing a hypothesis usually means that the researcher first has to clarify how to measure the variables involved (Babbie, 2008, p. 46; Diekmann, 2002, p. 168). Hartmann (1989, p. 103) hypothesizes that “[d]ifferent user groups have different needs”, and therefore ‚”[t]he design of any dictionary cannot be considered realistic unless it takes into account the likely needs of various users in various situations” (Hartmann, 1989, p. 104). But what is a user group (Wiegand et al., 2010, p. 678)? For example, if it is assumed that the groups are determined by classical sociodemographical variables such as gender or age, the operationalization is easy. But it is also a reasonable assumption that relevant group variables in this context could be the professional or academic background (cf. Example 1) or the usage experience. However, it is not clear a priori what is meant by an experienced dictionary user. So if one of the research hypotheses states that the amount of experience in dictionary use is a determinant of a successful dictionary consultation, it is first of all necessary to define how experience is measured in this context (cf. Example 3).

58 | Alexander Koplenig

Example 3 In our project, we asked the respondents to one of our surveys to estimate on how many days per week they use online dictionaries (0 – 7). This estimation served as a proxy for dictionary usage experience: we assumed that people who use a dictionary every day (7) are on average more experienced than people who use the dictionary less often. Our operationalization of dictionary usage experience is rather simple (for a different approach, see Wiegand, 1998, p. 506 seqq.). Whether it fully captures the essential nature of experience in this context is open to debate. Indeed, in our analysis of the data, we found no correlation between this simple proxy and user preferences. Unfortunately, we cannot deduce from this result that in reality there is no correlation between these two variables, because it is (maybe even more) likely that our operationalization of usage experience was not successful. We might therefore have obtained a different result if we had used another operationalization. In most cases, it is not possible to avoid this problem completely, but using multiple indicators for one construct whenever possible is a reasonable strategy. If several indicators point in the same direction, the convergent validity of the construct increases and as a result the problem levels off (cf. Example 4). Example 4 To identify different user demands (cf. Example 1), we decided to ask the respondents both to rate ten aspects of usability regarding the use of an online dictionary, and to create a personal ranking of those aspects according to importance. Analysis of (Spearman’s rank) correlation revealed a significant association between importance and ranking. At this point, we were fairly confident that it would be possible to use the individual ranking as a reliable indicator of users’ demands. After the meanings of all the variables involved have been defined, that is, operationalized, the researcher has to decide on the mode of study.

Research Design Diekmann (2002) argues that ‘the function of research designs is to provide meaningful data’1 (Diekmann, 2002, p. 274). Any research design has two dimensions (Diekmann, 2002, pp. 267–304): – A temporal dimension (cf. Section 2.3.1) – A methodological dimension (cf. Section 2.3.2).

|| 1 „Erhebungsdesigns sind Mittel zum Zweck der Sammlung aussagekräftiger Daten“.

Empirical research into dictionary use | 59

The design type is concerned with the temporal dimension of the research, while the methodological dimension of a research design affects the control of variance. Both dimensions will now be briefly outlined. Research Design Type In general, there a three distinct classes of design types: (1) Cross-sectional design (2) Trend design (3) Panel design A cross-sectional design refers to a one-dimensional process of data collection. This means collecting the data of a sample of a number of subjects at the same point in time. On this basis, it is not feasible to measure (intra-individual) change over time with a cross-sectional design without adjusting the research design accordingly (cf. Section 2.3.2). With this type of design, it is only possible to compare different entities, such as subjects, at one moment in time (cf. Example 5). Example 5 All of the four online surveys carried out throughout our project were designed as cross-section surveys. In each survey, our subjects were asked to answer a questionnaire. We then used the collected data to compare subjects with different characteristics, for instance, those who work as translators and those who do not. If a researcher is interested in change over time, it is more appropriate to use a longitudinal design. Both trends and panels are longitudinal designs. Correspondingly, a trend design is like a cross-sectional design with more than one temporal dimension. This means collecting the data of different samples of subjects at several points in time. By aggregating the data, it is possible to observe temporal changes (Diekmann, 2002, p. 268). An example of this type of design is the study by De Schryver & Joffe (2004). The authors analyze log files and argue that “[w]ith specific reference to a Sesotho sa Leboa dictionary, it was indicated that the general trend during the first six months has been one of a growing number of lookups by growing number of users.”(De Schryver & Joffe, 2004, p. 194)

However, it is debatable whether it is adequate to classify this study as a pure trend design, because De Schryver & Joffe are also able to collect data on the individual level. Thus they are also able to draw conclusions about individual users: “While the distribution of the number of lookups per visitor is Zipfian, most visitors tend to look up frequent items on the one hand, and sexual/offensive items on the other” (De Schryver & Joffe, 2004, p. 194)

60 | Alexander Koplenig

Statements on this level are typical of a panel design. This means collecting the data of one sample of subjects at several points in time. By measuring the same variables for the same individuals or units at multiple points in time, it becomes possible to model change on the individual or the unit level, in contrast to a cross-sectional design (Diekmann, 2002, p. 267). One objection against categorizing the investigation by De Schryver & Joffe (2004) as a panel design is raised by the authors: “One can also not distinguish between multiple users who share a computer, or determine when a single user has made use of multiple computers (e.g., a student who uses a computer lab). Nonetheless, the technique is reliable in the majority of cases, providing an error margin of probably not more than 15%.” (De Schryver & Joffe, 2004, p. 194)

In contrast to De Schryver and Joffe (2004), it can be argued that this is a strong methodological objection against drawing any conclusions on the individual level. An error margin of 15% is problematic in itself, especially because it is reasonable to assume that this error is non-random: imagine a public institution such a library or a school where the visitors can use the dictionary (Bergenholtz & Johnson, 2005, p. 125). This institution would be classified as one particularly heavy user. This could, in turn, lead to a systematic over-estimation of heavy users. Panel designs could also be interesting for research into dictionary use, because dictionary skills are very likely to develop over time. Lew (2011) addresses this question: “As users work with a dictionary over time, they learn some of the structure, conventions; the learn how to cut corners. Humans exhibit a natural and generally healthy cognitive tendency to economize on the amount of attention assigned to a task at hand. So in the course of interaction with dictionaries, users’ habits adjust, and their reference skills evolve.” (Lew, 2011, p. 3)

Furthermore, it would be interesting to investigate what kind of lexical information L2 learners actually look up in a dictionary at successive moments in time, because it is reasonable to assume that with growing language skills, dictionary users have different needs. In order to investigate the influence of the language acquisition process on users’ needs, a sample of fresh L2 learners could be drawn and their look up processes measured at several points in time. Research Design Structure Creating the structure of the investigation means deciding how the units of interest will be assigned to the categories of the independent variables (Diekmann, 2002, p. 289). In this section, three common design structures will be presented and discussed:

Empirical research into dictionary use | 61

(1) Experimental designs (2) Quasi-experimental designs (3) Ex-post-facto designs Experimental Design Three conditions need to be satisfied for an experimental design (Diekmann, 2002, p. 291): (1) At least two experimental conditions are formed: one treatment group and one control group. (2) The respondents (or the units of interest) are randomly assigned to either the treatment group or the control group. (3) The independent variables are manipulated by the researcher. Conducting an experiment is the best way of making causal interferences, because this design structure guarantees internal validity (Campbell & Stanley, 1966; Pearl, 2009). This can be best understood in terms of placebo-controlled medical trials, where the respondents in the control group receive a treatment without any active substance. The measured effect in this group is then compared with the respondents in the experimental group who received an actual treatment (Shang et al., 2005). Randomly assigning the units of interest to the experimental conditions eliminates the selection bias, which is the potential influence of confounding variables on an outcome of interest. Balancing the “subject’s characteristics across the different treatment groups” (Angrist & Pischke, 2008, p. 14) ensures that the experimental condition and all possible (even unidentified) variables that could affect the outcome are uncorrelated. Through the manipulation of the independent variables, it can be inferred that the treatment is the cause of the outcome, random fluctuations aside (Diekmann, 2002, p. 297): if the effect in the treatment group differs significantly (either positively or negatively) from the effect in the control group, then the only logical explanation for this is a causal effect of treatment on outcome. Therefore, I believe that Angrist and Pischke (2008) are right to say that “[t]he most credible and influential research designs use random assignment. “(Angrist & Pischke, 2008, p. 9). In dictionary usage research, this paradigm has been fruitfully applied in several studies, such as Lew (2010) and Dziemianko (2010). Example 6 illustrates one of our experimental approaches. Example 6 In Müller-Spitzer & Koplenig (Expectations and demands, this volume), we argue that when the users of online dictionaries are thoroughly informed about possible multimedia and adaptable features, they will come to judge these characteristics to

62 | Alexander Koplenig

be more useful than users that do not have that information. To test this assumption, we included an experimental element in our second survey: participants in the treatment condition were first presented with examples of multimedia and adaptable features. After that, they were asked to indicate their opinion about the application of multimedia and adaptable features in online dictionaries. Participants in the control group first had to answer the questions regarding the usefulness of multimedia and adaptable features followed by the presentation of the actual examples. As predicted, the results revealed a learning effect. This effect turned out to be modest in size (about a half a point on a 7-point scale), but highly significant. By direct analogy with social research, real controlled experimental trials are often not feasible in dictionary usage research. The reason for this is quite simple: imagine a researcher, who is trying to ascertain whether the dictionary look up process (dependent variable) is determined by the language skills of a respondent (independent variable). For reasons of simplification, let us assume that the researcher believes that native speakers differ from L2 speakers of a language. Conducting an experiment in this situation would involve the random assignment of the participants to one of the two experimental conditions. Of course this is not possible, as potential respondents either are native speakers or are not (Diekmann, 2002, p. 303). Subsequently, the researcher would not be able to eliminate the fundamental problem of selection bias: for instance, it is quite likely that the native speakers would be better at understanding the experimental instructions. And this advantage, in turn, could affect the look up process. Similar instances could be multiplied. Thus, we cannot infer, on logical grounds, a causal effect of language skills on the look up process.2 Two alternative design structures will be presented in the following two sections.

|| 2 The problem of selection bias is also important in the case of log file investigations. If a research project is directed at the “exact needs of the users” (Bergenholtz & Johnson, 2005, p. 117) it must be borne in mind that the there is an error that is – again – non-random (cf. Section 2.3.1): the sample only includes data for people who use (or have used) the dictionary. Take for instance the following hypothetical but plausible situation (cf. Koplenig, 2011): Alex does not know the spelling of a particular word. To solve this problem, he visits an online dictionary. However, when trying to find the search window, he stumbles across various types of innovative buttons, hyperlinks and other distracting features. Instead of further using this online dictionary, he decides to switch to a wellknown search engine, because he prefers websites that enable him to find the information he needs easily. In this example, there would not be any data to log (except for an unspecified and discontinued visit on the website). Therefore, the external validity of the investigation can be questioned (Diekmann, 2002, pp. 301–302).

Empirical research into dictionary use | 63

Non-experimental Design Quasi-experimental design In principle, quasi-experimental designs are experiments without the random assignments to the experimental conditions. Typical examples are the evaluation of the effects of specific actions, such as political or legal reforms or social interventions (Diekmann, 2002, p. 309). In those contexts, the variables of interest are measured before and after the implementation of the action. The difference between the two measurements represents the effect induced by the action. In dictionary usage research, a quasi-experimental design could be applied to measure the effectiveness of new dictionary features. For example, the researcher might wish to know whether the implementation of an error-tolerant search function makes the dictionary more user-friendly. One could measure how many look ups are successful before and after the implementation of this feature. The difference could be considered to be the usefulness of the feature. Ex-post-facto design An ex-post-facto group design can be classified as a research design both without the random assignments to the experimental conditions, and without the manipulation of the independent variables by the researcher. In fact, groups are compared because of shared differences that exist prior to the investigation. As a result, the formation of groups is independent of the research design. In this case, the comparison group is not equivalent to the control group in an experimental design. In social research, this type of design is very common. Typical examples are the influence of socio-economic or socio-demographic factors on various types of outcomes, such as educational achievement or occupational career. Background factors of this kind that could affect the use of dictionaries and the look up process, could be the language skills of the user (cf. the example given at the end of Section 3.2.2.1), as well as his/her academic or professional background. Example 7 An extension of Example 6 demonstrates that even an experimental design does not replace a careful examination of the collected data: a closer ex-post-facto inspection of the data showed that the effect mentioned in Example 6 is mediated by linguistic background and the language version of the questionnaire: while there is a significant learning effect in the German version of the questionnaire but only for nonlinguists, there is a highly significant learning effect in the English version of the questionnaire but only for linguists.

64 | Alexander Koplenig

Indeed, this type of design was very important in our project, as we tried to find out whether different user groups have different preferences regarding the use of an online dictionary: “[m]ore specifically we need to ask: Should a user (i.e. while using a dictionary) create a profile at the beginning of a session (e.g. user type: nonnative speaker, situation of use: reception of a text) and should s/he navigate in all articles with this profile?” (Müller-Spitzer & Möhrs, 2008, pp. 44–45)

This is an example of an important lexicographical question that seems hard to answer using log file analyses alone. Hartmann (1989) hypothesizes that “[d]ifferent user groups have different needs” (Hartmann, 1989, p. 103), therefore ‚ “[t]he design of any dictionary cannot be considered realistic unless it takes into account the likely needs of various users in various situations” (Hartmann, 1989, p. 104). Of course, log files do not contain information about the individual dictionary user, such as his or her academic background, age, usage experience and language skills, but it is reasonable to assume that these factors influence the dictionary usage process. Since the “user type” is a precondition that is – of course – not determined by the investigator, we applied an ex-post-facto design (cf. Example 1, Example 7). Verlinde & Binon (2010) argue in this context: “[I]t will almost be impossible to conceive smart adaptive interfaces for dictionaries, unless more detailed data combining tracking data and other information as age or language level for instance, would eventually infirm this conclusion.” (Verlinde & Binon, 2010, p. 1150)

It is important to bear in mind that as a result of the missing randomization in both quasi-experimental and ex-post-facto design, the problems of selection bias and confounding variables cannot be solved. This is why, in principle, both types of design permit no causal interpretations.3 As I noted at the beginning of this section, it is important to distinguish between the research design and the instrument of data collection. In the next paragraph, I will explain why.

|| 3 In recent years, several refined strategies have been proposed to approach this problem, for example matching, instrumental variables, difference-in-difference designs, regression-discontinuity designs or quantile regressions (cf. Angrist & Pischke, 2008). None of these models will ultimately overcome the shortcomings of non-experimental data. Nevertheless they prove to be a valuable basis for cautious (counterfactual) causal reasoning without experimental data (Pearl, 2009). By all means, it is important to control for variables that are assumed to be correlated with the relationship of interest.

Empirical research into dictionary use | 65

Data collection In principle, data collection means any systematic method of gathering the information needed to answer the research question on the basis research design. Following Kellehear (1993), Diekmann (2002) and Trochim (2006), I distinguish between obtrusive (sometimes referred to as reactive) and unobtrusive methods of data collection. In general, an unobtrusive method can be understood as a method of data collection without the knowledge of the participant or the unit-of-interest. In contrast, obtrusive measurement means that the researcher has “to intrude in the research context” (Trochim, 2006). As interviews or laboratory tests are also social interactions between the respondents and the researcher, respondents tend to present themselves in a favorable light. This is called social desirability (Diekmann, 2002, pp. 382–386). Furthermore, filling out a questionnaire or taking part in a laboratory test can be exhausting or boring, which can also lead to biased results. Zwane et. al. (2011) even present (field-)experimental evidence that under certain circumstances, participation in a survey can change subsequent behavior: “Methodologically, our results suggest that researchers should rely on the use of unobtrusive data collection when possible and consider the tradeoffs between potential biases introduced from surveying and the benefits from having baseline data to identify heterogeneous treatment effects not possible to estimate without implementation of a baseline survey.” (Zwane et al., 2011, p. 1824)

Thus, the great advantage of unobtrusive methods is that the measurement does not influence what is being measured. Without the knowledge of a participant, it is possible to measure his or her “actual behaviour as opposed to self-reported behaviour” (Kellehear, 1993, p. 5). At the same time, this strength is also the biggest limitation of the method, because the researcher loses much of the control of the research process. Whenever the researcher needs to collect information about background factors assumed to influence the outcome of interest, e.g. the user type (cf. Section 2.3.2.1-2), s/he must accept that: “[f]or some constructs there may simply not be any available unobtrusive measures.” (Trochim, 2006; regarding dictionary usage research, cf. Wiegand, 1998, p. 574)

Consequently, the question “what is better: unobtrusive or obtrusive methods?” cannot be answered in a meaningful way, since the answer always depends on the concrete research question. Whenever possible, it is best to combine both types of method, in order to increase both the reliability and the validity of the results.

66 | Alexander Koplenig

Surveys Surveys – whether administered by means of a questionnaire or an interview – involve collecting the data by asking questions. In Müller-Spitzer, Koplenig & Töpel (2012: 449f) we argue that the critique of Bergenholtz & Johnson (2005) regarding the usefulness of conducting a survey for empirical research into dictionary usage is inadequate, because it is based on a somewhat biased picture of this method. Thus the examples in Bergenholtz & Johnsen (2005, pp. 119–120) only provide good examples of how a questionnaire should not be prepared. For example, the first question (“Under which headword would you look for the following collocations?”) implies that every respondent knows the definition of ‘collocation’, which is certainly not the case. Furthermore, a cleverly designed survey neither rests on the assumption “that the informants remember exactly how they have used dictionaries in the past”, nor expects the respondent to “be able to predict how they will do it in the future” (Bergenholtz & Johnson, 2005, pp. 119–120), but uses proxies to measure the construct of interest (cf. Krosnick, 1999). Survey methods only deliver reliable information if the survey is constructed in a comprehensible and precise way. Accordingly, there is a special branch of the social sciences the aim of which is to evaluate the quality of survey questions and identify potential flaws experimentally (cf. Madans, Miller, Maitland, & Willis, 2011). The critique of Tarp (2009b) falls prey to the same sort of counter-argument: the problem is not the method but its application. Tarp argues that “many lexicographers still carry out user research by means of questionnaires, arriving at conclusions which even a modest sociological knowledge would show to have no scientific warranty.” (2009b, p. 285)

I am quite certain that many scientists with a “modest sociological knowledge” would question the validity of this argument, because its premise is false, since it is based on a biased description of the method. Let me give you two examples: Instead of just asking “how do judge your own medical ability” Das and Hammer (2005; cf. Banerjee & Duflo, 2011, pp. 52–53) constructed five test scenarios (“vignettes”) of hypothetical patients with different symptoms, each containing several questions, to measure the quality of doctors in Delhi, India. The vignettes were presented to a random sample of 205 local doctors. In principle, the competence of each doctor was measured by comparing the responses of the participants with the “ideal” responses. Even if this was not a real situation in Tarp’s terms (2009b, p. 285), the findings plausibly show that the quality of doctors in poorer neighborhoods is significantly lower than that of those in richer neighborhoods. Instead of just asking “Which of the following alternatives is best suited to capture lexicographical information about sense-relations?”, we constructed a multilevel test scenario in our third study to evaluate how well users understood the ter-

Empirical research into dictionary use | 67

minology of the user interface of elexiko (cf. Klosa et al., this volume). In elexiko, the sense-related information is structured into tabs. We wanted to find out whether the labels on the tabs were easy to understand. Or in other words, given that a user needs a specific type of information, for example a synonym, does s/he know which tab to click on and, if not, are there better labels (which are more user-friendly)? Therefore, for every type of information, several different types of labels were prepared. For example, the following four labels were prepared for the sense-related information: – Synonyme und mehr (“synonyms and more”) – Sinnverwandte Wörter (“sense-related words”) – Wortbeziehungen (“word-relations”) – Paradigmatik (“paradigmatics”) Amongst other things, the participants were presented with different questions, such as: “Imagine the following situation: you are writing a text. Because you do not want to use the same word every time, you are trying to find an alternative for the word address. Please click on the item, where you think you would find the information you are looking for.” Each participant answered two of these vignettes (for two different kinds of information). For each vignette, the participant (randomly) received one of 25 different combinations of differently labeled tabs. In principle, the quality of label was measured by relative frequency of correct clicks. For example, our results show that “paradigmatics” is not really an appropriate label: only 8.33% of our participants (N = 685) were able to answer the question correctly, if this label was chosen, whereas both “synonyms and more” (100.00%) and “synonymous words” (92.59%) proved to be more successful. The information gathered was used to rename the tabs in elexiko accordingly (if necessary). Again, these results are not based on a “real usage situation”, but they show that questionnaires can be applied in a fruitful way to empirical research into dictionary usage. Apart from that, I believe that even if Tarp’s premises were right, the conclusion that questionnaires are not useful for dictionary research would not follow. Tarp’s critique is based on the argument that answers to (retrospective) questions (e.g. “Which information do you think was most helpful when you used the dictionary X”) are unreliable, because they “only reveal the users’ perception of their consultation, not the real usage” (Tarp, 2009b, p. 285). This seems to imply that for Tarp “the perception of the users” is not important at all. For example, if many users mention having trouble with a certain kind of information in a dictionary, this may not be identical to a “real usage” situation; nevertheless I think – contrary to Tarp - that this would at least be a result to think about and not just a negligible detail. Thus, the bottom line is that it is important to bear in mind that “[c]onstructing a survey instrument is an art in itself” (Trochim, 2006), but this art does not have to be reinvented from scratch for the purpose of research into dictionary use, because there is already a vast body of literature on the proper construction of question-

68 | Alexander Koplenig

naires (e.g. Krosnick, 1999; Krosnick & Fabrigar, forthcoming; Rea & Parker, 2005; or Diekmann, 2002, pp. 371–443). (Direct) Observation Whenever an instrument of measurement, such as a watch, a photon counter, or a survey is used, the reading of the instrument is an observation. As Diekmann (2002) points out: ‘Generally speaking, all empirical methods are observational.’4 (Diekmann, 2002, p. 456)

However, in this context, in terms of social research, observation can be defined as: directly and systematically gathering data about the unit(s)-of interest. In contrast to a survey design, the relevant information is not based upon the self-assessment or the answers of the participant. Thus, direct observation can take place both in an artificial setting (e.g., in a laboratory) or in a natural setting (e.g. a class room). Of course, observation can also be hidden, meaning that the subject is not aware of the observation (e.g., a log file analysis). In this case, the observation is indirect and has to be classified as an unobtrusive method (cf. Section 2.3.3). In social research, it has become a common strategy to measure the response latency, i.e. the duration between the presentation of a stimulus, for example a question, and the response. This measurement is then used as a proxy for various constructs, such as the accessibility of an attitude or the level of difficulty of a question (Mayerl, 2008). As the survey respondents do not necessarily have to be aware of the fact that their response time is being measured, this mode of observation has to be classified as a hybrid of an unobtrusive and an obtrusive method. In dictionary research, several studies have used direct observational methods. For example, Aust, Kelley & Roby (1993) used the “raw number of words the subjects looked up in the dictionary” (Aust et al., 1993, p. 67) as a measurement for dictionary consultation and the “[n]umber of consultations per minute” (Aust et al., 1993, p. 68) as a measurement for efficiency. In a similar manner, Tono (2000) recorded “[t]he subjects’ look up process […] to obtain the list of words looked up. For each look-up word or phrase, the time taken for look-up and accuracy rate were calculated” (Tono, 2000, p. 858). Dziemianko (2010) carried out an “unexpected vocabulary retention test” (Dziemanko, 2010, p. 261) as one way of assessing “the usefulness of a monolingual English learners’ dictionary in paper and electronic form” (Dziemanko, 2010, p. 259). Example 8 illustrates one of our observational approaches.

|| 4 „In einem allgemeinen Sinne sind sämtliche empirische Methoden Beobachtungsverfahren.“

Empirical research into dictionary use | 69

Example 8 In our project, we tried to evaluate how users navigate their way around electronic dictionaries, especially in a dictionary portal. The concrete navigation process is hard to measure with a survey. In collaboration with the University of Mannheim, we therefore used an eye-tracker to record the respondent navigation behavior in “the lexicographic internet portal OWID, an Online Vocabulary Information System of German”, hosted at the Institute for German Language (IDS) (Müller-Spitzer et al., this volume). Indirect methods5 In dictionary usage research, the analysis of log files seems to be the best example of an indirect method. Other applications of this type of method are at least imaginable: – A researcher could monitor the library lending figures of different dictionaries. This measure could serve as an indicator of the importance of the particular dictionary. – A researcher could ask participants to translate texts using a dictionary. The resulting translated texts are then analyzed for lexical choices (especially erroneous ones). This analysis can then be used to “recreate the scenario that led to choosing the wrong equivalent” (Lew, personal communication). However the application of this method in dictionary research seems to be mainly restricted to the analysis of log files. Content analysis By analyzing any kind of existing written material, the aim of content analyses is to find patterns in texts (Trochim, 2006). Both Ripfel and Wiegand (1988), Zöfgen (1994), and Wiegand (1998) list content analysis as one distinct method of dictionary usage research. But to my knowledge, no study applying this method has been pub|| 5 The discovery of a special empirical distribution of digits is an intuitive example of an indirect method of data collection: to detect fraud in statistical data, Newcomb-Benford’s law (Diekmann & Jann, 2010; Diekmann, 2007) can be used. This law states that the digits in empirical data are often distributed in a specific manner. So, if the published statistical results do not follow this distribution, this is an indicator for faked data (e.g. Roukema (2009) analyzed the results of the 2009 Iranian Election). The distribution was first discovered by the astronomer Simon Newcomb (1881). Without the assistance of calculating devices or a computer, the only option in those days was to rely on precalculated logarithm tables. Newcomb made an interesting observation: he noticed that the early pages of the books containing those tables were far more worn out than the pages in the rest of the book. This observation led, in turn, to the formulation of this law.

70 | Alexander Koplenig

lished so far. This is somewhat surprising, as in neighboring disciplines, such as corpus linguistics, the same techniques are applied, e.g. analyzing keywords (in context) or word frequencies (e.g. Baayen, 2001; Lemnitzer & Zinsmeister, 2006). Example 9 demonstrates how we used a content analysis to investigate the answers given in an open-ended question.6 Example 9 In Example 2, the open-ended question has already been presented: In which contexts or situations would you use a dictionary? Please use the field below to answer this question by providing as much information as possible. To analyze the answers given to that question, we used the TEXTPACK program (cf. Mohler & Züll, 2001; Diekmann, 2002, pp. 504–510). On average, our respondents wrote down 37 words. There are no noteworthy differences between the German language version of the survey and the English version. As shown in Müller-Spitzer’s chapter about usage opportunities and contexts of dictionary use, our results indicate that active usage situations (e.g. translating or writing) are mentioned more often than passive situations (e.g. reading) (Müller-Spitzer: Contexts of dictionary use, this volume). Secondary analysis of data To be precise, this type is not an actual method of collecting data, since it uses or reanalyzes existing data (Diekmann, 2002, pp. 164–165). In the natural sciences, this is common practice. Unfortunately, as Trochim (2006) points out: “In social research we generally do a terrible job of documenting and archiving the data from individual studies and making these available in electronic form for others to re-analyze.” (Trochim, 2006)

This seems to hold for dictionary research, too. In our project, we have decided to publish the raw data on which our findings are based on our website www.usingdictionaries.info/ including supplementary material, such as the questionnaires.

Data analysis Since the answer to this question is beyond the scope of this chapter, the purpose of the next section is to briefly outline the relationship between the planning process of an empirical study, the data collection and the subsequent data analysis. Angrist

|| 6 Of course, as this question was part of a survey, it is not appropriate to classify this as an unobtrusive method. This example is just for illustration purposes.

Empirical research into dictionary use | 71

& Pischke (2008), Baayen (2008), Fox & Long (1990), Gries (2009), Kohler & Kreuter (2005), and Scott & Xie (2005) provide useful introductions to the statistical analysis of data. At this point, it is important to emphasize that if the previous steps have been carefully and thoroughly followed, the statistical analysis of the data can be quite easy to manage. In the best case scenario, an initial idea of how to analyze the data is developed during the early planning stages of the study, while the worst case scenario is a situation where the investigator starts to analyze the data and finds out that s/he cannot answer his/her research questions, because necessary data on confounding variables (cf . Section 2.3.2.2) have not been collected, or, maybe even worse, plenty of data have been collected but no proper research questions have been articulated, so the data analysis ends with a Popperian “what” (cf. Section 2.1). In addition to a graphical numerical description of the collected data, the purpose of quantitative methods is to use the distributional information from a sample to estimate the characteristics of the population that the sample was taken from (statistical inference). For research into the use of (online) dictionaries, the relevant populations can be overlapping but need not be the same, depending on the research question. A researcher, for example, who wants to understand the specific needs of the users of the online version of the OED, could choose a population such as everyone who has ever used the OED Online. The sample then only includes data from people who use (or have used) this specific dictionary. However, this sample would be inappropriate, of course, if the researcher wanted to compare the needs of experienced OED Online users with the needs of potential new users. In this case, the researcher first has to decide which subjects the population actually consists of. While the population in common political opinion polls is usually all eligible voters, the actual population in dictionary usage research has to be determined on a methodological basis. As previously mentioned in Section 2.3.2.2, it is not possible to learn anything about the needs of potential online dictionary users by conducting a log file study, because the sample only includes data from people who have actually used the dictionary: “For example, if log files show that someone has typed in Powerpuff Girls into our online dictionary, what do we do with this information? For all we know, this could be an 8-year old trying to print a colouring page of her favourite cartoon characters. So where do we go from here?” (Lew, 2011, p. 7)

In our research project, this also turned out to be one of Lew’s hard questions, as representativeness is an important issue in research into the use of dictionaries and empirical quantitative research in general (Lew, 2011, p. 5). Roughly speaking, our target population consisted of all (!) internet users. For financial and technical reasons, it was of course not feasible to draw a random sample of all internet users. Since it is also rarely possible to conduct real controlled experimental trials (see

72 | Alexander Koplenig

Section 2.3.2.1 for an explanation), we decided on the one hand to collect data on the respondents’ academic, professional, and socio-demographic background, and, on the other hand, to obtain a huge number of respondents by distributing the surveys through multiple channels such as “Forschung erleben” (“experience research”), which is an online platform for the distribution of empirical surveys run and maintained by the chairs of social psychology at the University of Mannheim and visited by students of various disciplines, mailing lists (including the Linguist List (a list for students of linguistics and linguists all over the world hosted by the Eastern Michigan University), the Euralex List (a list from the European Association of Lexicography), and U-Forum (a German mailing list for professional translators)), and various disseminators (e.g. lecturers at educational institutions). While it is not possible to rule out any selection bias with a non-experimental design for principal reasons (cf. Section 2.3.2), we used an ex-post-facto design to control for potential group differences (cf. Example 7). For example, it could be argued that our survey results are somewhat biased towards lexicographical experts. In order to respond to this justified criticism, we could (and in fact we did) compare the data of respondents who were invited to take the survey via the online platform “Forschung erleben” with that of the rest of our respondents, because it is unlikely that the former group mainly consists of typical “dictionary experts”. However, results from a non-representative sample are problematic if and only if the traits of people taking part are correlated with the outcome of interest (cf. Section 2.3.2.1), because in this case – statistically speaking – the estimators are no longer efficient. Essentially, this just means that it is not possible to infer from the sample to the population (cf. Yeager et al., 2011).

3 Conclusion To summarize, let me refer to Lew’s (2010) keynote mentioned in the introduction. Lew defends the hypothesis that “[m]uch of the available body of user research appears to have invested the better part of time and effort into data collection and analysis, to the detriment of careful planning and reflection. But, arguably, more benefit might have come from redirecting this time and effort to the more careful planning of the study design.” (2010, p. 1 f)

I think Lew made an important point, not only for empirical research into the use of (online) dictionaries, but in general for any empirical investigation. In a similar vein, Diekmann (2002, p. 162) states: ‘Some studies have to face the problem that “any old thing” in the social field is supposed to be investigated, without the research objective being even roughly defined. At the same time, there is a lack of careful planning and selection of a research design, operationalization, sam-

Empirical research into dictionary use | 73

pling and data collection. The result of ill-considered and insufficiently planned empirical “research” is quite often a barely edible data salad mixed with extremely frustrated researchers.’7

I hope that this chapter shows that, while the planning of empirical research into dictionary use and empirical research in general can be quite demanding, this additional effort pays off, because it helps enormously to answer many questions relevant for research into the use of online dictionaries.

Bibliography Angrist, J. D., & Pischke, J.-S. (2008). Mostly Harmless Econometrics: An Empiricist’s Companion. Princeton NJ: Princeton University Press. Atkins, S. B. T., & Varantola, K. (1997). Monitoring dictionary use. International Journal of Lexicography, 10(1), 1–45. Aust, R., Kelley, M. J., & Roby, W. (1993). The Use of Hyper-Reference and Conventional Dictionaries. Educational Technology Research and Development, 41(4), 63–73. Baayen, R. H. (2001). Word Frequency Distributions. Dordrecht: Kluwer Academic Publishers. Baayen, R. H. (2008). Analyzing Linguistic Data. A Practical Introduction to Statistics Using R. Cambridge, UK: Cambridge University Press. Babbie, E. (2008). The Basics of Social Research (4th ed.). Belmont, CA: Wadsworth. Banerjee, A. V., & Duflo, E. (2011). Poor Economics: A Radical Rethinking of the Way to Fight Global Poverty. New York: Public Affairs. Bergenholtz, H., & Johnson, M. (2005). Log Files as a Tool for Improving Internet Dictionaries. Hermes, (34), 117–141. Campbell, D. T., & Stanley, J. C. (1966). Experimental and Quasi-Experimental Designs for Research. Skokie, Ill: Rand McNally. Das, J., & Hammer, J. (2005). Which Doctor? Combining Vignettes and Item-Response to Measure Doctor Quality. Journal of Development Economics, 78(2), 348–383. De Schryver, G.-M., & Joffe, D. (2004). On How Electronic Dictionaries are Really Used. In G. Williams & S. Vessier (Eds.), Proceedings of the Eleventh EURALEX International Congress, Lorient, France, July 6th–10th (pp. 187–196). Lorient: Université de Bretagne Sud. Diekmann, A. (2002). Empirische Sozialforschung: Grundlagen, Methoden, Anwendungen (8th ed.). Reinbek: Rowohlt Taschenbuch Verlag. Diekmann, A. (2007). Not the First Digit! Using Benford’s Law to Detect Fraudulent Scientific Data. Journal of Applied Statistics, 34(3), 221–229. Diekmann, A., & Jann, B. (2010). Law and Fraud Detection: Facts and Legends. German Economic Review, 11(3), 397–401.

|| 7 „Manche Studie krankt daran, daß ‚irgend etwas‘ in einem sozialen Bereich untersucht werden soll, ohne daß das Forschungsziel auch nur annähernd klar umrissen wird. Auch mangelt es häufig an der sorgfältigen, auf das Forschungsziel hin abgestimmten Planung und Auswahl des Forschungsdesign, der Variablenmessung, der Stichprobe und des Erhebungsverfahrens. Das Resultat unüberlegter und mangelhaft geplanter empirischer ‚Forschung‘ sind nicht selten ein kaum noch genießbarer Datensalat und aufs äußerste frustrierte Forscher oder Forscherinnen.“ (Diekmann (2002, p. 162).

74 | Alexander Koplenig

Dziemanko, A. (2010). Paper or electronic? The role of dictionary form in language reception, production and the retention of meaning and collocations. International Journal of Lexicography, 23(3), 257–273. Fox, J., & Long, S. A. (1990). Modern Methods of Data Analysis. Thousand Oaks, CA: Sage. Gries, S. T. (2009). Statistics for Linguistics with R: A Practical Introduction (1st ed.). Berlin, New York: De Gruyter Mouton. Hartmann, R. R. K. (1987). Four Perspectives on Dictionary Use: A Critical Review of Research Methods. In A. P. Cowie (Ed.), The Dictionary and the Language Learner (pp. 11–28). Tübingen: Niemeyer. Retrieved June 12, 2011, from http://search.ebscohost.com/login.aspx?direct=true& db=mzh&AN=1987017474&site=ehost-live Hartmann, R. R. K. (1989). Sociology of the Dictionary User: Hypotheses and Empirical Studies. In F. J. Hausmann, O. Reichmann, H. E. Wiegand, & L. Zgusta (Eds.), Wörterbücher – Dictionaries – Dictionnaires. Ein internationales Handbuch zur Lexikographie (Vol. 1, pp. 102–111). Berlin, New York: de Gruyter. Hartmann, R. R. K. (2000). European Dictionary Culture. The Exeter Case Study of Dictionary Use among University Students, against the Wider Context of the Reports and Recommendations of the Thematic Network Project in the Area of Languagew 1996-1999. In U. Heid, S. Evert, E. Lehmann, & C. Rohrer (Eds.), IX EURALEX International Congress (pp. 385–391). Stuttgart. Hulstijn, J. H., & Atkins, B. T. S. (1998). Empirical research on dictionary use in foreign-language learning: survey and discussion. In B. T. S. Atkins (Ed.), Using Dictionaries (pp. 7–19). Tübingen: Max Niemeyer Verlag. Kellehear, A. (1993). The Unobtrusive Researcher: A guide to methods. St. Leonards, NSW: Allen & Unwin Pty LTD. Kohler, U., & Kreuter, F. (2005). Data Analysis Using Stata. College Station: Stata Press. Koplenig, A. (2011). Understanding How Users Evaluate Innovative Features of Online Dictionaries – An Experimental Approach (Poster). Presented at the eLexicography in the 21st century: new applications for new users, organized by the Trojina, Institute for Applied Slovene Studies, Bled, November 10-12. Krosnick, J. A. (1999). Survey research. Annual Review of Psychology, 50, 537–567. Krosnick, J. A., & Fabrigar, L. R. (forthcoming). The handbook of questionnaire design. New York: Oxford University Press. Lemnitzer, L., & Zinsmeister, H. (2006). Korpuslinguistik. Eine Einführung. Tübingen: Narr. Lew, R. (2010). Users Take Shortcuts: Navigating Dictionary Entries. In A. Dykstra & T. Schoonheim (Eds.), Proceedings of the XIV Euralex International Congress (pp. 1121–1132). Ljouwert: Afûk. Lew, R. (2011). User studies: Opportunities and limitations. In K. Akasu & U. Satoru (Eds.), ASIALEX2011 Proceedings Lexicography: Theoretical and practical perspectives (pp. 7–16). Kyoto: Asian Association for Lexicography. Ludwig-Mayerhofer, W. (2011). Ilmes – Internet Lexikon der Methoden der empirischen Sozialforschung. ILMES – Internet-Lexikon der Methoden der empirischen Sozialforschung. Retrieved September 14, 2013, from http://wlm.userweb.mwn.de/ilmes.htm Madans, J., Miller, K., Maitland, A., & Willis, G. (Eds.). (2011). Experiments for evaluating survey questions. New York: John Wiley & Sons. Mayerl, J. (2008). Response effects and mode of information processing. Analysing acquiescence bias and question order effects using survey-based response latencies. Presented at the 7th International Conference on Social Science Methodology, Napoli. Mohler, P. P., & Züll, C. (2001). Applied Text Theory: Quantitative Analysis of Answers to OpenEnded Questions. In M. D. West (Ed.), Applications of Computer Content Analysis. Conneticut: Aplex Publishing.

Empirical research into dictionary use | 75

Müller-Spitzer, C., & Möhrs, C. (2008). First ideas of user-adapted views of lexicographic data exemplified on OWID and elexiko. In M. Zock & C.-R. Huang (Eds.), Coling 2008: Proceedings of the workshop on Cognitive Aspects on the Lexicon (COGALEX 2008) (pp. 39–46). Manchester. Retrieved 14 September, 2013, from http://aclweb.org/anthology-new/W/W08/W08-1906.pdf Pearl, J. (2009). Causality: Models, Reasoning and Inference (2nd ed.). Cambridge, UK: Cambridge University Press. Popper, K. (1972). Objective Knowledge: An Evolutionary Approach. Oxford: Oxford Univ Press. Rea, L. M., & Parker, R. A. (2005). Designing and Conducting Survey Research. A Comprehensive Guide (3rd ed.). San Francisco: Jossey-Bass. Ripfel, M., & Wiegand, H. E. (1988). Wörterbuchbenutzungsforschung. Ein kritischer Bericht. In H. E. Wiegand (Ed.), Studien zur neuhochdeutschen Lexikographie VI (Vol. 2, pp. 491–520). Hildesheim: Georg Olms Verlag. Roukema, B. F. (2009). Benford’s Law anomalies in the 2009 Iranian presidential election. Retrieved September 14, 2011, from http://arxiv.org/abs/0906.2789 Scott, J., & Xie, Y. (2005). Quantitative Social Science. Thousand Oaks, CA: Sage. Shang, A., Huwiler-Müntener, K., Nartey, L., Jüni, P., Stephan Dörig, Sterne, J. A. C., … Egger, M. (2005). Are the clinical effects of homoeopathy placebo effects? Comparative study of placebocontrolled trials of homoeopathy and allopathy. Lancet, 366, 726–732. Tarp, S. (2009a). Beyond Lexicography: New Visions and Challenges in the Information Age. In H. Bergenholtz, S. Nielsen, & S. Tarp (Eds.), Lexicography at a Crossroads. Dictionaries and Encyclopedias Today, Lexicographical Tools Tomorrow (pp. 17–32). Frankfurt a.M./Berlin/Bern/Bruxelles/NewYork/Oxford/Wien: Peter Lang. Tarp, S. (2009b). Reflections on Lexicographical User Research. Lexikos, 19, 275–296. Tono, Y. (1998). Interacting with the users: research findings in EFL dictionary user studies. In T. McArthur & I. Kernerman (Eds.), Lexicography in Asia: selected papers form the Dictionaries in Asia Conference, Hong Kong University of Science and Technology (pp. 97–118). Jerusalem: Password Publishers Ltd. Tono, Y. (2000). On the Effects of Different Types of Electronic Dictionary Interfaces on L 2 Learners’ Reference Behaviour in Productive/Receptive Tasks. In U. Heid, S. Evert, E. Lehmann, & C. Rohrer (Eds.), Proceedings of the Ninth EURALEX International Congress, Stuttgart, Germany, August 8th–12th (pp. 855–861). Stuttgart: Universität Stuttgart, Institut für Maschinelle Sprachverarbeitung. Trochim, W. (2006). Design. Research Methods Knowledge Base. Retrieved September 14, 2013, from http://www.socialresearchmethods.net/kb/design.php. Trochim, W., & Land, D. (1982). Designing designs for research. The Researcher, 1(1), 1–6. Verlinde, S., & Binon, J. (2010). Monitoring Dictionary Use in the Electronic Age. In A. Dykstra & T. Schoonheim (Eds.), Proceedings of the XIV Euralex International Congress (pp. 1144–1151). Ljouwert: Afûk. Wiegand, H. E. (1998). Wörterbuchforschung. Untersuchungen zur Wörterbuchbenutzung, zur Theorie, Geschichte, Kritik und Automatisierung der Lexikographie. Berlin, New York: de Gruyter. Wiegand, H. E., Beißwenger, M., Gouws, R. H., Kammerer, M., Storrer, A., & Wolski, W. (2010). Wörterbuch zur Lexikographie und Wörterbuchforschung: mit englischen Übersetzungen der Umtexte und Definitionen sowie Äquivalenten in neuen Sprachen. de Gruyter. Retrieved September 14, 2013, from http://books.google.de/books?id=Bg9tcgAACAAJ. Yeager, D. S., Krosnick, J. A., Chang, L., Javitz, H. S., Levendusky, M. S., Simpser, A., & Wang, R. (2011). Comparing the Accuracy of RDD Telephone Surveys and Internet Surveys Conducted with Probability and Non-Probability Samples. Public Opinion Quaterly, 75(4), 709–747. Zöfgen, E. (1994). Lernerwörterbücher in Theorie und Praxis. Ein Beitrag zur Metalexikographie mit besonderer Berücksichtigung des Französischen. Tübingen: Max Niemeyer.

76 | Alexander Koplenig

Zwane, A. P., Zinman, J., Dusen, E. V., Pariente, W., Null, C., Miguel, E., … Banerjee, A. (2011). Being surveyed can change later behavior and related parameter estimates. Proceedings of the National Academy of Sciences of the United States of America, 108, 1821,1826.

| Part II: General studies on online dictionaries

Alexander Koplenig, Carolin Müller-Spitzer

The first two international studies on online dictionaries – background information Abstract: The present article focuses on background information about the first two international studies on online dictionary use presented in this volume. It includes information regarding the design of the online questionnaires, about the basic structure of the surveys, on the channels of distribution and about the participants. Keywords: online questionnaire, channels of distribution, participants

| Alexander Koplenig: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)6211581435, [email protected] Carolin Müller-Spitzer: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)6211581429, [email protected]

1 Introduction The first two international studies presented in this volume focus on general questions about the use of online dictionaries, such as the devices used to consult dictionaries, different user demands or the evaluation of different visual representations (views) of the same content.1 The results of those studies will be presented in detail in the following four chapters. In addition to that, this contribution serves as reference. It documents the general background information on methodical and procedural aspects of the studies: – information regarding the survey, – a short summary about the basic structure of the surveys, – information on the channels of distribution, and – information about the participants.

2 Survey design The first two studies were conducted in German and in English because of the intended international target group. Both studies were designed using the online survey software UNIPARK as a web-based survey. The great advantage of online surveys

|| 1 Some of the key results have been already published in Müller-Spitzer et al. 2012).

80 | Alexander Koplenig, Carolin Müller-Spitzer

is, of course, that this method makes it possible to access many individuals in distant locations without much effort. Moreover, in a web-based survey, participating is easier than in a printed survey, because the whole filtering can be controlled by the program. To make the participation as convenient as possible, we used various filters to ensure that every respondent only had to answer the questions applicable for her. For example, if a participant in our first survey indicated that s/he had never used an online dictionary, s/he did not have to answer the questions on the use of this type of dictionary, but skipped automatically to the appropriate next set of questions. Other classical problems of printed surveys, such as order effect and missing answers, can be solved or at least reduced as well. For example, we randomized the order of the questions wherever it was reasonable to minimize question order effects (Strack, Martin, & Schwarz, 1988). As well, if a response was missing, an error message occurred and the participants were forced to add the missing item. In order to design a survey that was easy for everybody to understand, great emphasis was placed on the implementation of several examples and explanatory transitional paragraphs. For example, all the basic terms were explained fully (cf. Figure 1) and possible features of online dictionaries were illustrated using various screenshots. Whenever it was possible, we used multiple indicators of one construct to increase its reliability and informativeness (cf. Koplenig, this volume, Example 4).

Fig. 1: Screenshot of the first survey.

The first two international studies on online dictionaries – background information | 81

Furthermore, an online survey as we designed it allows it to present questions or tasks in a very user-friendly way. For example, one of the main questions of the first questionnaire was to rate ten criteria which make a good online dictionary. The participants could carry out this task by drag & drop the ten items (cf. Figure 2). This form of presentation has several advantages over paper and pencil surveys, e.g., it is very intuitive and it is possible to re-arrange the criteria several times.

Fig. 2: The ranking task.

3 Research objectives The first survey took approximately 20 to 25 minutes to complete. It consisted of six core elements: an introduction (language selection, general survey conditions), a set of questions on internet usage (e. g. frequency, duration, self-assessment), a questions on contexts of dictionary use (cf. chapter 5, this volume) a set of questions on the use of printed dictionaries (e. g. types of dictionary used), a set of questions on the use of online dictionaries (e. g. types of dictionary used, devices used, activities, usage occasions, user demands) (cf. chapters 6 & 7, this volume), a set of questions on demographics (e. g. sex, age, occupation), and a conclusion (thanks, prize draw details). The survey was activated from 9 February 2010 to March 2010.

82 | Alexander Koplenig, Carolin Müller-Spitzer

Drawing on the results of the first study, the second one examined more closely whether the respondents had differentiated views on individual aspects of the criteria rated in the first study. For example, “reliability of content” was the criterion that the majority of participants in the first study rated as the most important criterion of a good online dictionary. In the second study, we tried to determine precisely what the respondents meant by “reliability of content” (cf. chapter 7, this volume). The purpose of the second survey was mainly to collect empirical data about the respondents’ evaluation of different visual representations (views) of the same content (cf. chapter 8, this volume). It consisted of seven core elements: an introduction (language selection, general survey conditions), a set of questions on the criteria rated as most important for a good online dictionary in the first study, a set of questions on the criteria rated on average as unimportant for a good online dictionary in the first study, a set of questions on different search functions of online dictionaries, a set of questions on different visual representations (views) of the same content, a set of questions on demographics (e.g. sex, age, occupation), and a conclusion (thanks, prize draw details). Using the same methodology as the first study, the second study was designed as an online survey that took approximately 20 to 30 minutes to complete and was conducted both in German and in English. All other general conditions, such as the construction of the survey and its distribution, were also in accordance with the first study. The survey was activated from 11 August 2010 to 16 September 2010.2

4 Channels of distribution Both surveys were distributed through multiple channels such as ‘Forschung erleben’ (‘experience research’), which is an online platform for the distribution of empirical surveys run and maintained by the chairs of social psychology at the University of Mannheim and visited by students of various disciplines, mailing lists including the Linguist List (a list for students of linguistics and linguists all over the world hosted by the Eastern Michigan University), the Euralex List (a list from the European Association of Lexicography), and U-Forum (a German mailing list for professional translators), and various disseminators (e.g. lecturers at educational institutions).

|| 2 A print version of both questionnaires is available under www.using-dictionaries.info.

The first two international studies on online dictionaries – background information | 83

Participants A total of 684 participants completed the first survey and 390 the second survey. For a better understanding of possible user requirements, participants were asked about their academic (yes/no) and professional background (yes/no). Data on demographic characteristics were also collected. Tables 1 and 2 summarize the results.

Linguist Translator Student of linguistics English/German teacher (with English/German as mother tongue) EFL/DAF teacher English/German learner

First survey (N = 684) Yes No 54.82% 45.18% 41.96% 58.04% 41.08% 58.92% 11.55% 88.45%

Second survey (N = 390) Yes No 46.39% 53.61% 37.89% 62.11% 37.89% 62.11% 11.37% 88.63%

16.52% 13.89%

10.82% 9.04%

83.48% 86.11%

89.18% 90.96%

Tab. 1: Demographics – academic and professional background.

Language version of the questionnaire Sex Age

Command of English/German

First survey (N =684) English: 46.35% German: 53.65% Female: 63.29% Male: 36.71% Younger than 21: 4.30% 21-25: 17.19% 31-30: 19.59% 31-35: 11.41% 36-45: 18.67% 36-55: 14.67% Older than 55: 14.22% Mother tongue: 64.33% Very good: 27.78% Good: 6.14% Fair: 1.46% Poor: 0.29% None: 0.00%

Second survey (N = 390) English: 47.69% German: 52.31% Female: 60.52% Male: 39.48% Younger than 21: 3.90% 21-25: 12.73% 31-30: 20.52% 31-35: 11.95% 36-45: 15.06% 36-55: 18.96% Older than 55: 16.88% Mother tongue: 69.77% Very good: 24.81% Good: 3.62% Fair: 1.81% Poor: 0.00% None: 0.00%

Tab. 2: Demographics – personal background.

A closer look at Table 1 reveals that our sample is biased towards linguists and translators, of course, because we spreaded the invitation to participate on various mailing lists that are mainly frequented by those groups as mentioned in the last section. This bias was intended by us, since it was one of the main goals of our project to find out if different groups of dictionary users have different preferences regarding the use of an online dictionary (cf. Koplenig, this volume, Example 8).

84 | Alexander Koplenig, Carolin Müller-Spitzer

Therefore, we collected these data and used it to analyze which background factors are relevant in this context. With regard to language versions (English/German) as well as male and female participants we had a nearly equal distribution (cf. Table 2). Most of our subjects are native speakers or have a “very good” command over the language of the questionnaire.

Bibliography Müller-Spitzer, C., Koplenig, A., & Töpel, A. (2012). Online dictionary use: Key findings from an empirical research project. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 425– 457). Oxford: Oxford University Press. Strack, F., Martin, L. L., & Schwarz, N. (1988). Priming and communication: Social determinants of information use in judgments of life satisfaction, European Journal of Social Psychology 18(5), 429–442.

Carolin Müller-Spitzer

Empirical data on contexts of dictionary use Abstract: To design effective electronic dictionaries, reliable empirical information on how dictionaries are actually being used is of great value for lexicographers. To my knowledge, no existing empirical research addresses the context of dictionary use, or, in other words, the extra-lexicographic situations in which a dictionary consultation is embedded. This is mainly due to the fact that data about these contexts are difficult to obtain. To take a first step in closing this research gap, we incorporated an open-ended question (“In which contexts or situations would you use a dictionary?”) into our first online survey (N = 684). Instead of presenting wellknown facts about standardized types of usage situation, this chapter will focus on the more offbeat circumstances of dictionary use and aims of users, as they are reflected in the responses. Overall, my results indicate that there is a community whose work is closely linked with dictionaries. Dictionaries are also seen as a linguistic treasure trove for games or crossword puzzles, and as a standard which can be referred to as an authority. While it is important to emphasize that my results are only preliminary, they do indicate the potential of empirical research in this area. Keywords: contexts of dictionary use, extra-lexicographic situation, content analysis, open-ended question, user needs, user aims

| Carolin Müller-Spitzer: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)6211581429, [email protected]

1 Introduction Dictionaries are utility tools, i.e. they are made to be used. The “user presupposition” (Wiegand et al. 2010: 6801) should be the central point in every lexicographic process, and in the field of research into dictionary use, there are repeated calls for this not to be forgotten (cf. Householder 1967; Wiegand 1998: 259-260, 563; Bogaards 2003: 26, 33; Tarp 2009: 33-43). In the early days of lexicography (which, in the case of the German-speaking area for instance, were the early Middle Ages) this was taken as read. The first dictionaries compiled there were mostly very closely related to particular user groups in particular usage situations. Compiling dictionaries or glossaries was very expensive. For this reason, they were only written if they were || 1 “User presupposition: primary assumption of lexicography in general, that dictionaries are not compiled for their own sake but only in order to be used.” (Wiegand et al. 2010: 680)

86 | Carolin Müller-Spitzer

really needed as an essential aid. One example among many is the Latin-German Vocabularius ex quo, which dates from the late 14th century. Measured by the more than 270 surviving manuscripts and some 50 incunabula editions, it was the most commonly used late medieval alphabetical dictionary in the German-speaking area, a real ‘best-seller’ (cf. Grubmüller 1967). This high prevalence was probably due to the fact that it gave up all specializations of the older glossography. It recorded not only rare or difficult words, but all the words that appeared in the series of Latin texts, which accounted for the formation of the canon of the time. In this way, the Vocabularius ex quo was an effective tool for understanding the Bible and other texts. In the preface, “pauperes scolares” were explicitly named as recipients, as well as pastors who could use the book for sermon preparation (cf. Figure 1). Therefore, it was general enough to meet the needs of a broad set of users, as well as customized enough to represent an appropriate tool for certain groups of users in specific usage situations. ‘Dictionary user interests make history’ is the title of a chapter on the Vocabularius ex quo in a book about German dictionaries (Haß 2001: 46ff.).

Fig. 1: Facsimile of the preface of the Vocabularius ex quo (Eltville 1477), (Bayerische Staatsbibliothek) http://bildsuche.digitale-sammlungen.de/index.html?c=viewer&bandnummer= bsb00034933 &pimage=5&v=100&nav=&l=de (last accessed 13 July 2013).

This fundamental property – serving as an appropriate tool for specific users in certain usage situations – still characterizes good dictionaries. However, the close relationship between dictionaries and their users has been weakened, at least in part.

Empirical data on contexts of dictionary use | 87

“The first dictionaries ever produced may seem primitive according to the present standard, but their authors at least had the privilege of spontaneously understanding the social value of their work, i.e. the close relation between specific types of social needs and the solutions given by means of dictionaries. With the passing of the centuries and millenniums, this close relation was forgotten. […] The social needs originally giving rise to lexicography were relegated to a secondary plane and frequently ignored.” (Tarp 2009: 19)

Knowledge about the needs of the user, and the situations in which the need to use a dictionary may arise, is therefore a very important issue for lexicography. This article is structured as follows: in Section 2, the research question is introduced, and in Section 3, an analysis of the data obtained relating to contexts of dictionary use is presented, with 3.1 focusing on contexts arranged according to the categories of text production, text reception and translation, and 3.2 on users’ aims and further aspects of dictionary use. Overall, the aim of this article is to give an illustrative insight into how users themselves reflect on their own use of dictionaries, particularly with regard to contexts of dictionary use.2

2 Research question To design effective electronic dictionaries, reliable empirical information on how dictionaries are actually being used is of great value for lexicographers. Research into the use of dictionaries has been focused primarily on standardized usage situations of (again) standardized user groups for which a well-functioning grid is developed, such as L1/L2-speaker, text production vs. text reception or translation (cf. e.g., Atkins 1998). In this context, Lew (2012: 16) argues that dictionaries are “most effective if they are instantly and unobtrusively available during the activities in which humans engage”. To my knowledge, no existing empirical research addresses the contexts of dictionary use, or, in other words, the more external conditions or situations in which a dictionary consultation is embedded, also known as social3 || 2 Contrary to other contributions in this volume, this chapter does not follow the IMRAD-structure (Introduction-Method-Results-and-Discussion) which is common for empirical research, because the aim here is not to present empirical facts but to offer an exploratory analysis, for which a less strict form of presentation seems more appropriate. 3 The term “social” in this context might be somewhat misleading. “Social” almost always implies, both in general language and in technical terminology, that human behaviour is directed to or guided by other humans. Cf. extracts from the entry “social” in the OED online: “Of a person: frienly or affable in company; disposed to conversation and sociable activities; sociable.” (3a) “Of a group of people, an organization, etc.: consisting or composed of people associated together for friendly interaction or companionship.” (3b) “Chiefly Social Sciences. Developing from or involving the relationships between human beings or social groups that characterize life in society” ("social, adj. and n.". OED Online. September 2012. Oxford University Press. 24 October 2012 ).

88 | Carolin Müller-Spitzer

situations (Tarp 2008: 44), extra-lexicographic situations (Tarp 2012: 114, FuertesOlivera 2012: 399, 402), non-lexicographic situations (Lew 2012: 344), “usage opportunities” (Wiegand et al. 2010: 684), in German “Benutzungsgelegenheiten” (Wiegand 1998: 523) or contexts of use (Tono 2001: 56). However, knowledge about the contexts of dictionary use is very important in order to better assess how dictionaries are actually used. “Bergenholtz believes that the needs of potential users are not cleary definable or circumscribable. No user has specific needs unless they are related to a specific type of situation. Consequently, it is not enough to define which types of user have which needs but also the types of social situations in which these needs may arise.” (Tono 2010: 3)

Finally, it is important to know what is meant by the usage situation ‘text reception in a foreign language’; because there is a big difference between reading literature for professional reasons, privately listening to music or watching a TV series in a foreign language (cf. also Tarp 2007: 171). “However, today it seems necessary to take further steps in order to achieve a more complete adaption of lexicography to the new possibilities offered by the new electronic media and information science in general. But this can only be done if it is solidly based upon an advanced theory, developed around the fundamental idea that lexicographical works and tools of whatever class – just as any other type of consultation tools – are, above all, utility products conceived to meet punctual information needs that are not abstract but very concrete and intimately related to concrete and individual potential users finding themselves in concrete extralexicographical situations.” (Tarp 2012: 114)

However, it is not surprising that in this context few empirical studies exist, because these data are difficult to obtain: “To be useful in practice, Householder’s recommendation must not only define which types of users have which needs, but also the types of situation in which these needs may arise. The needs are linked to specific situations […]. But how can theoretical lexicography find the relevant situations? In principle, it could go out and study all the hypothetical social situations in which people are involved. But that would be like trying to fill the leaking jar of the Danaids. Instead, initially lexicography needs to use a deductive procedure and focus on the needs that dictionaries have sought to satisfy until now, and on the situations in which these needs may arise.” (Tarp 2008: 44; cf. also Wiegand 1998: 572)

This approach is based only on existing dictionaries and on well-known user needs. Similarly, Fuertes-Olivera (2012: 402) writes that “extra-lexicographical situations” usually are “examined deductively”. In this way he postulates, for example, that “My opinion, therefore, is that learners of Business English will gain more assistance by consulting sub-field business dictionaries, i.e. those that cover each of the forty or so subdomains into which business and economics is broken down, than by using a single-field Business English Dictionary. […] My view is based on the idea that the concept of frequency […] is not as important for compiling specialized dictionaries as it is for compiling general learners’ dictionar-

Empirical data on contexts of dictionary use | 89

ies. […] the extra-lexicographical situation associated with specialized lexicography required the exploration of new methods […].” (Fuertes-Olivera 2012: 404)

In contrast, for example, Bowker (2012: 382-84) and Löckinger (2012: 80-81) explain that combining different resources into one product is particularly user-friendly, especially for translators. Therefore, it seems to me to be very important to gain new empirical data relating to dictionary users in order to avoid a purely theoretical approach (cf. Simonsen 2011, 76, who criticizes Tarp for his “intuitions and desktop research”). On the other hand, any attempt to collect real empirical data involves difficulties. With most unobtrusive4 methods in the context of dictionary use (i.e. particularly the analysis of log files), it is hard to capture data about the real-life context of a dictionary consultation: firstly, because this is personal data which in most countries cannot be collected without the explicit consent of the people; and secondly, because methods such as log file analysis do not provide data about the circumstances of use (cf. Wiegand 1998: 5745; cf. also Verlinde/Binon 2010; 1149, for a study that combines online questionnaires with log file analysis, see Hult 2012). Log file analysis mainly shows which headwords are the most frequently searched for, and which types of information are most frequently accessed (cf. Koplenig et al.: Log file-study, this volume). In some countries, collecting data about the URLs visited before and after the dictionary consultation is also permitted. However, what cannot be seen in log file analysis, are the contexts which lead to a dictionary consultation, e.g., for what reason text production is taking place. However, interviews, questionnaires and laboratory studies are to a certain extent artificial situations which cannot always be generalized to everyday life (the problem of ‘external validity’). Therefore, the question arises as to whether it is a hopeless undertaking from the outset to try to collect new empirical data about

|| 4 In general, an unobtrusive method can be understood as a method of data collection without the knowledge of the participant, whereas obtrusive measurement means that the researcher has Dzto intrude in the research context” (Trochim 2006). 5 „Gefragt sei nun zunächst. Was eigentlich kann in der Benutzungsforschung beobachtet werden?“ Es ergibt sich, „daß die meisten Phänomene […] der Fremdbeobachtung in und ex situ nicht zugänglich sind. Beispielsweise kann man nicht beobachten, in welcher Benutzerrolle ein Benutzerin-actu handelt; weiterhin sind sämtliche Komponenten des Vorkontextes von Benutzungshandlungen und des inneren Benutzungskontextes Fremdbeobachtungen nicht zugänglich, und auch der Nutzen für den Benutzer ist nicht beobachtbar. Natürlich kann der Benutzer-in-actu sowohl in als auch ex situ beobachtet werden, aber mit allen Beobachtungsmethoden sind nur die äußeren Aspekte der Benutzungshandlungen erfaßbar sowie einige Komponenten des äußeren Benutzungskontextes. Schon aus diesen Überlegungen ergibt sich, daß bei weitreichenden Forschungszielen innerhalb der Benutzungsforschung die Anwendung von Beobachtungsmethoden allein nicht ausreicht. Die Beobachtungsmethoden sind allenfalls dazu geeignet, die Daten für bestimmte Teilziele zu liefern, so daß sie also in Kombination mit anderen Methoden zur Anwendung gebracht werden können.“ (Wiegand 1998: 574).

90 | Carolin Müller-Spitzer

contexts of dictionary use. I presume that this is not the case but that it is important to use every opportunity to obtain empirical data with all the restrictions that go with it, even if it is only possible to come closer to the goal of gaining such data step by step. Our first study is a first step towards this goal. In our first online questionnaire study (study 1, N = 684, cf. Müller-Spitzer/Koplenig: First two international studies, this volume) we asked the participants to answer an open-ended question about the situations in which they would use a dictionary. The aim was to collect data in an exploratory way. For this, an open-ended question seemed to be the appropriate solution: “The appeal of this type of data is that it can provide a somewhat rich description of respondent reality at a relatively low cost to the researcher. In comparison to interviews or focus groups, open-ended survey questions can offer greater anonymity to respondents and often elicit more honest responses […]. They can also capture diversity in responses and provide alternative explanations to those that closed-ended survey questions are able to capture […]. Open-ended questions are used in organizational research to explore, explain, and/or reconfirm existing ideas.” (Jackson/Trochim 2002: 307f.)

Instead of presenting well-known facts about standardized types of usage situation (text production, text reception etc.), in this paper, I will focus on the more offbeat circumstances of dictionary use, such as: in what context exactly dictionaries are used; for what reason exactly a dictionary is consulted in a text-production situation; whether specific usage patterns, i.e. specific action routines in the use of dictionaries, are reflected in the responses; and whether there are differences between expert and non-expert users. Moreover, I am interested in the description of specific user aims (cf. Wiegand et al. 2010: 680 and Wiegand 1998: 293-298), such as: whether dictionaries are used for research; whether dictionaries are used as linguistic treasure troves for language games, and so on. As well as these concrete questions, it is interesting to see the detail in which users are willing to describe their use of dictionaries. As it was a very general question on contexts of dictionary use that was asked, it is important to emphasize that the data obtained represent a starting point for detailed research rather than an end point. I know that these data are not about real extra-lexicographic situations or contexts of dictionary use, but data about potential users (Tarp 2009: 278) or non-active users (Wiegand et al. 2010: 676, Wiegand 1998: 501) who are reporting on potential situations of use as far as they remain in their minds. Accordingly, the data are inconclusive, but as new empirical data, they may provide useful pointers to contexts of dictionary use Before the answer data are analyzed, two terminological classifications should be given: Wiegand (1998) includes numerous terminological clarifications which can be very helpful in research into dictionary use. For the analysis of open-ended questions, two terms are particularly important: usage opportunity and usage experience. A usage opportunity is the “social situation in which a dictionary consulta-

Empirical data on contexts of dictionary use | 91

tion is embedded” (Wiegand et al. 2010: 684, cf. Wiegand 1998: 5236 for more detail). The user experience is the “complete experience of a user following from his experience in the use of dictionaries and from generalisations of these experiences that allows for biased and foreign judgements” (Wiegand 2010 et al.: 676, cf. see Wiegand 1998: 541-553, 603-620 for more detail). Therefore, the responses to the openended question allow us to gather information about potential usage opportunities and the resulting usage experience.

3 Responses to the open-ended question: In which contexts or situations would you use a dictionary? The open-ended question on contexts of dictionary use which we included in the first study was: “In which contexts or situations would you use a dictionary?” Participants were asked “to answer this question by providing as much information as possible”. To gain data about real extra-lexicographic situations, i.e. the contexts in which linguistic difficulties arise with no bearing on existing dictionaries, it would have been better to ask a question such as: “In which contexts or situations do language-related problems occur in your daily life?” or “In which situations would you like to gain more knowledge of linguistic phenomena?” However, in the context of

|| 6 “Benutzungshandlungen stehen […] zu anderen kommunikativen Handlungen und zu kognitiven Ereignissen in Beziehungen. Eine generelle und damit wenig präzise Kennzeichnung der Beziehung ist gegeben, wenn man lediglich die Typen von sozialen Situationen, in denen Wörterbücher benutzt werden können, angibt, wie sich beispielsweise […] mit folgenden Ausdrücken erfolgen kann: bei den Hausaufgaben, bei der Übersetzung, beim Studium von Fachtexten, […], bei der Vorbereitung der automatischen Extraktion von lexikographischen Daten für eine lexikalische Datenbank […]. Soziale Situationen, welche mit Ausdrücken wie den gerade aufgezählten benannt werden können, heißen Benutzungsgelegenheiten. Für manche Zwecke ist die Angabe von Benutzungsgelegenheiten durchaus ausreichend […].Für andere Zwecke der Benutzungsforschung – insbesondere in hypothesenüberprüfenden Untersuchungen – ist dagegen die Angabe von Benutzungsgelegenheiten, die ja z.T. sogar offen läßt, ob die Wörterbuchbenutzung bei der Textlektüre, bei der Textproduktion oder bei der Aneignung von Fachwissen erfolgte, zu wenig spezifisch.“ (Wiegand 1998: 523) – [‘Usage acts […] are related to other communicative acts and cognitive events. A general and therefore imprecise indication of this relationship is given when merely the types of social situation in which dictionaries can be used are named, as can arise for example […] with the following expressions: when doing homework, when translating, when studying specialist texts, […], when preparing the automatic extraction of lexicographical data for a lexical database […]. Social situations which can be labelled using expressions such as those listed above are called usage opportunities. For some aims, it is perfectly sufficient to name usage opportunities […]. For other aims of usage research, on the other hand – especially in studies in which a hypothesis is being verified – naming usage opportunities, which sometimes does not even specify whether the use of a dictionary arose as the result of text reception, text production or the acquisition of specialist knowledge, is not specific enough.’]

92 | Carolin Müller-Spitzer

this questionnaire, this would have been too unspecific and too time-consuming to answer. We did not expect to gain large amounts of data from our open-ended question, although in web surveys the chance of obtaining more detailed and better responses to open-ended questions is higher than in paper surveys, especially when the response field is large: “In general, larger response fields evoke more information from the respondents” (Fuchs 2009: 214) “Early research has shown that open-ended questions in web surveys can produce comparable and sometimes even higher quality responses than paper surveys; people are more likely to provide a response and provide longer, more thoughtful answers when responding by web or e-mail than by paper” (Holland/Christian 2009: 198, cf. also Reja et al. 2003: 162)

This also applied to our participants: many of the nearly 700 participants gave very detailed information. However, as usual, some participants dropped out of the questionnaire at the open-ended question (drop-out rate: 67 of 906, 7.4%). “Nonresponse remains a significant problem for open-ended questions; we found high item nonresponse rates for the initial question.” (Holland/Christian 2009: 196)

On average, the participants wrote 37 words (SD = 35.99). The minimum is unsurprisingly 0 words, the maximum 448 words. 50% of the participants wrote 15 to 47 words. To illustrate the range of length and level of detail of these answers, a few examples of ‘typical’ short and long answers are given in the following (the numbers at the end correspond to the participant’s number).7 Some examples of short answers: – Looking up etymology. [ID: 267] – For reading articles online, for writing and translating online, for doublechecking dubious Scrabble offerings played on a gameboard in another room, etc. [ID: 270] – Consultation for work/pleasure (e.g. crossword)/to answer specific query [ID: 396] – When I am interested in the etymology of a word or the meaning of a word for school or personal use in the library or in my room. [ID: 480] – When I don’t know the definition of a word. [ID: 524] – Mainly when working on papers for my courses (undergraduate) [ID: 530] || 7 For those with a further interest in this, it is also possible to find the corresponding records in the raw data which are accessible through our website www.using-dictionaries.info. However, for privacy reasons, it was necessary to cut short some of the responses to the open-ended question on the website. For the responses of German-speaking participants, English translations have been added. Spelling mistakes in the responses have not been corrected.

Empirical data on contexts of dictionary use | 93

Two examples of long, detailed answers: – When I want to know the spelling of a word that is difficult or has potential alternative spellings, for example either while I am writing a personal or schoolrelated email or essay When I want to know how to pronounce something – audio pronounciation is offered by the Merriam-Webster online dictionary, especially when I want to say the word in public or in a class presentation when it is important to show that I can speak clearly and have command over the language I use When I am interested in learning some fact from history that is fairly basic that I know will be in the dictionary – for example, if I wanted to know if Abraham Lincoln was the sixteenth President of the United States - this would verge on an encyclopedic use of the dictionary. This would probably be based on just personal interest in clarifying facts. If I want to know exactly what a word means so that I can be assured that I am using it correctly in the context of speech or writing (an email, essay, other school-related assignment etc), and if I want to know how a word is used in a sentence When I want to find a synonym for a word, since sometimes they are included in the dictionary, as per when I am writing an essay or assignment out For scrabble When I am bored and me and my friend have a spelling bee [ID: 256] – To translate a word into another language. To check the meaning of a word, either in my own or in a foreign language. To find out the difference in the meanings of words in the same language, especially a foreign language I do not know very well. To find out the correct context, or the correct adpositions or cases to use with the word (for example, is it better to say “corresponds to” or “corresponds with” etc). To find out the correct spelling of a wordform - that includes finding out what that word would be in a specific case, e.g. a past form of a French verb. To find out the ethymology of a word or different words. The above cases generally occur when writing a document or a letter, both for private and work purposes, be it on computer, on paper or drafting it in my mind. Usually I would use the most accessible dictionary, be it on the internet (when I am working on a computer), a paper dictionary or a portable electronic one. If no dictionary is readily available, I might write the words down and check them in a dictionary later, sometimes much later. Another time to use a dictionary is when I am reading a text I do not fully understand or am trying to find a relevant part of the text – for example when looking for information on a Japanese web page or reading a book or article. In that case I would have a dictionary at hand, if I knew it to be a difficult text. A third case would be when I have a difference in agreement with somebody about the meaning or usage of a word or simple curiosity – for example when looking up the ethymology of words to see if they have historically related meanings. Then I would use a dictionary to look it up myself or to show the entry to the other person. [ID: 546]

94 | Carolin Müller-Spitzer

It is obvious that those participants who wrote a lot have a keen interest in the subject of the research, a fact that must be borne in mind when analyzing the results. “[…] respondents who are more interested in the topic of an open-ended question are more likely to answer than those who are not interested. […] Therefore, frequency counts may overrepresent the interested or disgruntled and leave a proportion of the sample with different impressions of reality underrepresented in the results.” (Jackson/Trochim 2002: 311)

3.1 Contexts of dictionary use relating to text production, text reception and translation

3.1.1 Data analysis In the context of usage opportunities, the concrete extra-lexicographic situations which lead for example to dictionary use in a text production situation are of particular interest, as pointed out in Section 2. The aim is therefore to find out more than: Do you consult a dictionary, when you are a) writing a text, b) reading a text or c) translating a text? The goal is to ascertain, for example, (a) the group ‘xy’ of users who consult a dictionary in particular when they are listening privately to foreign-language music or watching foreign-language films, or (b) users of the group ‘yz’ who consult dictionaries in particular when they are writing foreign language texts in the context of a specific subject area at work. Such insights could then lead to a more accurate picture about the situations (private/professional; written texts/spoken language; music/film, etc.) in which dictionary use is embedded. Therefore, the first stage in the analysis was to assign the responses or parts of them to contexts that relate to text production, translation or text reception. Parts of responses which were not classifiable in this way were assigned to an ‘other’ category. The idea behind this procedure was to structure the data first in order to then conduct a detailed analysis of the subsets, e.g., of what is said about the contexts in which text production takes place. Methodologically, in the data analysis I have concentrated on one of the central techniques for analyzing data gained from open-ended questions, namely the method of structuring (cf., Diekmann 2010: 608-613, Mayring 2011; for more general literature concerning the analysis of open-ended questions cf. e. g., Crabtree/Miller 2004, Hopf/Weingarten 1993, Jackson/Trochim 2002). Structuring is typically conducted using the following steps: first, a (possibly temporary) category system is formulated; second, anchor examples are defined; and third, coding rules are established. Anchor examples are data which serve as examples for the subsequent coding process and therefore as a basis for illustrating the encoding rules. Coding rules

Empirical data on contexts of dictionary use | 95

are the rules by which – based on the example of this paper – a part of a response, for example, is assigned to the category of text production, while another is assigned to the category of text reception. Structuring is therefore a code-based approach, in contrast to a word-based approach (cf. Jackson/Trochim 2002: 309-311), which typically employs only computer-assisted coding, e.g. counting the co-occurrence of word units to identify clusters of concepts. Here, the code-based approach of structuring is in some cases combined with a word-based approach, e.g. analyzing the most frequent words in the extracts that relate to text production. Here, the basic categories I assume are text production, text reception, translation and ‘other’. In the context of function theory, these are all communicative situations (cf. Tarp 2008: 47-50, Tono 2010: 5). Typical vocabulary which leads to an assignment to text production are words such as “write”, “typing”, “spell”, “correct”; for text reception, words such as “read”, “hear”, “listen to”, “watching”; and for translation, all forms of “translate” (and the corresponding German words for each, because the questionnaire was distributed in English and German, cf. MüllerSpitzer/Koplenig: First two studies, this volume). Parts of responses were assigned to the ‘other’ category either if they were too general or if they contained aspects of dictionary use other than the three basic categories. Examples are phrases such as: “When I am researching contrastive linguistics”, “solving linguistic puzzles for myself” or “during the process of designing software tools”. Therefore, the coding rules for dividing responses into the basic categories are to analyze the words used in the responses and to assign them (manually) to the four categories text production, text reception, translation and ‘other’. In the data analyses, the corresponding parts of texts which relate to e.g. text production are stored as extracts in a separate field. This procedure allows all parts of texts relating to text production to be analyzed separately from those which relate to translation or text reception. Typical anchor examples are presented in Table 1. Here it is possible to see how one response may contain parts which relate to text production, parts focusing on text reception and another which is not assignable to any of the three categories, and how these parts are divided into several extracts. Response - When I am reading news or technical documents (primarily online) or novels (primarily on paper) and I come across a word I don’t know - When I am writing and I want to check the spelling or precise usage of a word - When I want to find out the etymology of a word – often When discussing words with adults - When I want a precise or clear definition to explain a word’s usage to a child - to adjudicate challenges When playing Scrabble. [ID: 277]

96 | Carolin Müller-Spitzer

Text Production [extract]

Translation [extract]

Text Reception [extract] When I am reading news or technical documents (primarily online) or novels (primarily on paper) and I come across a word I don’t know

When I am writing and I want to check the spelling or precise usage of a word […] When I want a precise or clear definition to explain a word’s usage to a child […] to adjudicate challenges When playing Scrabble

Other [extract] When I want to find out the etymology of a word […] often When discussing words with adults

Response (1) I use English-language dictionaries in the preparation of technical documents to confirm spelling and grammar issues. (2) I use German, Swedish, Old English, and Old Icelandic dictionaries in historical research. I use the Cleasby-Vigfusson and Zoega Old Icelandic dictionaries the most in this connection, with the frequency of use determined by the needs of the current project. (3) I use the Online Etymology Dictionary to satisfy personal curiosity about word origins and, on occasion, to help me pin down nuance when writing for work or scholastic research. (4) I use the Urban Dictionary to investigate odd turns of phrase in current slang and internet usage. This is usually in aid of deciphering social media posts by my teenaged nieces. [ID: 499] Text Production [extract] 1) I use Englishlanguage dictionaries in the preparation of technical documents to confirm spelling and grammar issues. […] on occasion, to help me pin down nuance when writing for work or scholastic research.

Translation [extract]

Text Reception [extract]

Other [extract]

(4) I use the Urban Dictionary to investigate odd turns of phrase in current slang and internet usage. This is usually in aid of deciphering social media posts by my teenaged nieces.

(2) I use German, Swedish, Old English, and Old Icelandic dictionaries in historical research. I use the Cleasby-Vigfusson and Zoega Old Icelandic dictionaries the most in this connection, with the frequency of use determined by the needs of the current project. (3) I use the Online Etymology Dictionary to satisfy personal curiosity about word origins […]

Tab. 1: Anchor examples of encoded responses relating to text production, text reception, translation and ‘other’.

Empirical data on contexts of dictionary use | 97

3.1.2 Results of the analyses

3.1.2.1 Division into basic categories Generally, a large number of descriptions of contexts of dictionary use can be found in the responses, which confirms what would be expected. Many participants write that they consult dictionaries constantly during their work to close lexical gaps, to ensure that they have chosen the right translation, to check the right spelling etc. In most cases, allocating the parts of the responses to the four categories was straightforward, i.e. the extracts could be distinguished from one other relatively easily. To demonstrate this, the most frequent words in these extracts are illustrated using tag clouds, because this “format is useful for quickly perceiving the most prominent terms” (Bowker 2012: 385). No further analyses are performed on these tag clouds; their only purpose is to show that key words such as “write” (or the German equivalent “schreiben”) in the extracts relating to text production, “read” (German “lesen”) in those relating to text reception or “translate” (German “übersetzen”) in the extracts relating to translation show up very clearly as the most frequent words. This may seem to be a trivial result, but it can by no means be taken as read, when one considers how interconnected and interrelated many of the descriptions of the participants are. In order to visualize the most frequent words based on tag clouds, the relevant extracts were analyzed using the open-source web application TagCrowd8. The English and the German extracts were analyzed together, so that the word cloud is bilingual. The striking differences between the tag clouds of text production, text reception or translation situations in the extracts are immediately clear (cf. Figure 24).

|| 8 www.tagcrowd.com. The chosen options are language=English (which is why the lemmatization is missing for German), maximum number of words to show=50, minimum frequency=1, Show frequencies=yes, Group similar words=no, exclude unwanted words: “als and anderen auch auf bei beim bezuglich bin bzw das dem den der des die ein einem einen einer eines er es fur i ich im in ist me meine meiner meines mir nach nicht oder of or sie um und vom von we wenn zu zum zur“.

98 | Carolin Müller-Spitzer

Fig. 2: Most frequent words in the extracts relating to text production.

Fig. 3: Most frequent words in the extracts relating to translation.

Empirical data on contexts of dictionary use | 99

Fig. 4: Most frequent words in the extracts relating to text reception.

This illustrates that the separation of the extracts according to the basic categories has apparently worked well. The next step is to gain an overview of the distribution of the different types of situation: more than half of the descriptions are related to text production situations (N = 381, 56%), followed by text reception (N = 265, 39%) and, with a very similar proportion, translation (N = 253, 38%). 41% of the responses (N = 280) are also or only assigned to the ‘other’ category. The four categories therefore overlap, because one response may contain descriptions about text production situations and translation situations, as well as some parts which are not attributable to any of the three categories. Figure 5 shows the distribution of text production, translation and text reception in the form of a Venn diagram illustrating the relationship between different types of situation. In Figure 6, the diagram is extended by the ‘other’ category. Figure 5 is therefore a clearer view, while Figure 6 shows the overall distribution in more detail. The diagrams show that – as already noted – dictionary consultations of situations relating to text production are described most often, followed by text reception and translation. However, 41% of the responses contain descriptions of situations which could not be assigned to any of the three categories. The level of overlap is high, i. e. many extracts are descriptions that have been assigned to more than one category. This is undoubtedly connected to the fact that some participants wrote in great detail.

100 | Carolin Müller-Spitzer

Fig. 5: Venn diagram (N=684) showing the distribution of text production, translation and text reception.

Fig. 6: Venn diagram showing the distribution of text production, translation, text reception and ‘other’.

Empirical data on contexts of dictionary use | 101

Further analyses were carried out to determine whether these distributions reveal any differences between the groups, for example, that recreational users (i. e. users who use dictionaries mainly in their leisure time and mainly for browsing) describe situations referring to text reception more frequently than experts who use dictionaries mainly for professional reasons. However, group-specific analyses revealed marginal effects in terms of the distribution of the named usage situations. It can only be stated that experts have a significantly higher value in translation (χ²(7) = 61.46, p < .00, cf. Table 2); this, however, is due to the fact that translators are part of the expert group. Therefore, this result is simply a confirmation of known facts. The 41% of the extracts which were assigned to the ‘other’ category were sometimes too general to enable a decision to be made as to whether they related to one of the three basic categories, and sometimes they really included other categories not covered by these three main terms. To gain an insight into how many of these cases included other categories, i. e. to gain relative frequency values, a more detailed analysis was done in a second step (the first step was the distribution into the four basic categories). Firstly, those extracts were selected that not only were too general to assign to the basic categories, but also contained descriptions that were attributable to other, new categories. extracts assigned to: text reception & text production& translation text production & translation text reception & translation translation text reception & text production text production text reception none

Total

non-experts

experts

Total

7 4.73 8 5.41 3 2.03 2 1.35 37 25.00 27 18.24 9 6.08 55 37.16 148 100.00

48 8.96 72 13.43 25 4.66 93 17.35 104 19.40 78 14.55 32 5.97 84 15.67 536 100.00

55 8.04 80 11.70 28 4.09 95 13.89 141 20.61 105 15.35 41 5.99 139 20.32 684 100.00

Tab. 2: Distribution of text production, translation and text reception according to experts vs. nonexperts.

The result is that 39% (N = 110) of the 280 extracts include descriptions of potential contexts of dictionary use which are not covered by the basic categories. Thereby,

102 | Carolin Müller-Spitzer

during the analysis, two categories emerged, which were often mentioned and which were then coded accordingly. These categories were: to resolve questions relating to teaching/for educational purposes, and to satisfy an interest in etymology. The percentages of responses that included other categories (N = 110) were 24% (N = 26) related to teaching, lesson planning etc., and 41% (N = 45) related to questions of the history of a word, etymology or similar. The following extracts illustrate the range of responses which are assigned to the ‘other’ category. Responses which deal with questions of teaching: – When teaching students at my University [ID:428] – Wenn ich Studenten erkläre, wie sie nachschlagen können. [ID:1129] [When explaining to students how they can look things up.] – Wenn ich privat für meine Kinder nach Informationen für deren Deutsch- oder Fremdsprachenunterricht suche. [ID:307] [When looking for information in a private capacity for my children for their German or foreign language lessons.] – Showing occasional students [I am a retired foreign-language teacher] the various types of information they can find in various dictionaries, how to choose the relevant type (explaining, translating, learner’s, specialist dictionary), and how to identify, understand and apply correctly the information required. [ID: 628] Responses which deal with questions of etymology, word history: – Wenn mich die Herkunft eines Wortes interessiert und um Kognate in anderen Sprachen zu finden. Einfach so, wenn mich interessiert, was ein Wort in einer anderen Sprache bedeutet. [ID: 935] [When I am interested in the origin of a word and to find cognates in other languages. Just when I’m interested in what a word in another language means.] – Wenn ich etwas über die Entwicklung eines Begriffs im diachronen Verlauf erfahren möchte [ID: 1005] [When I want to find out about the diachronic development of a term.] – I use wordnik.com to enter new word meanings and quotations. I use the OED online to research historical origins of words, find words from a given origin or time of origin. I use various online dictionaries to look up the meaning of words I do not know. [ID: 668] Responses in the ‘other’ category which deal neither with teaching nor with etymology: – I may be an unusual user because I am doing sociological research about dictionaries, especially online ones [ID: 900] – I have also downloaded several online dictionaries, when that has been possible, for use in work in computational linguistics. [ID: 820] – I also use sites like ‘wordofthefuckingday.com’ simply to increase my vocabulary. [ID: 274]

Empirical data on contexts of dictionary use | 103

–

I have to say that I love dictionaries, then sometimes I search a word and then I spend some time playing with It, checking words, meanings, even When I am not working [ID: 685]

Many of the potential usage opportunities which are assigned to the ‘other’ category are not new or were not unknown before, cf. for example Tarp’s contributions to the different cognitive and communicative situations (Tarp 2009: 44-80) in which many of these cases are covered. It is more an empirical foundation that many actual usage situations are not covered by the usual standard questions about usage situations. The high number of those who are interested in etymology and questions about teaching shows that we have a large number of participants who have a (more or less) professional access to dictionaries. Surely the result would look very different if we had a high number of participants who had little contact to dictionaries in their daily life. Using the analyses presented above, it was possible to obtain an overview about how the participants’ responses are distributed into the basic categories. Here, group-specific effects are barely in evidence. However, it became clear that many of the explications in the responses go beyond the basic categories of text production, text reception and translation.

3.1.2.2 Description of contexts of dictionary use The real aim of this study, however, as outlined in the introduction, is to learn more about the closer contexts of dictionary use, for example, as a result of which context texts are written and hence in which context the user need originates. The responses contain information about this question. This will be illustrated with reference to the extracts that were assigned to text production. For example, in many responses, indicators and clear explications are found about whether dictionary use is embedded in a personal or professional context: – When I am writing lectures/tutorial materials at work and interested in the origin or etymology of words. [ID: 505] – When I am typing documents at work or sending emails internally or externally and want to check on my spelling, grammar, expression, etc. [ID: 1107] – When I am speaking with friends online – over Facebook chat, or another messaging device – if one of my friends uses a term I am unfamiliar with, I will often “Google” it, or look it up on ubrandictionary.com. [ID: 254] In some answers, this is also specified in more detail, i.e. some participants specifically write, e.g. “When writing Facebook entries”, “writing poetry”: – Glueckwuensche zum Geburtstag in der jeweiligen Sprachen schreiben wollen umd damit dem jenigen eine Freude zu machen [ID: 123] [Wanting to write

104 | Carolin Müller-Spitzer

– – – –

birthday greetings in the relevant language in order to bring pleasure to somebody.] Whenever I need to look up a word, whether […] writing a professional document, a tweet, a Facebook message, or an email. [ID: 273] Um wichtige Informationen fuer meine auslaendischen Mitbewohner zu notieren [ID: 69] [In order to note important information for my foreign housemates.] I write poetry as a hobby, especially sonnets, I frequently (more than once per week) use a rhyming dictionary or thesaurus from several sites. [ID: 521] If I am writing a paper on a piece of literature that is quite old, I will look up words from that literature to make sure that my understanding of the word is the same as how the word was used at the time the literature was written. [ID: 254]

These answers contain interesting information about the contexts of dictionary use. Users’ aims are also made explicit, for example that dictionaries are used to act as someone with a high level of language skills: – When I want to know how to pronounce something – audio pronounciation is offered by the Merriam-Webster online dictionary, especially when I want to say the word in public or in a class presentation when it is important to show that I can speak clearly and have command over the language I use [ID: 256] However, a clear distinction e.g. between private and professional activities is difficult because these are also often conflated in the responses. For example, one participant writes after the description of different usage scenarios: – The above cases generally occur when writing a document or a letter, both for private and work purposes, be it on computer, on paper or drafting it in my mind. [ID: 546] In addition, there are descriptions of whether the work is already taking place on the computer or in another context, with the word being looked up in the online dictionary later: – When I’m writing a paper or story, generally on my computer, and I want to check the denotation of a word that doesn’t quite seem right [ID: 1135] – If no dictionary is readily available, I might write the words down and check them in a dictionary later, sometimes much later. [ID: 546] However, sometimes important information is missing. See for example the following response: – And if I’m talking with someone and i can’t remember the right word. [ID: 848] Here one might wonder: When and on what sort of device does the dictionary consultation take place? Straight away on a smartphone? Similarly:

Empirical data on contexts of dictionary use | 105

–

When I want a precise or clear definition to explain a word’s usage to a child [ID: 277]

What is then looked up exactly? On what sort of device? Therefore, many questions remain unanswered. Beyond that, the descriptions cannot really be classified into broad categories, i. e. a clearly structured summary is not achievable. Therefore, what is difficult to evaluate from the data are the particular circumstances of contexts which lead to, e. g., a user need for text production and therefore to a dictionary consultation. On the one hand, the question was very general, so that the responses are sometimes very general, too. On the other hand, some responses contain interesting information on the context of dictionary use, but this information cannot easily be placed in an overview beyond the basic level of text production/reception etc. In consequence, I gained no frequency counts or a structured picture on a more detailed level. In this respect, the data, as was pointed out at the beginning, represent a starting point for further study in this field. To achieve the goal of gaining some degree of quantitatively analyzable information about contexts of dictionary use, it would therefore be advisable to use a combination of standardized and open-ended questions. Hopefully, the results of this analysis will help this eventual aim to be successfully achieved.

3.1.2.3 Description of patterns in dictionary use The initial aim to learn more about the exact contexts of dictionary use could therefore be only partially achieved. Nevertheless, this is not the end of the analysis of the available data. Rather, other aspects of the question of contexts of dictionary use have emerged which may be of interest for many in the field of lexicography. For example, a question asked at the beginning was whether certain patterns of dictionary use, i. e. action routines relating to how dictionaries are typically used, are reflected in the responses. This is the case, as some participants gave relatively detailed descriptions of their typical usage patterns based on their usage experience. This data will be shown here as it offers useful insights into how users self-reflect on their typical use of dictionaries. However, there will be no further analysis of this particular aspect of the study. First, an example of a very detailed description: – I am employed as a cataloguer and editor by Tobar an Dualchais, which is digitising the sound archives of the School of Scottish Studies. For summaries that I write or edit, I often use the Scottish National Dictionary in its online form at the Dictionary of the Scots Language http://www.dsl.ac.uk/dsl/ to check spellings and sometimes meanings. Occasionally I search the definitions in order to pin down a word not clearly heard. Sometimes words and phrases in Gaelic come up (there are Gaelic cataloguers dealing with material that is entirely in Gaelic). I sometimes use online Gaelic dictionaries, but more often a desk dictionary (MacLennan - the vocabulary that comes up can be quite archaic). Often I then

106 | Carolin Müller-Spitzer

consult a Gaelic colleague, but the dictionary can help me to refine my question. Travellers’ cant quite often comes up. For this I consult various sources including a digital version of George Borrow’s standard work on Romany, downloaded from Project Gutenberg. There is quite a lot of cant in SND. I’ve found it useful to get a complete list by searching the etymology field. I am helping a colleague to produce a modernised reading text of Gavin Douglas’s 15th c translation of Virgil’s AEneid. For this I frequently consult A Dictionary of the Older Scottish Tongue, again at the Dictionary of the Scots Language http://www.dsl.ac.uk/ dsl/. I might search headword forms, then if unsuccessful, full text. Since Douglas is extensively quoted in DOST I can sometimes confirm a difficult reading of a line by searching the quotations. Occasionally I resort to guessing a meaning from the context and searching the senses. For difficult readings, I also check the Latin text at http://www.perseus.tufts.edu, which is hyperlinked to a lexicon (with statistical probabilities) and a dictionary. I sometimes write in Scots for Lallans magazine, and have also completed a novel in Scots (unpublished as yet – fingers crossed). I quite often use sense searches in SND to suggest vocabulary (in the fashion of a thesaurus). For my novel, I have also used online dictionaries of Chinese, Hindi and Uighur to provide occasional words that I wanted to quote or use as the basis of fictitious names. Also online lexicons of personal names in Chinese, Uighur and Tibetan. I found these resources through Google, but couldn’t identify them again. I act as a consultant on Older Scots pronunciation for the Oxford English Dictionary. For this I have digital access to the third edition. I also refer to DOST and, less often, SND, to answer their queries. From time to time I give lectures on the Scots language. For my next one I have used screenshots from DOST and from the Historical Thesaurus of English http://libra.englang.arts.gla.ac.uk/historicalthesaurus/aboutpro-ject.html. [ID: 226] A typical approach which was evident in several responses is that firstly a bilingual dictionary is consulted, then a monolingual one and, as a final check, a search using a search engine is carried out. – Beim Schreiben von englischsprachigen Texten überprüfe ich anhand eines Wörterbuchs, ob meine Wortverbindungen im Englischen gängig sind. Dazu verwende ich erstmal ein zweisprachiges, dann ein einsprachiges Wörterbuch. Manchmal sichere ich das auch noch durch eine google-Recherche ab, um sicherzustellen, dass die Wendung auch in der Domäne gängig ist. [ID: 890] [When writing texts in English, I use a dictionary to check whether my word combinations are usual in English. For that, I first of all use a bilingual dictionary and then a monolingual one. Sometimes I also check using a Google search in order to be sure that the expression is also current in that field.] – Ich arbeite als Übersetzerin und Korrektorin. Beim Übersetzen schlage ich unbekannte Wörter oft zuerst in einem mehrsprachigen Wörterbuch wie LEO nach, bei Fachwörtern auch in Fachwörterbüchern oder Glossaren, von denen ich ei-

Empirical data on contexts of dictionary use | 107

ne ganze Menge (geschätzt ca. 50) thematisch geordnet als Favoriten gespeichert habe. Grammatik- und Rechtschreib-Informationen suche ich meist in einsprachigen Wörterbüchern (z. B. Cambridge oder Oxford Online-WB). Auch den Thesaurus benutze ich beim Übersetzen oft (sowohl im Deutschen als auch im Englischen). [ID: 486] [I work as a translator and proofreader. When translating, I often look up unknown words first of all in a multilingual dictionary such as the LEO; for specialist terms, I also use specialist dictionaries or glossaries – I have saved a whole load of these as Favourites (I estimate approx. 50) categorized by topic. I mostly look for information on grammar and spelling in monolingual dictionaries (e.g. Cambridge or Oxford online dictionaries). I also often use a thesaurus when translating (both in German and in English).] Many participants seem to always have a number of reference books open in the browser while they are working, including specialized dictionaries. – Ich arbeite als Fachübersetzer (95% De>En) und benutze - Fachwörterbücher in Buchform – Oxford English Dictionary (auf Computer installiert) – Personal Translator (auf Computer installiert, von mir durch eigene Einträge und Satzarchiv erweitert, also quasi als TM genutzt) – Duden Korrektur Plus (auf Computer installiert) – PC Biobliothek Biologie (auf Computer installiert) Ausserdem greife ich oft (mit entsprechender Vorsicht) auf Glossare und Fachwörterbücher online zurück, die von Behörden, Unis, Forschungsinstituten etc. eingestellt werden, sowie auch auf Wikipedia. Dabei kann das Nachschlagen dazu dienen, – eine Definition eines mir nicht bekannten Wortes zu finden – eine Übersetzung zu finden – eine Definition oder Übersetzung, die ich im Kopf habe, zu bestätigen – einen alternativen Begriff zu finden (Thesaurus) [ID: 354] [I work as a technical translator (95% De>En) and use: specialist dictionaries in book form; the Oxford English Dictionary (installed on the computer); Personal Translator (installed on the computer, expanded by me through my own entries and sentence archive, i.e. used as a quasi TM); Duden Korrektur Plus (installed on the computer); PC Biobliothek Biologie (installed on the computer). As well as that, I often (with appropriate caution) fall back on online glossaries and specialist dictionaries which are put online by authorities, universities, research institutes, etc., and also Wikipedia. By looking up words, I can: find the definition of a word I don’t know; find a translation; confirm a definition or translation I have in my head; find an alternative term (Thesaurus).] – […] Eigentlich habe ich mir angewöhnt immer dict.leo.org und pons.de und dict.cc und oft noch das einsprachige meriam-webster.com in Tabs zu öffnen, sobald ich im Internet viel auf fremdsprachigen Seiten bin. Zum Übersetzen: da allerding nur die allgemeinsprachlichen Wörter. Bei Fachwörtern sollte man lieber gute Fachwörterbücher konsultieren. […] zum Überprüfen der OnlineWörterbucher-Ergebnisse: bei leo oder pons gefundene Vokabeln in Anführungszeichen setzen und mit der erweiterten Google-Suche schauen, in wel-

108 | Carolin Müller-Spitzer

chem Kontext diese Worte von Muttersprachlern verwendet werden, und - im Falle von mehreren Möglichkeiten - schauen, welche mehr und dem Sinn nach passendere Treffer hat.... [ID: 1077] [I have got into the habit of always opening dict.leo.org, pons.de, dict.cc and often also the monolingual meriam-webster. com in tabs, as soon as I am on a lot of foreign-language websites on the internet. For translation, though only everyday words. For technical vocabulary, it is better to consult good specialist dictionaries. [...] To check the results in the online dictionaries: put vocabulary found in leo or pons in inverted commas and do an advanced Google search to see in what context these words are used by native speakers, and – where there are several possibilities – see which has the most hits with that meaning.] In addition to the setting of bookmarks, search engines are used to search for suitable reference books. – Wenn ich die französische Übersetzung eines deutschen oder englischen Wortes suche, wenn ich einen deutschen Text beruflich ins Französische übersetze. Manchmal öffne ich zunächst das (online) Wörterbuch und suche darin das Wort (das häufig darin nicht steht, da das Wort zu spezialisiert ist oder nur eine gelegentliche Zusammensetzung ist), aber häufiger google ich das gesuchte Wort und das Wort „français“, und so gelange ich häufig auf Glossare oder Lexika die das Wort enthalten – wobei jedoch die kostenlose Lexika, die auf den Google Results ercheinen, das Wort häufig nicht haben! [ID: 826] [When I am looking for the French translation of a German or English word, if I am translating a German text into French for professional reasons. Sometimes I open the (online) dictionary first and look for the word there (although it is often not in there, as it is too specialized or is only an occasional compound), but more often I Google the word I am looking for and the word “français”, and that way, I come across glossaries or dictionaries, which contain the word – although the free dictionaries which appear in Google Results often do not have the word!] All this comes as no surprise, but it is empirical confirmation of previous assumptions. However, it is interesting how precisely these patterns are explained as a response to such a general question, as it was asked in the questionnaire. This suggests that these are real action routines.

3.1.2.4 Differences between ‘experts’ and ‘recreational users’ A general question was whether experts differ from more recreational users regarding their responses (and if so, how). These groups were formed in the following way: participants were classified as expert users if, when asked about their profession, they stated that they were a linguist, translator or teacher of DaF (Deutsch als Fremdsprache)/EFL (English as a foreign language), and answered that they used dic-

Empirical data on contexts of dictionary use | 109

tionaries in a “mainly professional” or “professional only” capacity. A breakdown of these three groups, for example for translators and linguists, turned out to be of little use because there was too much overlap between the groups (when asked about professional activities, it was possible to answer several options with “yes”). Participants were classified as recreational users, if they used dictionaries for “mainly private” or “private only” purposes, and “often” “with no particular purpose/to browse”. In the following, 'typical' responses from the expert group are compared with those from the group of recreational users in order to show any differences. Firstly, responses from the expert group: – finding the correct spelling for more obscure words or whether they have various accepted spellings [ID: 293] – I work as a freelance translator and language reviser and I frequently use online dictionaries to check e.g. technical, economic or legal terms. When I cannot find a satisfactory translation between Swedish and English, I sometimes use a German-English online dictionary as an extra aid. […] [ID: 302] – In meiner Arbeit als Dolmetscherin und Übersetzerin: immer. Wenn ich einen Text übersetze. Wenn ich einen Dolmetscheinsatz vorbereite. Wenn ich mit einem Kunden telefoniere. (davor und auch während) Wenn ich für einen Kunden im Ausland anrufen muss. Wenn ich für einen Kunden eine e-mail schreiben muss an dessen ausländische Kunden. Wenn ich mit einem eigenen ausländischen Kunden korrespondiere. Wenn ich bei einem Kunden im Büro bin und wir gemeinsam Verhandlungen, Strategien, Anrufe, etc. im Ausland vorbereiten. […] [ID: 341] [In my work as an interpreter and translator: always. When I am translating a text; when I am preparing an interpreting job; when I am phoning a client (both before and during the call); when I have to phone for a client abroad; when I have to write an email for a client to his/her foreign clients; when corresponding with one of my own foreign clients; when I am in a client’s office and we are preparing negotiations, strategies, calls etc. abroad. [...] – I generally rely on my own extensive vocabulary to choose a word, then use a dictionary to confirm that I have fully grasped all the nuances. [ID: 340] – I’m a linguist and work as a consultant to several companies that develop textto-speech products. I have to transcribe items (using phonetic symbols) of several languages using the phonological inventory of my native language. Thus, I have many questions about pronunciation of words and I use TheFreeDictionary very often to check them. This means I’m not very intersted in meaning, but in the phonetic transcription of the entries. Sometimes I check the pronunciation of entries in my own native language. [ID: 765] – Besonders nützlich ist die Suche nach Wortfeldern/Synonymen auch, wenn sprachliche Stilmittel (z.B. Alliterationen) in die Zielsprache übertragen werden sollen - eine Art „computergestütztes Brainstorming“. [ID: 1042] [The search for

110 | Carolin Müller-Spitzer

semantic fields/synonyms is also particularly useful if linguistic stylistic devices (e.g. alliteration) are to be transferred to the target language – a sort of “computer-based brainstorming”.] The professional approach in the expert group is reflected in the terminology (10% of the responses contain linguistic terminology, N = 65, see Section 3.2). Vocabulary was only considered to be linguistic terminology, if it is not too common in everyday language (so not “word”, for example). However, there are acts of use described by the expert group which can hardly be seen as typical, e.g. using a dictionary for fun, using a dictionary while developing a dictionary writing system, and so on. However, these non-typical activities are most likely a sign of specialization (cf. in contrast Wiegand 1998: 609).9 Secondly, in the group of recreational users, the contexts described relate more to activities associated with leisure, such as writing/reading facebook postings, listening to music, watching TV etc., as the following examples illustrate: – […] aus Spaß Beim Diskutieren, Wenn man gemeinsam überlegt, welche Bedeutung dieses oder jenes Wort hat [ID: 987] [...] for fun in discussions, when you are wondering together what this or that word means] – […] Wenn mir ein Wort auf der Zunge liegt […]Eigentlich immer dann, Wenn einem mal die Worte fehlen [ID: 1117] [...] When there is a word on the tip of my tongue [...] Really whenever you can’t think of a word] – […] Chatting to people in the internet [ID: 263] – […] I often use foreign-language dictionaries to find names for pets [ID: 421] – [….] Wenn man sich einen Film doer eine Serie in der Originalfassung ansieht und etwas nicht verstanden hat - Wenn ich in einem Buch oder einer Zeitung ein Wort finde, dass ich noch nicht kenne [ID: 3] [When you are watching a film or series in the original and there’s something you don’t understand; whenever I find a word in a book or a newspaper that I don’t know] – […] Wenn ich die genaue Bedeutung eines Fremdwortes suche, dass ich in einem Text lese, oder dass ich in Rahmen eines Gespräches gehört habe oder selber verwenden will in einem Text den ich schreibe. [ID: 38] [...] If I am looking

|| 9 A special feature is that translators apparently also use dictionaries during simultaneous interpreting, which demands firstly a remarkable memory performance on the part of the users and secondly a high speed performance on the part of the electronic dictionaries. “[…]Wenn ich Übersetzungen anfertige, und mir Bedeutungsalternativen in der ZIelsprache fehlen. Bei Übersetzungen die unterwegs angefertigt werden (Hotel, Bahn usw.) Bei Simultandolmetscheinsätzen aus der Kabine, um etwas schnell nachzuschlagen.“ [ID: 346] [“When I am doing translations, and I can’t think of alternative meanings in the target language; for translations which I’m doing while I’m away (hotel, railway station, etc.); when doing simultaneous translation from a cubicle, to look something up quickly.”]

Empirical data on contexts of dictionary use | 111

–

–

–

for the exact meaning of a foreign word that I have read in a text or that I have heard during a conversation or want to use myself in a text I’m writing.] […] das gilt auch fürs lesen fremdsprachlicher texte, wenn es ein wichtiges wort zu sein scheint, das ich noch nie vorher gehört habe [ID: 844] [...] that also goes for reading foreign-language texts, if there seems to be an important word that I have never heard before] In meiner Freizeit, wenn ich ein englisches oder spanisches Buch lese und eine Vokabel nicht weiß. Wenn ich einen engl/span Film gucke, und eine Vokabel nicht weiß. Wenn ich im Internet auf engl/span-sprachigen Seiten surfe. […] [ID: 1077] [In my free time when I am reading an English or Spanish book and don’t know a word. When I am watching an Eng/Sp film and don’t know a word. When I am browsing the internet looking at Eng/Sp websites. [...]] I write poetry as a hobby, especially sonnets, I frequently (more than once per week) use a rhyming dictionary or thesaurus from several sites. [ID: 521]

Differences in responses between the experts and the recreational users are obvious. This is reflected in the terminology used, in the approach to dictionaries and so on. However, in both groups the overall impression is that the participants know for the most part very well exactly what dictionaries are and what they can be used for, a fact that cannot be taken for granted at a time when the development of lexicographic data is repeatedly questioned due to economic pressures. As a preliminary summary, it is possible to say that with respect to the exact specification of contexts of dictionary use, no firm conclusions have been reached. While working on the data, however, other interesting aspects emerged which it was useful to analyze and which also give an interesting insight into what aspects of the use of dictionaries were emphasized by our participants in their responses. This concerns in particular user aims, which are presented in the following section.

3.2 User aims and further aspects of dictionary use As well as the assignment of responses to different kinds of usage opportunities, some aspects of dictionary use were often repeated in the responses and thus emerged as a category in the analysis, particularly with regard to user aims. The user’s aim means (within the meaning of Wiegand et al. 2010: 680) the action goal which enables the user to retrieve relevant lexicographic information based on appropriate lexicographic data. Many responses contain notes on that topic, for example: ‘I use dictionaries for research’ or ‘to improve my vocabulary’. The analysis of these descriptions seemed to offer an interesting additional view on the data far from the basic categories of text production, text reception or translation. The emphasis is not, however, on the completeness of all named aspects, but more on the interesting and perhaps unusual categories that would not necessarily be expected.

112 | Carolin Müller-Spitzer

3.2.1 Data analysis The following categories were developed gradually during the first analysis regarding the distribution explained in 3.1. The nine categories which are relevant for this Section are listed in Table 3. The first five categories refer to specific user aims, the last four to further properties of responses. Once these categories were formed, the responses which are assigned to the appropriate category were marked. In the righthand column of Table 3, the typical formulations in responses which lead to an assignment to the relevant category are presented. Examples of the encoded responses, i.e. the corresponding anchor examples, can be seen in Table 4. Thus, Table 4 illustrates how individual responses were assigned to the different categories. In many responses, the relationship between printed and digital dictionaries and combining dictionaries with other resources, such as search engines, spell-checkers etc., is explicitly mentioned (categories 8 and 9). This is currently a much discussed topic in dictionary research, see e. g. the discussions on the Euralex-mailing list from November 5-12, 2012 that followed the announcement by Macmillan that it will cease production of printed dictionaries in the near future.10 It is also generally observed that many usage opportunities that previously resulted in the use of a dictionary are being fulfilled more and more by a direct search in search engines or corpora, or at least in a roundabout way in combination with such resources. It was shown in the analysis of logfiles of online dictionaries that many users do not know that less factual information is usually included in a dictionary, i. e. they cannot distinguish between dictionaries and encyclopedias. I have therefore investigated whether the difference between dictionaries and encyclopedias or other related resources is addressed in the responses, or whether anything is said about using a combination of dictionaries and related resources. The responses which were assigned to categories 8 and 9 (cf. Table 3) were therefore analyzed more closely. This detailed analysis means in this case that the relevant passages of the responses were extracted in order to be able to take a closer look at what our participants wrote about the use of printed vs. electronic dictionaries and about using additional resources such as search engines etc. Table 5 shows how, based on two anchor examples, extracts from responses are assigned to the two topics.

|| 10 See www.freelists.org/archive/euralex/11-2012 (last accessed 13 July 2013).

Empirical data on contexts of dictionary use | 113

Cat. No.11

2

3

Typical formulations in responses that resulted in a classification into the relevant category

Category

User aim Dictionaries used to improve vocabulary improve vocabulary (generally, not referring to concrete text production or reception problems) Dictionaries used as a starting point or resource for (further) research

further research, look for statistical patterns, use the OED for historical research

Dictionaries used as mediator medium

settle questions or debates, dispute –turn to dictionary for an answer, resolve a debate, justify the use of a word, participations in discussions of word origins

Dictionaries used as a resource for language games, linguistic treasure trove, for enjoyment, for personal interest etc.

Scrabble, crossword, boggle, language games, find names for pets, entertainment, enjoyment, for private interest [also chosen if only “for enjoyment” is written]

4

5

Terminology in answers 6

Further properties Linguistic terms (dominant stress pattern, phonetic transcription etc.), researching linguistics

Wide range of dictionaries named, e.g. monolingual dictionaries and bilingual dictionaries or usage opportunities which refer to different types of dictionary

Glossaries, bilingual or monolingual dictionaries, dictionaries for special purposes (such as medical dictionaries etc.)

8

The relationship between printed and electronic dictionaries is mentioned

printed, digital, electronic, paper dictionaries, e-dictionaries

9

Combining dictionaries and other resources is mentioned

Wikipedia, Google , search engine, encyclopedia, spell-check Microsoft Word

7

Tab. 3: Coding scheme regarding user aims and further aspects of dictionary use.

|| 11 In an earlier version of the data analysis, there was another category (no. 1) for the user aim “dictionaries used to confirm or ensure already known information”. However, a clear assignment of responses to this category proved to be too difficult, so this category was not included in the further analysis. Therefore, category 1 is missing here.

114 | Carolin Müller-Spitzer

Responses

Allocated Categories

# to confirm the spelling of a word while writing a document # to confirm or discover the etymology of a word, for personal interest or to settle a discussion with colleagues # to determine the history of a word, usually either the first recorded usage or most common period of usage, as part of my historical recreation hobby # to see what the dictionary gives as the pronunciation of the word, for personal interest, to compare to my dialectal pronunciation or to settle a discussion with friends or colleagues [ID: 491]

3, 4, 5, 6

I am a writer and a historian. I use dictionaries constantly. For checking the spelling of an English word. For checking the meaning. For checking the history. For translating Greek, Turkish, Latin, Italian, French, German, or Spanish. I am also a professional editor and I frequently use a dictionary to check my work. I regularly get letters from my brother picking on the use of some word in a news story and I have to find evidence to justify the use of the word. And so on and so forth. I also find my American Heritage Dictionary useful for the history of a word, particularly for the Indo-European roots. [ID: 290]

3, 4, 6, 7

I use an online dictionary as part of my research as a linguist in private business to identify traditional attribution of parts of speech to different senses of the same word. I also use online dictionaries to look up unfamiliar words or verify “standard” pronunciation or meanings of familiar words. [ID: 871]

3, 6

For research purposes I use an online dictionary of Old Irish (www.dil.ie), both when working with early Irish texts (for translation purposes etc.) and when working on the language itself (including lexicography). I use online English dictionaries occasionally to check meanings/spellings (English is my native language). I use online Irish-language dictionaries to check meanings and spellings (www.focal.ie) I use other foreign language dictionaries in pursuit of my research work, particularly for German, French and Latin. [ID: 207]

3, 6, 7

When I am reading a text and find an unfamiliar word, especially if that word is archaic. If I am writing, and I want to confirm that I am using the word in the 3, 6 correct context. If I am researching and/or writing about a specific text, and I need to research the origins of a word and its meaning in a particular time period. [ID: 460]

Tab. 4: Extract from the encoded responses regarding user aims and further aspects of dictionary use.

Empirical data on contexts of dictionary use | 115

Response when I want to find a translation from one language to another and I do not have a more convenient way of finding it (for example a book or handheld device might be easier at the time) I don’t often look up words in my own language. If I do it would usually be a rare word or usage, and if I wasn’t sure whether the word was likely to be in a dictionary or not, I might well google the word directly and work out what it meant (or click on one of the Google dictionary definition hits) [ID: 735] Relationship printed - electronic dictionaries [extract]

Combination dictionaries - other resources [extract]

when I want to find a translation from one language to another and I do not have a more convenient way of finding it (for example a book or handheld device might be easier at the time) […]

[…] if I wasn’t sure whether the word was likely to be in a dictionary or not, I might well google the word directly and work out what it meant (or click on one of the Google dictionary definition hits) Response

I am based in Thailand where I use English-only in my profession. My use of dictionaries (for Thai) are when I am looking to teach myself, at least once a week. I will use a online dictionary and a desktop application if I am online. When offline I use a printed dictionary. If I am looking for information as part of my work and there is none in English, I may try a Thai Google search unaided, with the use of an online dictionary for specific words. Generally, for long phrases I use my desktop dictionary application saving the online dictionaries for specific one word or phrase searches - because they are quick and easy to use, but not as thorough. [ID: 315] Relationship printed - electronic dictionaries [extract]

Combination dictionaries - other resources [extract]

I will use a online dictionary and a desktop application if I am online. When offline I use a printed dictionary.

If I am looking for information as part of my work and there is none in English, I may try a Thai Google search unaided, with the use of an online dictionary for specific words. Generally, for long phrases I use my desktop dictionary application saving the online dictionaries for specific one word or phrase searches - because they are quick and easy to use, but not as thorough.

Tab. 5: Anchor examples of encoded responses regarding the relationship between digital or printed dictionaries and/or the relationship between dictionaries and other resources, such as search engines, spell-checkers, etc.

116 | Carolin Müller-Spitzer

In the following, the results of the analyses are presented. The relative frequency values give a sense of how often specific user aims were mentioned. The focus is, however, to obtain a structured insight into the participants’ responses, i. e. in the data themselves.

3.2.2 Results of the analyses Participants sometimes referred to the fact that dictionaries are used to improve and increase vocabulary independently of concrete text reception or text production problems (category 2, although explicitly only in 1% of the responses, N = 8): – Basically, I use the dictionary in order to improve my vocabulary. [ID: 367) Experts in particular use dictionaries as a starting point for research (category 3). In 68 responses (10%), this aspect is explicitly mentioned. Here, there are group differences – as would be expected – especially between linguists and non-linguists (χ 2(1) = 23.1030, p < .00, cf. Table 6). Table 6 shows that 82% of those who use dictionaries as a resource for research are linguists or have a linguistic background, i.e. particular linguists are able to use dictionaries as a resource for linguistic material.

Linguist

Dictionaries used for research no

yes

Total

Yes

319 52%

56 82%

375 55%

No

297 48%

12 18%

309 45%

616 100%

68 100%

684 100%

Total

Tab. 6: Linguists vs. non-linguists using dictionaries as a resource for research.

A special aspect in some responses is that dictionaries are apparently also sometimes used for linguistic discussions as mediator medium (category 4, 2%, N = 12). They are even explicitly designated as “Schlichtermedium” (conciliator medium) [ID: 936]: – Most often, to settle questions and debates with my colleagues and/or friends about accepted pronunciations of words and word origins. [ID: 918]

Empirical data on contexts of dictionary use | 117

–

–

Sometimes my friends and I dispute the usage of a word - one of us will have used it “wrong” by the other’s definition. In this case, we will turn to a dictionary for an answer. [ID: 254] To settle an argument on etymology or definition when discussing words with colleagues. [ID: 920]

Although the number of these responses as a proportion of the total is not high, the few examples show clearly that a very strong authority is attributed here to dictionaries. It can be assumed that such users appreciate sound lexicographic work. The user experience which is reflected here is that dictionaries provide such reliable and accurate information that they are regarded as a binding reference, even among professional colleagues. Similarly, dictionaries also seem to be used in connection with language games such as crossword puzzles or when playing Scrabble, and also just for enjoyment or fun (category 5). In 6% (N = 39) of the responses, this aspect arises: – For scrabble When I am bored and me and my friend have a spelling bee [ID: 546] – At other times I might consult the OED for information about etymology or historical use purely for personal interest or resolve a debate about word usage. [ID: 269] – Sometimes to see if a neologism has made it into the hallowed pgs of the OED! [ID: 317] – Solving linguistic puzzles for myself (having to do with usage, grammar, syntax, etymology, etc.) [ID: 689] Another question relating to the data was whether a wide range of dictionaries is used or not, because it is often said that most users only use bilingual dictionaries, and rarely monolingual ones (category 7). Therefore the answers have been coded, in which either a wider range of different dictionary types were mentioned or where potential usage opportunities were named, which are, for example, only to be answered with monolingual dictionaries and dictionaries for special purposes. The result is that 12% (N = 83) of the responses contain indications on using a wide range of dictionaries. – I often use the OED to check historical usage of English words (medieval history is a hobby of mine). I also use English/French, English/Latin, and English/ Greek dictionaries when trying to read a passage or translate a phrase. [ID: 418] – Bei der Anfertigung von Hausarbeiten schlage ich im Synonymwörterbuch nach. Beim Lesen von Sachtexten schlage ich mir unverständliche Begriffe im Wörterbuch nach. Bei der Übersetzung von anderen Sprachen ins Deutsche schlage ich im Wörterbuch nach (engl. - dt., mhd. - nhd., etc) Beim Spielen von Scrabble oder anderen „Wortspielen“ schlage ich im Wörterbuch nach. [ID: 979] [When doing homework, I look in a thesaurus. When reading specialist texts, I

118 | Carolin Müller-Spitzer

–

look up terms I don’t understand in the dictionary. When translating from other languages into German, I look in the dictionary (Eng. – Ger., MHG, NHG, etc.). When playing Scrabble or other word games, I look in the dictionary.] (1) I use English-language dictionaries in the preparation of technical documents to confirm spelling and grammar issues. (2) I use German, Swedish, Old English, and Old Icelandic dictionaries in historical research. I use the CleasbyVigfusson and Zoega Old Icelandic dictionaries the most in this connection, with the frequency of use determined by the needs of the current project. (3) I use the Online Etymology Dictionary to satisfy personal curiosity about word origins and, on occasion, to help me pin down nuance when writing for work or scholastic research. (4) I use the Urban Dictionary to investigate odd turns of phrase in current slang and internet usage. This is usually in aid of deciphering social media posts by my teenaged nieces. [ID: 499]

The assumption is that the proportion of professionals in this category is high. Actually there is a great deal of overlap between those participants in whose responses linguistic terminology occurs and those who name a wide range of dictionaries. 33 participants out of 65 who use linguistic terminology also name more than one type of dictionary. Similarly, 33 out of 50 participants who name a wide range of dictionaries also use linguistic terms (see Table 7, χ 2(1) = 100.55, p < .00).12

Fig. 7: Venn diagram (N=684) showing the intersection of categories 6 and 7.

4% (N = 30) of the responses include something about the relationship between printed and electronic dictionaries, for example as follows: || 12 As an aside: There are participants with a remarkable repertoire of languages, as the following example shows: “When reading a text (either on the internet or in a book) when I come across a word which I do not know and cannot deduce from the context. This is extremely rare for texts in English (my mother-tongue) and rare for texts in Latin, French, German, Greek, Italian, Spanish, Swedish, Dutch, Danish, Norwegian and Portuguese (but with increasing frequency as that list progresses). For texts in other languages it is frequent.” [ID: 839]

Empirical data on contexts of dictionary use | 119

–

–

–

–

– –

–

I think I might mention here the fact that I very often use online dictionaries in conjunction with paper ones (I have about twenty different paper dictionaries in my study). [ID: 628] Usually I would use the most accessible dictionary, be it on the internet (when I am working on a computer), a paper dictionary or a portable electronic one. [ID: 546] Sometimes, while looking up one word I will just begin to read the dictionary, distracted by all the meanings. I used to do this with hard copy dictionaries, but it’s much easier with on-line ones. [ID: 899] Ich würde generell in allen Wörterbüchern, die ich in Buchversion verwende, lieber online bzw. auf dem PC nachschlagen, weil es schneller geht und man Belege ggf. kopieren kann. [ID: 554] [I would normally rather look in all the dictionaries that I use in book form online or on the PC, because it’s quicker and you can copy instances of the use of a word if need be.] I use online dictionaries when the term I need cannot be found in my printed dictionaries. [ID: 297] I would use a physical dictionary when I’m reading a novel or other document in bed or away from my computer. I would use an online dictionary when I’m reading something (e.g., a newspaper or academic article) online or when I happen to have my computer turned on even though I’m reading a physical document. [ID: 907] Ich arbeite als freie Übersetzerin Deutsch-Englisch, und benutze daher Wörterbücher bei meiner täglichen Arbeit. Mein erster Zugriff ist auf leo und dict, seit neuestem auch linguee, dann Langenscheidt auf CD-Rom, dann diverse Buchausgaben, wenn ich immer noch keine Lösung gefunden habe. [ID: 249] [I work as a freelance German-English translator, and therefore use dictionaries in my everyday work. My first port of call is leo and dict, and recently linguee as well, then Langenscheidt on CD-Rom, then different book editions, if I still haven’t found a solution.]

In the group of respondents who refer to printed dictionaries, it is clear that in some cases printed dictionaries are still used, either because online dictionaries do not provide the required information, or because there are no appropriate specialized digital reference works. However, it is pointed out that electronic dictionaries are faster to use than printed ones (in the standardized questions in our questionnaire, the speed of online dictionaries is also rated as one of the most important criteria for a good online dictionary, cf. Müller-Spitzer/Koplenig: Expectations and demands, this volume). Some of the participants seem to be experienced users who have been using printed dictionaries (sometimes for a long time), but – as is the general tendency – use digital ones more and more. It is not possible to draw conclusions as to whether certain contexts are related more to the use of printed or more to electronic dictionaries. Although it was mentioned by a participant that s/he used pocket

120 | Carolin Müller-Spitzer

printed dictionaries when travelling, no general conclusions can be drawn from this individual statement. It seems more likely to be the case that reason for or context of use determine which dictionaries are consulted in which medium. (Which is available? Is the computer on? Etc.) Age-specific tendencies are not revealed by the analysis, i. e. it is not the case that older participants are more likely to use printed dictionaries than younger participants. In 34 responses (5%), the topic of using dictionaries in combination with encyclopedias or other related resources is addressed: – I mainly use the online OED as we have university access to it, but when I want a simpler or more colloquial definition I’ll just see what online dictionaries on Google turn up. [ID: 615] – I use dictionaries almost exclusively for my work as a free-lance German to English translator. I usually use other sources (reference documents found through a search engine) to back up dictionary entries. [ID: 389] – […] Wenn ich wissen möchte, welche Wortkombinationen in einem bestimmten Kontext konform sind, benutze ich eher Korpora und Konkordanzen. [ID: 816] [... Whenever I want to know which combinations of words are correct in a particular context, I tend to use corpora and concordances.] All in all, there seems to be some awareness of the difference between dictionaries and encyclopedias. This is sometimes – as in the following part of an answer – even explicitly addressed: – When I am interested in learning some fact from history that is fairly basic that I know will be in the dictionary - for example, if I wanted to know if Abraham Lincoln was the sixteenth President of the United States - this would verge on an encyclopedic use of the dictionary. [ID: 256] This awareness may also be a sign that many of those who participated in our survey work regularly with dictionaries and therefore are not representative of all dictionary users. Besides these examples, there are of course others, in which no distinction is made between dictionaries and encyclopedias: – Wenn ich mit jemandem einen „Streit“ über etwas habe (wie z.B. woraus Vodka gemacht wird) [ID: 44] [When I have an “argument” with someone about something (e.g. what vodka is made of)] – Wenn ich in einem Fachbericht auf ein Wort stoße, welches ich genauer nachlesen möchte, sei es Bedeutung, Hekrunft oder Verknüpfungen schaue ich eben bei Wikipedia nach. Zu letzt nachgelesen „Weihbischoff“ [ID: 52] [When I stumble across a word in a technical report, and I would like to look it up more closely, be it the meaning, origin or associations, I just look in Wikipedia. The last thing I looked up was “Weihbischoff”.]

Empirical data on contexts of dictionary use | 121

In addition to encyclopedias, search engines are also seen as a way of gaining wordrelated information; Google in particular is explicitly mentioned 15 times. Not only are the technological features of Google used, such as the define function or the quote search, but also the general search, as the following examples show: – For English I just use Google’s “define:” feature [ID: 224] – if one of my friends uses a term I am unfamiliar with, I will often “Google” it, or look it up on ubrandictionary.com. [ID: 254] – I generally don’t use dictionaries for spelling information; in the rare cases that I don’t know how to spell a word, I can figure out the appropriate spelling by seeing which variant is most common on Google. [ID: 418] – Meistens überprüfe ich dann noch das Ergebnis des online Wörterbuches mit einer Suchmaschinensuche (Kontext, Auftreten des Wortes etc) [ID: 580] [I usually check the result from the online dictionary using a search engine (context, when the word appeared, etc.)] – I use one to double check common usage (but I more often will use a phrase search in Google for this). [ID: 1012] Similarly, other tools are mentioned, such as automatic spelling corrections or translators: – It’s not often that I use the dictionary for spelling, it’s easier just to use the internet or “spell-check” on Microsoft word [ID: 475] – Und ganz faul greife ich nach Google Translate für Websites in Sprachen die ich nicht gut genug kenne (Spanisch z.B.) :-) [ID: 862] [And very lazily, I reach for Google Translate for websites in languages that I don’t know well enough.] To summarize, not only are a number of different dictionaries often used in parallel, but they are also often combined with other resources or technologies. The responses provide little information regarding contexts of dictionary use. Rather, they provide an emerging empirical foundation for something which is commonly known, namely that search engines such as Google are often used in combination with but also as a substitute for dictionaries. Again, the insight itself is nothing new, but rather an empirical basis of known facts. It is also interesting that participants discuss this switching, and that most of them are very aware of the differences.

4 Conclusion Obtaining empirical data about contexts of dictionary use is a demanding task. In our first study, we have made an attempt in this direction. The willingness of the participants to give detailed information was significantly higher than expected. This is probably partly due to the fact that most of our participants have a keen in-

122 | Carolin Müller-Spitzer

terest in dictionaries. One conclusion that can be drawn from this for further research, is that this community is apparently prepared to provide information about the contexts of potential acts of dictionary use, and that this should also be used. All in all, the results show that there is a community whose work is closely linked to dictionaries and, accordingly, they deal very routinely with this type of text, and sometimes describe these usage acts in great detail. Dictionaries are also seen as a linguistic treasure trove for games or crossword puzzles and as a standard which can be referred to as an authority. It turns out that a few of the participants know the difference between dictionaries and encyclopedias or other related resources and also address this explicitly, as well as the different properties of printed and electronic dictionaries. What is difficult to evaluate from the data are the particular contexts of dictionary use which lead to, e. g., a user need for text production and therefore to a dictionary consultation. Although data on this could be obtained, it is still not possible to draw a clear picture. On the one hand, the question was very general, so that the responses are sometimes very general, too. This is a problem which holds for answers to open-ended questions in general: “They can provide detailed responses in respondents ’ own words, which may be a rich source of data. They avoid tipping off respondents as to what response is normative, so they may obtain more complete reports of socially undesirable behaviors. On the other hand, responses to open questions are often too vague or general to meet question objectives. Closed questions are easier to code and analyze and compare across surveys.” (Martin 2006: 6)

On the other hand, some responses contain interesting information on the context of dictionary use, but a synopsis of the many details in an overall image is almost impossible to achieve. In this respect, it is important to emphasize that my results are only preliminary, but they do indicate the potential of empirical research in this area. This will certainly be a worthwhile path to take, as knowledge about the contexts of dictionary use touches an existential interest of lexicographers. Dictionaries are made to be used and this use is embedded in an extra-lexicographic situation. And the more that is known about these contexts, the better dictionaries can be tailored to users’ needs and made more user-friendly. Particularly when innovative dictionary projects with new kinds of interfaces are to be developed, better empirical knowledge is essential, as the following quotes about the “Base lexicale du français” show (cf. also Verlinde 2010 and Verlinde/Peeters 2012). “The BLF’s access structures are truly task and problem oriented and based on the idea that the dictionary user has various extra-lexicographic needs, which can lead to a limited number of occasional or more systematic consultation or usage situations. […] We argue that the dictionary interface should reflect these consultation contexts, rather than reducing access to a small text box where the user may enter a word.” (Verlinde/Leroyer/Binon 2010: 8)

Empirical data on contexts of dictionary use | 123

“The Belgian BLF project seeks a different solution to the same underlying challenge: here the users have to choose between situations before they are allowed to perform a look-up. This approach looks promising but it also draws attention to a potential catch-22 situation: on the one hand, requiring too many options and clicks of users before they can get started may scare them away. And on the other hand, a model with immediate look-up and only few options may lead to inaccurate access and lack of clarity. Whatever the situation, we need more information about user behaviour to assess which solution works more effectively.” (Trap-Jensen 2010: 1139)

This is particularly important at a time when people have an increasing amount of freely available language data at their disposal via the internet. Dictionaries can only retain their high value when distinct advantages (e.g. in terms of accuracy and reliability, as well as exactly meeting users’ specific needs in concrete contexts) are provided, compared to using unstructured data for research. What becomes clear in the content of our data is that there is a small but very interested group of users who consult dictionaries just out of interest, and who appreciate the reliability of content offered if there is a well-known dictionary or a publisher behind that content. Publishers or dictionary-makers could use this interest to build up user loyalty, perhaps even more closely (cf., e.g., Schoonheim et al. 2012 who discuss the effect of a language game on the use of the Allgemeen Nederlands Woordenboek). For example, it is surprising that – as far as I am aware – there is as yet no Scrabble app by a well-known dictionary, even though it is precisely the quality of the dictionary for existing Scrabble apps which is criticized.13 Some publishers || 13 Cf. for the English version: “Every update fills me with optimism that the ludicrous censorship will be rectified. No such luck! The dictionary still won't allow the word "damn". Well, my Chambers dictionary doesn't object to any of the word's definitions. "Raping" doesn't exist either. That's telling you, Vikings. What a load of claptrap this is – dictated by the American bible belt, methinks.” http://itunes.apple.com/gb/app/scrabble/id311691366?mt=8); for the German version: „Nach dem Update noch schlechter, Wo sind die Wörter im deutschen Duden oder Wörterbuch, jetzt geht nicht mehr CD oder IQ. Und der Computer legt Wörter die ich noch nie gehört habe, und beim Nach schauen gibt's das Wort nicht, total schlecht geworden vorher noch nicht gut aber jetzt der Hammer von schlecht wer macht den so was sind das alles Leute die kein Deutsch können, das Spiel ist echt super Spiel es gerne, aber mit Wörtern die es nicht gibt ist es schon schwer. Und beim Computer geht fast jede Wort, und wenn ich eins weiß sagt er steht nicht im Wörterbuch aber in meinem Duden schon sehr komisch das ganze, deswegen nur 1Stern bitte endlich gutes Update machen“; „Mir wird auch nach dem Update noch immer schlecht bei dem Wörterbuch. Vorher ging wenigstens IQ oder EC.....das ist jetzt auch noch rausgenommen. Dafür geht Räben u ä, was kein normaler Mensch kennt. Wer programmiert so etwas?“ (http://itunes.apple.com/de/app/scrabble-fur-ipad/ id371808484?mt=8). [“Even worse after the update, Where are the words in the German Duden or dictionary, now CD or IQ aren’t accepted. And the computer puts down words which I have never heard before, and the word doesn’t exist when you look it up, it’s got really bad, it wasn’t great before but now it’s completely round the twist, who makes something like that, are they all people who don’t know any German, the game is really great, I like playing it, but it’s pretty hard with words that don’t exist. And for the computer, almost any word is fine and when I know one, it says it’s not in the dictionary but it is in my Duden, it’s all very strange, that’s why I’m only giving it one

124 | Carolin Müller-Spitzer

have already seen this opportunity, as this statement by Michael Rundell on the Euralex mailing-list shows (mail dated November 08, 2012 at euralex-bounces@ freelists.org14): “[…] most of us are committed to producing high-quality content and to thinking about new ways of using digital media to support people learning or using (in our case) English - for example, the Macmillan Dictionary now has a couple of language-related games on its website and more are being developed. We're hopeful that if enough people find our content useful we should be able to figure out ways of staying afloat.” (Michael Rundell)

My results indicate that, although these are currently difficult economic times for dictionary publishers, the participants in our study actually appreciate many of the classic characteristics of dictionaries.

Bibliography Atkins, S. B. T. (1998). Using dictionaries. Studies of Dictionary Use by Language Learners and Translators. Tübingen: Niemeyer. Bogaards, P. (2003). Uses and users of dictionaries. In P. van Sterkenburg (Eds.), A Practical Guide to Lexikography (pp. 26–33). Amsterdam/Philadelphia: John Benjamins Publishing Company. Bowker, L. (2012). Meeting the needs of translators in the age of e-lexicography: Exploring the possibilities. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 379–397). Oxford: Oxford University Press. Crabtree, B., & Miller, W. L. (2004). Doing Qualitative Research (2nd edition.). London: Sage. Diekmann, A. (2010). Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen (4. Aufl.). Hamburg: Rowohlt. Fuertes-Olivera, P. A. (2012). On the usability of free Internet dictionaries for teaching and learning Business English. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 399–424.). Oxford: Oxford University Press. Grubmüller, K. (1967). Vocabularius Ex quo. Untersuchungen zu lateinisch-deutschen Vokabularen des Spätmittelalters (MTU 17), München 1967. Haß-Zumkehr, U. (2001). Deutsche Wörterbücher – Brennpunkt von Sprach- und Kulturgeschichte. Berlin, New York: de Gruyter. Householder, F. W. (1962; Reprint 1967). Problems in Lexicography. Bloomigton: Indiana University Press. Hult, A.-K. (2012). Old and New User Study Methods Combined ‒ Linking Web Questionnaires with Log Files from the Swedish Lexin Dictionary. Oslo. Universitetet i Oslo, Institutt for lingvistiske og nordiske studier. In J. M. Torjusen & R. V. Fjeld (Eds.), Proceedings of the 15th EURALEX In-

|| star, please finally make a good update.”; “I’m still having problems with the dictionary since the update. Before at least IQ or „EC“ were accepted...now even they have been taken out. Instead there’s “Räben”, and things like that, which no normal person knows. Who programmes such a thing?”] 14 See also: http://www.freelists.org/post/euralex/End-of-print-dictionaries-at-Macmillan,9.

Empirical data on contexts of dictionary use | 125

ternational Congress 2012 (pp. 922–928). Oslo, Norway. Retrieved July 13, 2013, from http://www.euralex.org/elx_proceedings/Euralex2012/pp922-928%20Hult.pdf. Fuchs, M. (2009). Differences in the Visual Design Language of Paper-and-Pencil Surveys: A Field Experimental Study on the Length of Response Fields in Open-Ended Frequency Questions, 27, 213–227. Holland, J. L., & Christian, L. M. (2009). The Influence of Topic Interest and Interactive Probing on Responses to Open-Ended Questions in Web Surveys, 27(2), 196–212. Hopf, C., & Weingarten, E. (1993). Qualitative Sozialforschung (3. Auflage.). Stuttgart: Klett. Jackson, K. M., & Trochim, W. M. K. (2002). Concept Mapping as an Alternative approach for the analysis of Open-Ended Survey Responses, 5(4), 307–336. Retrieved July 13, 2013, from www.socialresearchmethods.net/research/Concept%20Mapping%20as%20an%20Alternative %20Approach%20for%20the%20Analysis%20of%20OpenEnded%20Survey%20Responses.pdf. Lew, R. (2012). How can we make electronic dictionaries more effective? In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 343–361). Oxford: Oxford University Press. Löckinger, G. (2012). Sechs Thesen zur Darstellung und Verknüpfung der Inhalte im übersetzungsorientierten Fachwörterbuch, 57(1), 74–83. Martin, E. (2006). Survey Questionnaire Construction, 2006(13), 1–14. Mayring, P. (2011). Qualitative Inhaltsanalyse. Grundlagen und Techniken (8. Aufl.). Weinheim: Beltz. Reja, U., Lozar Manfreda, K., Hlebec, V., & Vehovar, V. (2003). Open-ended vs. Close-ended Questions in Web Questionnaires, 159–177. Simonsen, H. K. (2011). User Consultation Behaviour in Internet Dictionaries: An Eye-Tracking Study. Hermes. Journal of Language and Communication Studies, 46, 75–101. Tarp, S. (2007). Lexicography in the Information Age, 17, 170–179. Tarp, S. (2008). Lexicography in the borderland between knowledge and non-knowledge: general lexicographical theory with particular focus on learner’s lexicography. Walter de Gruyter. Tarp, S. (2009). Beyond Lexicography: New Visions and Challenges in the Information Age. In H. Bergenholtz, S. Nielsen, & S. Tarp (Eds.), Lexicography at a Crossroads. Dictionaries and Encyclopedias Today, Lexicographical Tools Tomorrow (pp. 17–32). Frankfurt a.M./Berlin/Bern/Bruxelles/NewYork/Oxford/Wien: Peter Lang. Tarp, S. (2009). Reflections on Lexicographical User Research. Lexikos, 19, 275–296. Tarp, S. (2012). Theoretical challenges in the transition from lexicographical p-works to e-tools. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 107–118). Oxford: Oxford University Press. Tono, Y. (2001). Research on dictionary use in the context of foreign language learning: Focus on reading comprehension. Tübingen: Max Niemeyer Verlag. Tono, Y. (2010). A Critical Review of the Theory of Lexicographical Functions, 40, 1–26. Trap-Jensen, L. (2010). One, Two, Many: Customization and User Profiles in Internet Dictionaries. In A. Dykstra & T. Schoonheim (Eds.), XIV EURALEX International Congress (pp. 1133–1143). Leeuwarden/Ljouwert. Trochim, W. (2006). Design. Research Methods Knowledge Base. Retrieved July 13, 2013, from http://www.socialresearchmethods.net/kb/design.php. Verlinde, S., & Binon, J. (2010). Monitoring Dictionary Use in the Electronic Age. In A. Dykstra & T. Schoonheim (Eds.), XIV EURALEX International Congress (pp. 321–326). Leeuwarden/Ljouwert. Verlinde, S., & Peeters, G. (2012). Data access revisited: The Interactive Language Toolbox. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 147–162). Oxford: Oxford University Press.

126 | Carolin Müller-Spitzer

Wiegand, H. E. (1998). Wörterbuchforschung. Untersuchungen zur Wörterbuchbenutzung, zur Theorie, Geschichte, Kritik und Automatisierung der Lexikographie. Berlin, New York: de Gruyter. Wiegand, H. E., Beißwenger, M., Gouws, R. H., Kammerer, M., Storrer, A., & Wolski, W. (2010). Wörterbuch zur Lexikographie und Wörterbuchforschung: mit englischen Übersetzungen der Umtexte und Definitionen sowie Äquivalenten in neuen Sprachen. De Gruyter.

Alexander Koplenig, Carolin Müller-Spitzer

General issues of online dictionary use Abstract: The first international study (N=684) we conducted within our research project on online dictionary use included very general questions on that topic. In this chapter, we present the corresponding results on questions like the use of both printed and online dictionaries as well as on the types of dictionaries used, devices used to access online dictionaries and some information regarding the willingness to pay for premium content. The data collected by us, show that our respondents both use printed and online dictionaries and, according to their self-report, many different kinds of dictionaries. In this context, our results revealed some clear cultural differences: in German-speaking areas spelling dictionaries are more common than in other linguistic areas, where thesauruses are widespread. Only a minority of our respondents is willing to pay for premium content, but most of the respondents are prepared to accept advertising. Our results also demonstrate that our respondents mainly tend to use dictionaries on big-screen devices, e.g. desktop computers or laptops. Keywords: small screen devices vs. big screen devices, printed vs. online dictionaries, types of dictionaries, payment models

| Alexander Koplenig: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)6211581435, [email protected] Carolin Müller-Spitzer: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)6211581429, [email protected]

1 Introduction As almost any other “interpersonal interaction” as Pasek & Krosnick call it, questionnaires “follow certain conversational standards” (Pasek & Krosnick 2010: 32). To avoid confusion and to motivate the respondents, it is important to start a questionnaire with simple questions that are easy to answer. We followed this rule of thumb in our first online study by starting with some rather broad set of questions on the use of online dictionaries (cf. Koplenig/MüllerSpitzer: Two international studies, this volume). This set of questions included questions on the use of both printed and online dictionaries as well as questions on the types of dictionaries used. Furthermore, in this contribution, we also present the results of the analysis of other related questions such as devices used to access online dictionaries and some questions regarding the willingness to pay for premium content.

128 | Alexander Koplenig, Carolin Müller-Spitzer

It is important to emphasize that the presented results have to be read against the background of Lew's statement quoted in the introduction “[…] a rapidly growing area such as e-dictionaries, user research may find itself overtaking by events.” (Lew 2012: 343). This seems especially true for our questions on the devices used to access online dictionaries: we conducted our study in 2010 and since then a lot of things have changed, just think about the use of smartphones and tablets. Nevertheless, we believe it is worthwhile to present our results as some kind of historical snapshot, so other researchers interested in this field can compare their (up-to-date) results to the ones of us. Furthermore, in the context of our survey, it is possible to conduct subgroup analyses using the demographic data we collected of every respondent, so we can check whether there are any significant differences regarding age or professional background. This contribution is structured as follows: in Section 2, we present the questions and results of the part of our survey focusing on the potential use of printed and online dictionaries, as well as the different kind of dictionaries used by our respondents. Section 3 summarizes the results on the willingness to pay for premium content, while Section 4 shows which devices are typically used to access online dictionary. This contribution ends with some concluding remarks (Section 5).

2 Printed vs. online dictionaries and kinds of dictionaries used Most studies on the use of printed vs. electronic dictionaries focus on a comparison of both types of dictionaries related to certain types of tasks as the following quote indicates: “There is a body of studies comparing the effectiveness (and other usability aspects) of paper and electronic dictionaries” (Lew 2012: 343). An excellent summary of the results of those studies can be found in Dziemianko 2012. There are quite a few studies, for example, on the dictionary consultation process for decoding and encoding purposes (e.g., Nesi 2000 or Dziemianko 2010) or studies on so called comprehension scores in reading and understanding tasks, partly comparing PEDs and paper dictionaries (e.g., Osaki et al. 2003, Koyama and Takeuchi 2007). Another topic is the use of sign-posts compared to use of menus (cf. Lew and Tokarek 2010 and Tono 2011 as some kind of follow-up study, as well as Lew 2010, Nesi and Tan 2011). Dziemianko summarizes the results of the mentioned studies: “Overall, signposts seem to more effective than menus in facilitating sense identification in paper dictionaries (Lew 2010b, Nesi and Tan 2011), but not in electronic applications (Tono 2011).” (Dziemianko 2012: 327)

General issues of online dictionary use | 129

A further topic is the speed of look-ups. According to Dziemianko (2012) different studies come to quite different results. However, one can cautiously draw the conclusion that electronic dictionaries (especially PEDs) facilitate the look up process more than their printed counterparts: “Apparently, electronic dictionaries on hand-held devices make learners less wary of dictionary use. It is not clear whether robust-machine (stand-alone or networked) electronic dictionaries benefit users in the same way.” (Dziemianko 2012: 330)

In addition to that, there are a few studies that investigate the impact of paper vs. electronic dictionaries on word retention. The corresponding results can be found in Dziemianko 2012: 330-333. In our first survey, we asked our respondents several questions on the use of both printed and online dictionaries. Since we mainly spread the invitations to participate by email and because it was an online study, we assumed that 1.) only a few respondents would indicate that they mainly or exclusively use printed dictionaries and 2.) that the age of those respondents tends to be above average, because the group of internet users is of course not representative for the whole population (cf. Diekmann 2010: 525-28). Nesi 2012: 366 (based on Boonmoh and Nesi 2008) reports the results of a sample consisting of different kinds of subjects. She shows that most of the surveyed Thai English lecturers own printed monolingual dictionaries, while only half of the respondents use online dictionaries. In addition to that, we asked our respondents which kind of dictionaries they are using. With this question, we hoped to gain valuable insights into the practical use of dictionaries, for example when it comes to country-specific differences. In Germany, spelling dictionaries are the prototype of dictionary (Engelberg/Lemnitzer 2009: 47), while thesaurus and spelling dictionaries are very common in French and English speaking countries (cf. Hartmann 2006: 669-670). Furthermore, we asked our respondents if they have ever turned on a device (e. g. a computer) just to use an online dictionary and during which activities they normally use an online dictionary.

2.1 Results Printed dictionaries The vast majority of our respondents had already used a printed dictionary (99.7%). Virtually all of those participants had already used a monolingual printed dictionary (99.9%) and 98.5% had already opened a bilingual printed dictionary. If one

130 | Alexander Koplenig, Carolin Müller-Spitzer

compares the different kinds of monolingual printed dictionaries between the selected survey languages (cf. Figure 1), one obtains considerable differences1. Online dictionaries Almost every respondent had already used an online dictionary (97.8%). 96.6% had already used a bilingual online dictionary, and 88.0% had used a monolingual online dictionary. Again, comparisons of different kinds of monolingual online dictionaries between the selected survey languages yield significant differences: 67.2% of respondents who selected the German survey version used a general monolingual dictionary, whereas 92.3% of respondents who selected the English survey version used this type of dictionary. Dictionaries of synonyms are mentioned more often in the English survey version (65.8%) than in the German one (56.2%), too. For spelling dictionaries, the distribution is quite different: this type of dictionary is mentioned significantly more often in the German survey version (54.9%) compared with 19.9% in the English version (cf. Figure 2). Again, these figures confirm previous metalexicographical conjectures.

83.9

Spelling dictionary

22.3

66.9

Dictionary of synonyms

78.0

72.6

General dictionary

97.3

54.6

Other

45.3

0

20

40 60 80 column percent (base: cases) German

100

English

Fig. 1: Different printed dictionaries used as a function of the language version of the survey.

|| 1 Cf. the next section for details since those differences point in exactly the same direction as in the case of online dictionaries.

General issues of online dictionary use | 131

54.9

Spelling dictionary

19.9

56.2

Dictionary of synonyms

65.8

67.2

General dictionary

92.3

39.6

Other

34.8

0

20

40 60 80 column percent (base: cases) German

100

English

Fig. 2: Different online dictionaries used as a function of the language version of the survey.

When asked which they used more often, printed or online dictionaries, 47.7% of the respondents indicated that they mainly use online dictionaries. The second largest group (40.9%) selected ‘both printed dictionaries and online dictionaries’. Hence, most of the respondents are focusing on online dictionaries, yet just 3.0% state that they only used online dictionaries. As hypothesized, only a few respondents mainly (8.55%) or only (0.15%) use printed dictionaries. However, further analyses show that there is no meaningful connection between this distribution and the age of the respondent, in contrast to our expectations. The majority of the respondents use online dictionaries both for private and for professional purposes (54.7%) or mainly for professional purposes (33.3%). Furthermore, online dictionaries are most often used (54.4%) for activities that are carried out frequently or that require active involvement (e. g. translating or writing). During activities that are carried out less frequently or that do not require active involvement (e. g. reading or browsing), online dictionaries are used substantially less frequently. 45.29% of the respondents told us that they have (a least once) already turned on a device (e. g. a computer) just to use an online dictionary.

2.2 Discussion Almost half of our respondents indicate that they mainly use online dictionaries. 40.9% of the respondents use dictionaries on both mediums. However, we cannot

132 | Alexander Koplenig, Carolin Müller-Spitzer

infer from this fact that the latter group uses printed and online dictionaries in equal shares, because it could be possible that respondents who mainly use online dictionaries, but use printed dictionaries only now and then, selected this option. What can be said in general is that many respondents seem to be still using printed dictionaries. This leaves room for further studies in this field since many publishing houses recently decided to stop publishing printed dictionaries (see below for details). Regarding the different kinds of dictionaries, our results reveal the expected cultural differences: respondents, who selected the German version of the survey name spelling dictionaries more often than respondents who selected the English version, while the latter group chooses thesauruses and dictionaries of synonyms more often. Quite a few respondents selected the option “other dictionaries”, but mainly specified monolingual dictionaries of certain languages other than German/English or etymological dictionaries. All in all, there is no clear trend to deduce from our data. Nevertheless, it is obvious that more and more general dictionaries are exclusively being prepared for the online medium. The renowned Macmillan publishing house is one important example illustrating this process: Macmillan decided to stop publishing printed dictionaries and shift all its resources to digital media. This means that even the famous OED will only be published digitally. Some experts may regret this decision, but eventually, this is a decision made by these users, as David Joffe argues in a discussion on the Euralex mailing list:2 “What I think some commenters may also perhaps be losing sight on here, is that ultimately, this (in effect) isn’t a decision made by publishers ... it’s a decision being made by dictionary users […] dictionary users can ultimately tell which experience they overall prefer, and the bottom line is, if more and more actual dictionary end users are choosing to use online dictionaries rather than to buy paper dictionaries, then it is because they find it an overall preferable experience, not an overall worse experience.” (David Joffe, Mail to the Euralex mailing list, November 09, 2012)

Michael Rundell, Editor-in-Chief at Macmillan, puts it in a similar vein: “[It is] better to embrace a future that will come anyway, than to hang grimly on to a way of doing things whose time is passing.” (Michael Rundell, Mail to the Euralex mailing list, 6 November, 2012).

|| 2 All quoted statements can be found online here: www.freelists.org/archive/euralex/11-2012 (last accessed 13 July 2013).

General issues of online dictionary use | 133

3 Questions of payment With a few exceptions, the introduction of payment models for online dictionaries was no success. One of those exceptions is the OED, but resulting from the fact that, as Harris noted: “one is dealing not just with a dictionary but with a national institution” (Harris 1982: 935), this exception cannot act as a role model for other lexicographical projects. It seems that general dictionaries, no matter how well-known the publisher may be or how good the dictionary is, are not being successful when the users have to pay for them, mainly because free alternatives are always just “one click“ away. One has to keep in mind that it can even have a very negative impact on the usage behavior if the users have to login (cf. Bank 2012: 357), so if the users are being charged for content they can get somewhere else for free, it is highly doubtful that the users will ever come back. In a mail-discussion on why Macmillan does not print dictionaries any more, José Aguirre suggests to “start charging libraries and end users for (renewable) subscription fees to the online service” (Mail to the Euralex, November 06, 2012). Here is what Michael Rundell replied: “We'd be happy to do this if we could, but in reality no-one will pay for a general English dictionary (just as no-one will pay for a general online newspaper). In order to charge subscriptions, you have to provide premium content - in other words something which a segment of the market needs, but which goes beyond what people can easily find for free. Thus the OED, the Financial Times, and Nature Journal can charge users, and other dictionary publishers (Macmillan included) may in the future develop premium content for subscription users - but it is by no means certain this model will work.” (Michael Rundell, Mail to the Euralex mailing list, November 06, 2012)

There seem to be a few exceptions. But these are mainly customers who use dictionaries for professional purposes, e.g. translators, as the quote below shows. “I am subscribed to several online dictionaries, and this is where the future of lexicography should be headed if you ask me as a translator. Graham P Oxtoby's amazing Comprehensive Dictionary of Industry & Technology, and Aart van den End's Juridisch-Economisch Lexicon & Onroerend Goed Lexicon can be seen as examples of how to successfully operate a dictionary in the digital age. They are full of great content, are updated daily, and you can email their authors term questions and will almost always receive an answer within 20 minutes. Another success story is the Oxford Dictionaries Pro (formerly Oxford Dictionaries Online). This is another dictionary I am more than happy to pay my annual subscription for, as it has become a one-stop shop for all of my English-language dictionary needs.” (Michael Beijer, Mail to the Euralex mailing list, November 09, 2012)

When we designed our survey back in 2010, things were not as clear as they are nowadays. At least some German dictionary publishers hoped to find a way to design models of payment for their online dictionary content. Therefore we incorporated two short questions into our questionnaire.

134 | Alexander Koplenig, Carolin Müller-Spitzer

3.1 Method The respondents of our second online study were asked the following question: “Please think of a high-quality online dictionary and the costs resulting from producing and maintaining this facility. Which of the following statements best reflects your opinion?”

3.2 Results Figure 3 summarizes the result. Only a minority of our respondents is willing to pay for content (15.9%), so as expected, the vast majority of respondents are not prepared to pay for dictionary content. In a second question, we only asked the respondents who were willing to pay for content which way of payment they prefer. The result to this question is also quite clear: 58 persons prefer a flatrate model, while only 4 respondents want to separately pay per article.

1.8% 4.4% 4.4% 14.1%

20.0%

59.7%

All content should be free of charge, but I am prepared to accept advertising All content should be free of charge, without advertising I am prepared to pay for content – but without advertising I am prepared to pay for content, even if there is advertising None of these statements reflects my opinion

Fig. 3: Pie chart of the willingness to pay for dictionary content.

General issues of online dictionary use | 135

3.3 Discussion Our results do not come as great surprise: almost no one is willing to pay for lexicographical premium content; however most of our respondents (59.7%) are prepared to accept advertising in return for content free of charge.

4 Devices used Unlike traditional printed dictionaries, electronic dictionaries can be accessed on different devices, such as notebooks, personal computers, mobile phones, smartphones, and personal digital assistants (PDAs).3 From the user’s point of view, this device independence allows maximum flexibility and efficiency. When designing an online dictionary, however, a practical problem arises, since the electronic dictionary has to be capable of adapting to different screen sizes. The rationale for this requirement is clear: the information must be readable both on a small screen (e.g. on a mobile phone), and on a big one (e.g. a PC). Because the implementation of this function can be costly, it is first necessary to enquire as to which devices are most frequently employed with electronic dictionaries. This information, in turn, can be used to decide if it is worthwhile creating an entry structure that is capable of adapting to different screen layouts, or which screen size should be given priority in design decisions. Furthermore, in relation to the design of a user-adaptive interface, it is interesting to know if there are any differences in the use of devices between different user groups (cf. Müller-Spitzer/Koplenig: Expectations and demands, this volume). For example, is it reasonable to assume that younger users tend to consult online dictionaries on more devices than older users, since the former group is more familiar with new technologies and devices? To summarize, the research questions relating to this issue were: first, which devices are used to access online dictionaries; second, which of these devices is used most often to access online dictionaries; third, whether there are any differences in the use of devices for different consultation purposes (private vs. professional); and last, if there are any differences in the use of devices between different user groups.

4.1 Method Among other questions, respondents in the first survey who indicated that they had already used an online dictionary were asked the following two questions:

|| 3 For a different notion of device see Bothma et al. 2011: 294.

136 | Alexander Koplenig, Carolin Müller-Spitzer – –

On which device/s have you used online dictionaries? Which device do you use most often to access online dictionaries?

Both questions had the following response options: (1) notebook/netbook, (2) desktop computer, (3) mobile phone, smartphone, (4) PDA, or (5) other.4 The first question was designed as a multiple response question (“Please tick all the devices on which you have already used online dictionaries.”). The second question only had a single response list (“Please tick only the device which you use most often to access online dictionaries.”) To test if the consultation purpose is relevant in this context, respondents were asked if they used online dictionaries for private or professional purposes, by selecting one of the following response options: private only, mainly private, both private and professional, mainly professional, professional only.

4.2 Results

4.2.1 Descriptive results A detailed distribution of respondents’ answers to the first question (“On which device/s have you used online dictionaries”) is shown in Table 1. The majority of the respondents (86.25%) indicated that they had only used an online dictionary on a desktop computer (91.63%) or on a notebook/netbook (75.59%). Only a minority of the respondents (13.75%) selected (at least) one of the other response alternatives. In total, 99.85% of the respondents indicated that they had already used online dictionaries on a notebook/netbook and/or on a desktop computer. Only one respondent claimed that she had only used an online dictionary on a mobile phone/ smartphone and on an another device (“iPod”) so far. The distribution of the second question (“Which device do you use most often to access online dictionaries?”) is quite similar (cf. Table 2). The vast majority (98.95%) of respondents most frequently use an online dictionary on a desktop computer (56.50%) or on a notebook/netbook (42.45%). In what follows, only the first question will be further analysed, since only a small minority (1.05%) of the respondents indicated that they most frequently used online dictionaries on devices other than a notebook/netbook or a desktop computer.

|| 4 All the respondents who choose this option were asked to specify their choice in a text box.

General issues of online dictionary use | 137

Device Notebook/Netbook Desktop computer Mobile phone, smartphone PDA Other Total

Frequency 499 613 72 23 7 1214

Percent of cases 75.59 91.63 10.76 3.44 1.05 181.46

Tab. 1: Distribution of devices used to access online dictionaries Device Notebook/Netbook Desktop computer Mobile phone, smartphone PDA Other Total

Frequency 284 378 4 2 1 669

Percent 42.45 56.50 0.60 0.30 0.15 100

Tab. 2: Distribution of devices used most often to access online dictionaries

4.2.2 Subgroup analyses There are no significant distributional differences between linguists and nonlinguists (Χ²(12) = 11.47, p = .49), and between translators and non-translators (Χ²(12) = 17.94, p = .12). However, there are highly significant differences regarding the language version of the survey chosen by the respondents (Χ²(12) = 44.87, p < .00). It is worth noting that respondents in the English language version selected devices other than a notebook/netbook or a desktop computer, such as mobile phones/smartphones (Χ²(1) = 16.55, p < .01) or PDAs (Χ²(1) = 10.53, p < .01) significantly more often compared to respondents in the German language version (cf. Table 3). To further analyse this relationship, we generated a binary variable, named SMALL SCREEN, indicating whether a respondent selected at least one device other than a notebook/netbook or a desktop computer. 13.75% of the respondents clicked at least one of the other three alternative devices indicating that they had already used an online dictionary on a small-screen device, while the rest (86.25%) only selected notebook/netbook and/or desktop computer to indicate on which device they had already used an online dictionary. 19.72% of the respondents in the English language version had already used an online dictionary on a small-screen device, compared to 6.80% of the respondents in the German language version (Χ²(1) = 23.42, p < .00). We fitted a binary logistic regression model to predict the probability of belonging to one of the two categories of the SMALL SCREEN variable, using age of the respondent as an explanatory variable. To reduce the effects of outliers, the age varia-

138 | Alexander Koplenig, Carolin Müller-Spitzer

ble was log-transformed. A binary logistic regression (N = 661; Nagelkerke R² = .00; Χ²(1) = 0.90, p = .34) reveals that the age of a respondent is not a significant predictor of the SMALL SCREEN variable (β = -0.29; p = .35). Note that seven respondents did not indicate their year of birth and are not included in this analysis. This analysis reveals that the age of a respondent is not a significant predictor of the SMALL SCREEN variable indicating that younger respondents do not use small screen devices more often than older respondents. Language version Device German English Notebook/Netbook 80.91 69.17 Desktop computer 90.29 92.78 Mobile phone, smartphone 5.50 15.28 PDA 0.97 5.56 Other 0.65 1.39 Total 184.67 178.86 a p values (last column) are Bonferroni adjusted.

Total 74.59 91.63 10.76 3.44 1.05 181.45

Χ² / p-valuea 12.090/0.003 1.340 / 1.000 16.547/0.000 10.528 / 0.006 0.883 / 0.1000

Tab. 3: Distribution of device usage as a function of language version

To examine the influence of the consultation purpose in this context, we generated a nominal variable with three categories: the first category for respondents who use online dictionaries mainly or exclusively for PRIVATE purposes, the second category for respondents who use online dictionaries both for PRIVATE and PROFESSIONAL purposes, and the last category for respondents who use online dictionaries mainly or exclusively for PROFESSIONAL purposes. Table 4 reveals an interesting pattern: respondents who use online dictionaries both for private and for professional purposes had already used an online dictionary on a small-screen device more often (18.85%) than respondents who use online dictionaries (mainly or only) for private purposes (7.14%), and respondents who use online dictionaries for professional purposes (7.69%). This effect turns out to be highly significant. PURPOSE

SMALL SCREEN

No Yes

PRIVATE

BOTH

PROFESSIONAL

92.86 7.14

81.15 18.85

92.31 7.69

Total 86.25 13.75

Tab. 4: Distribution of small-screen device usage as a function of purpose of use

4.3 Discussion On the one hand, the results clearly demonstrate that the respondents to our first study mainly tend to use online dictionaries on big-screen devices (e.g. desktop

General issues of online dictionary use | 139

computers). Only a small proportion had already used online dictionaries on devices with a smaller screen (e.g. mobile phones). Subgroup analyses reveal that neither the academic background, the professional background, nor the age of the respondents are significant predictor variables of the device usage pattern. Respondents in the English language version indicated more frequently that they had already used an online dictionary on a small-screen device than respondents in the German language version. A similar relationship was found regarding the purpose of consultation. Nevertheless, the great majority of respondents had never used online dictionaries on devices other than a notebook/netbook or a desktop computer. However, we do not conclude from these results that the development of an online dictionary that is capable of adapting to different screen sizes is pointless, because at least three objections can be raised against this conclusion. First, it is reasonable to assume that screen-size adaptable online dictionaries will become more important in the near future, since the market for small-screen devices (e.g. smartphones, tablets, and eBook readers) is constantly expanding. Second, although our sample of respondents is quite large, it is somewhat biased towards Europe (especially Germany) and the U.S.. This could lead to an underestimation of the percentage of online dictionary users who have already used online dictionaries on a small-screen device, as result of a fact mentioned in the introduction, namely that pocket electronic dictionaries are especially popular in Japan and other Asian countries (cf. Nesi 2012). Third, more empirical research is needed, because our study left out certain important issues: if people really do start to use online dictionaries on small-screen devices more often in the future, it will be important to know if there are any differences regarding the dictionary consultation process. For instance, it is possible that small screen devices (e. g. smartphones) are used more often during oral text production. If this assumption proves to be true, the dictionary should be designed accordingly. To summarize, based on our results, it seems to be appropriate to optimize the screen design to big-screen devices without losing sight of the smaller ones. However, further insights into this topic regarding the current situation would be valuable for practical lexicography.

5 Concluding remarks As mentioned at the outset of this contribution, the general questions served two purposes: firstly they were intended as some kind of introduction to the actual topic of the survey (cf. Müller-Spitzer/Koplenig: Expectations and demands, this volume). Secondly, only in a general study it is possible to ask general questions: research into dictionary usage is time and money consuming, so most studies have place their focus on a narrowly defined topic or project. Of course this makes sense, be-

140 | Alexander Koplenig, Carolin Müller-Spitzer

cause it seems to be the best way to deduce practical results. However, this also means that empirical answers to general lexicographical questions are missing. The data collected by us show that our respondents both use printed and online dictionaries and, according to their self-report, many different kinds of dictionaries. In this context, our results revealed some clear cultural differences: in Germanspeaking areas spelling dictionaries are more common than in other linguistic areas, where thesauruses are widespread. Only a minority of our respondents is willing to pay for premium content, but most of the respondents are prepared to accept advertising. Our results also demonstrate that our respondents mainly tend to use dictionaries on big-screen devices, e.g. desktop computers or laptops. We expected younger respondents who have grown up with digital technologies (“digital natives”, cf. Rundell 2012) to have different needs compared to older users. The fact that we found no link between the age of the respondent on the one hand and the devices used on the other hand came as somewhat of a surprise. Maybe contrary to our general assumption, the age of a respondent does not seem to matter when it comes to online dictionaries: both old and young persons show no significant differences in their response behavior. Therefore, we cautiously draw the conclusion that the hypothesis that younger users have different basic needs, has to be questioned and answered empirically first. Certainly, every generation is different in many ways from the previous ones. If the use of online dictionaries is one of those ways and in which aspects of dictionary use these differences become apparent, has to be thoroughly examined first. Here, our questions focus on dictionary use, i.e. assume that a dictionary is used. If this is the case, the generations might not be as different in their behavior as you think. Maybe, it is more the question whether younger people use dictionaries at all or if they are aware of the differences between dictionary sites and other sites when they are ‘googling’ linguistic questions (cf. Rundell, 2013, p. 5). Against this background, it would be interesting to empiricially explore the question, if (classical) dictionaries are still used to answer linguistic problems, and if so, by whom.

Bibliography Bank, C. (2012). Die Usability von Online-Wörterbüchern und elektronischen Sprachportalen, 63(6), 345–360. Boonmoh, A., & Nesi, H. (2008). A survey of dictionary use by Thai university staff and students, with special reference to pocket electronic dictionaries. Horizontes de Lingüística Aplicada, 6(2), 79–90. Bothma, T. J. D., Faaß, G., Heid, U., & Prinsloo, D. J. (2011). Interactive, dynamic electronic dictionaries for text production. In I. Kosem & K. Kosem (Eds.), Electronic lexicography in the 21st Century: New Applications for New Users. Proceedings of eLex2011, Bled, Slowenien, 10 - 12 November 2011 (pp. 215–220). Ljubljana: Trojina, Institute for Applied Slovene Studies. Retrieved from http://www.trojina.si/elex2011/Vsebine/proceedings/eLex2011-29.pdf

General issues of online dictionary use | 141

Diekmann, A. (2010). Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen (4th ed.). Hamburg: Rowohlt. Dziemanko, A. (2010). Paper or electronic? The role of dictionary form in language reception, production and the retention of meaning and collocations. International Journal of Lexicography, 23(3), 257–273. Dziemanko, A. (2012). On the use(fulness) of paper and electronic dictionaries. In Electronic lexicography (pp. 320–341). Oxford: Oxford University Press. Engelberg, S., & Lemnitzer, L. (2001). Lexikographie und Wörterbuchbenutzung. Tübingen: Stauffenburg. Harris, Roy (1982). The History Men. Times Literary Supplement (London, UK), 935–36. Koyama, T., & Takeuchi, O. (2007). Does look-up frequency help reading comprehension of EFL learners? Two empirical studies of electronic dictionaries, 25(1), 110–125. Lew, R. (2010). Users take shortcuts: Navigating dictionary entries. In A. Dykstra & T. schoonheim (Eds.), XIV EURALEX International Congress (pp. 1121–1132). Leeuwarden/Ljouwert. Lew, R. (2012). How can we make electronic dictionaries more effective? In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 343–361). Oxford: Oxford University Press. Lew, R., & Tokarek, P. (2010). Entry menus in bilingual electronic dictionaries. eLexicography in the 21st Century: New Challenges, New Applications. Louvain-La-Neuve: Cahiers Du CENTAL, 145– 146. Nesi, H. (2000). Electronic dictionaries in second language vocabulary comprehension and acquisition: The state of the art. In U. Heid, S. Evert, E. Lehmann, & C. Rohrer (Eds.), IX EURALEX International Conference (pp. 839–847). Stuttgart. Nesi, H. (2012). Alternative e-dictionaries: Uncovering dark practices. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 363–378). Oxford: Oxford University Press. Nesi, H., & Tan, K. H. (2011). The Effect Of Menus And Signposting On The Speed And Accuracy Of Sense Selection. International Journal of Lexicography, 24(1), 79. Osaki, S., Natsue, O., Tatsuo, I., & Aizawa, K. (2003). Electronic dictionary vs. printed dictionary: Accessing the appropriate meaning, reading comprehension and retention. In M. Murata, S. Yamada, & Y. Tono (Eds.), Proceedings of ASIALEX ’03 Tokyo (pp. 205–212). Tokyo: Asialex. Pasek, J., & Krosnick, J.A. (2010). Optimizing survey questionnaire design in political science: Insights from psychology. In. J. Leighley (Ed.), Oxford Handbook of American Elections and Political Behavior. Oxford, UK: Oxford University Press. Rundell, M. (2012). The road to automated lexicography: An editor’s viewpoint. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 15–30). Oxford: Oxford University Press. Rundell, M. (2013). Redefining the dictionary: From print to digital, 21, 5–7. Tono, Y. (2011). Application of Eye-Tracking in EFL Learners. Dictionary Look-up Process Research. International Journal of Lexicography, 23, 124–153.

Carolin Müller-Spitzer, Alexander Koplenig

Online dictionaries: expectations and demands Abstract: This chapter presents empirical findings on the question which criteria are making a good online dictionary using data on expectations and demands collected in the first study (N=684), completed with additional results from the second study (N=390) which examined more closely whether the respondents had differentiated views on individual aspects of the criteria rated in the first study. Our results show that the classical criteria of reference books (e.g. reliability, clarity) were rated highest by our participants, whereas the unique characteristics of online dictionaries (e.g. multimedia, adaptability) were rated and ranked as (partly) unimportant. To verify whether or not the poor rating of these innovative features was a result of the fact that the subjects are not used to online dictionaries incorporating those features, we integrated an experiment into the second study. Our results revealed a learning effect: Participants in the learning-effect condition, i. e. respondents who were first presented with examples of possible innovative features of online dictionaries, judged adaptability and multimedia to be more useful than participants who did not have this information. Thus, our data point to the conclusion that developing innovative features is worthwhile but that it is necessary to be aware of the fact that users can only be convinced of its benefits gradually. Keywords: user demands, reliability of content, up to date content, accessibility, clarity, innovative features, adaptability, multimedia

| Carolin Müller-Spitzer: Institut für Deutsche Sprache, R 5, 6-13, 68161 Mannheim, +49-(0)621-1581429, [email protected] Alexander Koplenig: Institut für Deutsche Sprache, R 5, 6-13, 68161 Mannheim, +49-(0)621-1581435, [email protected]

1 Introduction Compared to their printed counterparts, online dictionaries offer the possibility of presenting lexicographical data more flexibly. This is due to the fact that printed dictionaries are – of course – static, meaning that the lexicographical data and its typographical presentation are inseparable, whereas the digital medium overcomes this technical limitation: given the appropriate data modelling and data structure, the same lexicographical information can be presented in different ways, which makes it possible a) to generate customized versions of a dictionary entry depending

144 | Carolin Müller-Spitzer, Alexander Koplenig

on the user and the information s/he needs in a particular usage situation, and b) to provide additional resources and cross-references (cf. De Schryver, 2003, pp. 182– 185; Müller-Spitzer, 2008; Storrer, 2001). Quite early on, lexicographers recognized the potential benefits of the new medium and expressed their expectations of a dramatic change in the way dictionaries are being both used and produced: “If new methods of access (breaking the iron grip of the alphabet) and a hypertext approach to the data stored in the dictionary do not result in a product light years away from the printed dictionary, then we are evading the responsibilities of our profession.” (Atkins, 1992, p. 521; cf. also De Schryver & Joffe, 2004; De Schryver, 2003, p. 157; Dziemanko, 2012; Granger, 2012; Rundell, 2012, p. 29)

However, if digital dictionaries are to develop in a way which is quite different from printed dictionaries, established patterns must be questioned and key priorities have to be put into proper perspective. Put differently, to develop a good product or to offer a good service, it is first of all necessary to find out what the important characteristics of a successful product or service are in terms of customer satisfaction or usability. Given limited resources, it is only by answering this question that it is possible to decide where efforts should be focused. At the outset, these characteristics can be formulated in quite an abstract way, e.g. form follows function. This principle does not tell the producer which functions to include, but indicates that the design of the product is not as important as its intended purpose. Finding answers to this rather general question was one of the aims of the first study in which we asked our participants to rate and rank different items relating to the use of an online dictionary. In our second study, we examined more closely whether the respondents had differentiated views on individual aspects of the criteria rated in the first study (cf. Müller-Spitzer/Koplenig: First two studies, this volume). Of course, one objection could be that dictionaries (especially printed ones) have such a long tradition that it is not necessary to evaluate basic questions of this kind empirically. But, as mentioned above, online dictionaries are different in several ways. One important example of this is the link between the dictionary entries and the corpus: generating information based on the analysis of real language data is a long-established lexicographical practice. Before the dawn of electronic corpora, lexicographers normally used data explicitly extracted for a particular dictionary. With the diffusion of the electronic medium, more and more corpora for more and more different languages became available for linguistic purposes, which also enhanced the possibilities of lexicographical work. Quite naturally, lexicographers were quick to seize upon the opportunity to compile corpus-based dictionaries . Essentially, the entries of online dictionaries can be linked to the relevant collection of texts, offering its users direct access to the corpus (cf. e.g. Asmussen, forthcoming; Paquot, 2012). There has never – at least to our knowledge – been an

Online dictionaries: expectations and demands | 145

empirical investigation into whether this is a relevant function of an online dictionary, relevant in the sense that this is what users expect of a good online dictionary. Another example is the potential integration of multimedia components into an online dictionary, e.g. audio files illustrating the pronunciation of word, a phrase or a whole sentence or collocation graphs, visualizing frequently occurring word combinations. A last example we would like to mention here is the collaborative compilation of a dictionary. In recent years, it has become more and more common for the content on information websites to be contributed to by the internet community in a collaborative manner, Wikipedia being the prime example, of course (cf. Meyer & Gurevych, 2012). As a consequence, it is important to know whether online dictionary users still rate the accuracy and authorship of the dictionary content as a very important or the most important feature, given that collaborative dictionaries are consulted quite frequently, even though they have quite a bad reputation: “Furthermore, people trust dictionaries in print form, whereas data found on the Web is seen by some as slightly suspect and inherently less ‘serious’. Not surprisingly, this idea is linked to the supposed unreliability of crowd sourced dictionaries and – inevitably – the Urban Dictionary is held up as an example of the dangers of going down this road.” (Michael Rundell: Macmillan Dictionary Blog1)

Other relevant questions are whether it is more important to use financial and human resources to focus on keeping the dictionary entries up to date and quick to access (e. g., there is hardly any delay when the pages are loaded) or whether it is better to make the dictionary more user-friendly by providing a fast user interface or a customizable user interface. Taken together, we believe that answering these questions is of great importance in helping lexicographers to determine how to allocate scarce resources: “Given the ‘flings of imagination’ […] one could be tempted to suggest that the Dictionary of the Third Millennium, while undoubtedly electronic, will simply be a jamboree of all those dreams. […] the price tag of realising all those dreams would ensure that no one could afford to buy the product – no matter how wonderful the reference work would be. […] When it comes to cost, it is clear that the choice for the development of this or that dream is dependent on the application and intended target user group.” (De Schryver, 2003, p. 188) “[…] the greatest obstacle to the production of the ideal bilingual dictionary is undoubtedly cost. While we are now, I believe, in a position to produce a truly multidimensional, multilingual dictionary, the problem of financing such an enterprise is as yet unsolved.” (Atkins, 2002, p. 9)

|| 1 http://www.macmillandictionaryblog.com/no-more-print-dictionaries, 8.1.2013 (last accessed 13 July 2013).

146 | Carolin Müller-Spitzer, Alexander Koplenig

It could be objected that our evaluation of the basic characteristics of dictionaries does not help the lexicographer in determining how to design a good dictionary, because the information is too general. It may not help directly but we believe that this information is of indirect value, because it can be used to decide where limited resources should be allocated. Therefore, providing reliable empirical data that can be used to answer the question of how users rate different aspects of online dictionaries is an important issue for practical lexicography. This chapter is structured as follows: Section 2 presents our approach to answering the question “What makes a good online dictionary?” using data collected in our first study (2.1), completed with additional results from the second study, which examined more closely whether the respondents had differentiated views on individual aspects of the criteria rated in the first study (2.2). The implications of both sections are discussed in Section 2.3. Section 3 focuses on an experiment carried out in our second study to evaluate how users rate innovative features of online dictionaries. Again, the results of the parts of the study described in 3.1 and 3.2 are discussed together in Section 3.3. The chapter concludes with a discussion of the implications of our findings.

2 Demands on online dictionaries 2.1 Basic evaluation of demands on online dictionaries To answer this research question, we assembled a list of important characteristics of good online dictionaries. This list was the result of intensive discussions within the project and with external colleagues from different lexicographical disciplines. Due to the fact that this research question was only one part of the study, we then selected ten different characteristics. Those characteristics cover both “traditional” features of dictionaries, e.g. reliability of content or long-term accessibility, and specific attributes of online dictionaries, e. g. suggestions for further browsing or links to the corpus. The participants in our study were first asked to rate every item separately. We thought that it was likely that many respondents would rate most aspects as important, expecting a dictionary to be some sort of “jamboree of all those dreams” as De Schryver puts it in the quote above. Therefore the respondents were also asked to create a personal ranking to force them to discriminate between the different aspects. We were also interested in potential user group differences in this context. One of our hypotheses was that, compared to non-linguists, linguists would have a

Online dictionaries: expectations and demands | 147

stronger preference for the entries to be linked to the relevant corpus, because this documents the empirical basis of the given information. “The advanced dictionary users of course are those who will benefit from selective access to corpus data.” (Atkins, 2002, p. 25; cf. also Bowker, 2012, p. 391; Varantola, 1994, 2002, pp. 34– 35)

This could also be the case for translators, as presumed by Bowker (Bowker, 2012, p. 387). Furthermore, we expected translators to rate, on average, a user interface that is adaptable to be more important for an online dictionary than non-translators, since professional translators rely heavily on dictionaries in their daily work. An adaptable user interface could enhance their individual productivity. 2.1.1 Method Aspect Adaptability Clarity Links to other dictionaries Links to the corpus

Meaning The user interface is customizable. The general structure of the website enables you to easily find the information you need. The entries also contain links to other dictionaries.

The entries also contain links to the relevant collection of texts (corpus). Suggestions for further The entries contain links to other entries you might find interestbrowsing ing. Long-term accessibility You can be certain of accessing the different entries by using the previous URL (i.e. web address) for future references. Multimedia content The online dictionary also contains multimedia files, e.g. visual and audio media. Reliability of content You can rely on the accuracy and authorship of the content. Speed2 There is hardly any delay when the pages are loaded. Suggestions for further The entries contain links to other entries you might find interestbrowsing ing. Up-to-date content Possible mistakes are corrected on a regular basis; new word entries and linguistic developments are regularly published online. Tab. 1: Presented aspects in the rating/ranking task.

Among other questions, respondents in the first survey were asked to rate ten aspects on 5-point Likert scales (1 = not important at all, 5 = very important) regarding the use of an online dictionary (cf. Table 1).

|| 2 By “speed”, we meant the actual technical speed of the online application, not the speed of the process of looking up a word (cf. Dziemanko, 2012, pp. 327–329).

148 | Carolin Müller-Spitzer, Alexander Koplenig

After this, participants were asked to create a personal ranking according to importance. The most important criterion was placed highest, while the least important criterion was placed in last position (cf. Figure 1).3

Fig 1: The ranking task (screenshot).

2.1.2 Results Correlation analysis Analysis of (Spearman’s rank) correlation revealed a significant association between importance and ranking. This means that both the importance measured in the Likert Scale as well as the ranking of the criteria produced a similar outcome. These results indicate that the individual ranking can be used as a reliable indicator of users’ demands as intended (cf. Figure 2). Descriptive results The analysis of the ratings reveals that one aspect stands out above all others: 71.35% of the respondents chose “Reliability of content” as the most important aspect of a good online dictionary. In addition to this, other classical criteria of reference books (e.g. up-to-date content and clarity) were both ranked and rated highest, whereas the unique characteristics of online dictionaries (e.g. multimedia, adaptability) were rated and ranked as (partly) unimportant. || 3 r = 0.39 [0.20; 0.56]; p < .01.

10 9 8 7 6 5 4 3 2 1

5

3 2

re lia bi lit y

ul ti

cl ar ity

fo rb ro w sin lin ks g ad to ap ot ta he bi lit rd y ic t io lin na ks rie to s th e co rp us ac ce ss ib ilit y up sp to ee da d te co nt en t

1

su gg es t

io ns

m

Importance

4

m ed ia

Ranking

Online dictionaries: expectations and demands | 149

Characteristic Importance

Ranking

Fig. 2: Correlation between mean rankings and mean importance in the use of an online dictionary.

Subgroup analyses As mentioned above, another objective of the study was to assess whether the size of this difference depends on further variables, especially the participants’ background and the language version of the online survey chosen by the participants. Surprisingly, there are no noteworthy rating differences – on average – between different groups, as a visual representation clearly demonstrates (cf. Figure 3).4 Statistical analyses of variance (not reported here) reveal that some of the differences in average ratings across subgroups are significant. However, this is mainly due to the high number of participants.5 Another way of framing these findings is to

|| 4 Means of rankings as a function of language version (Fig. 7), professional background (Fig. 8), and academic background (Fig. 9). Means are on 10-point scales with higher values indicating higher levels of importance regarding the use of an online dictionary. 5 In fact the F-Value (1, 682) ranges from 0.20 to 59.11 with 8.08 on average, yielding highly significant differences (p < .00) in only 8 out of 30 cases.

150 | Carolin Müller-Spitzer, Alexander Koplenig

state that the relative ranking orders represented by the shapes of the curves correspond in each figure.6

m

ul ti su me gg dia es ad tio ap ns ta b lin ilit y ks lin _ k s d ic _c t ac orp us ce ss ib ilit y sp e up ed to da te cla re rity lia bi lity

10 9 8 7 6 5 4 3 2 1

m ul ti su me gg dia es ad tio ap ns ta b lin ilit y ks lin _d ks _c ict ac orp u ce ss s ib ilit y sp up eed to da te cl ar re ity lia bi lit y

10 9 8 7 6 5 4 3 2 1

Language_version

Professional_background

German

translators

English

non-translators

m

ul ti

su me gg dia es ad tio ap ns ta b l i n i l i ty ks lin _ k s d ic _c t ac orp us ce ss ib ilit y sp e up ed to da te cla re rity lia bi lity

10 9 8 7 6 5 4 3 2 1

m ul ti su me gg dia es ad tio ap ns ta b l i n i l i ty ks lin _d ks _c ict ac orp u ce ss s ib ilit y sp up eed to da te cl ar re ity lia bi lity

10 9 8 7 6 5 4 3 2 1

Academic_background

Language_skills

linguists

native

non-linguists

non-native

Fig. 3: Mean ranking as a function of different background variables.

Cluster analysis In order to better interpret these results, we conducted a cluster analysis to see how users might group together in terms of their individual ranking. Clusters were formed on the basis of a two-step cluster analysis.7 A two-cluster solution was identified. Means, standard deviations, and N of each cluster are presented in Table 2. Analyses of variance, with the cluster as independent variable and each criterion as a response variable, yielded highly significant differences (p < .00) for every criterion (10 out of 10 cases).8 Most strikingly, preceded only by “Reliability of content”, respondents in Cluster 1 rated the criterion “Links to the corpus” on average as the

|| 6 The only exception occurs in Figure 7, where a small difference between the two criteria rated on average as least important and second least important occurs (suggestions for further browsing and multimedia content). 7 We used the log-likelihood distance measure. The total number of clusters was not restricted, but was chosen automatically by Schwarz’s Bayesian Criterion (BIC). 8 F (1, 682) ranging from 11.22 to 520.30 (93.08 on average), ps < .00.

Online dictionaries: expectations and demands | 151

second most important aspect of a good online dictionary (M = 7.01, SD = 1.93), whereas this criterion only played a minor role for respondents in Cluster 2 (M = 3.77, SD = 1.60), cf. Fig. 5.9 In the following, Cluster 1 (N = 206) is termed CORPUS CLUSTER (because “Links to the corpus” is rated significantly more important by these participants), whereas Cluster 2 (N = 478) is called STANDARD CLUSTER. Cluster 1 (N = 206) M SD

Cluster 2 (N = 478) M SD

Reliability of content

9.09

1.79

9.54

0.91

Clarity

6.96

1.98

7.97

1.35

Up-to-date content

6.89

2.28

7.45

1.50

Speed

5.52

2.56

7.21

1.47

Long-term accessibility

5.43

2.47

6.86

1.86

Links to the corpus

7.01

1.93

3.77

1.60

Links to other dictionaries

4.72

2.11

3.46

1.47

Adaptability

3.59

2.04

3.08

1.73

Suggestions for further browsing Multimedia content

3.35

2.19

2.64

1.55

2.43

1.75

3.02

1.89

Criterion

Tab. 2: Means and standard deviations of rankings as a function of the cluster analysis.

Regression analysis To test our hypothesis that different users groups have different demands, we fitted a binary logistic regression model to predict the probability of belonging to one of the two clusters (as an indicator for sharing similar individual demands regarding the use of an online dictionary), using the cluster variable as the binary response and academic background, professional background, and the language version chosen by the respondents as explanatory variables. The results of the logistic regression model are presented in Table 3.

|| 9 F(1, 682) = 520.30, p < .00.

re lia bi lit y

ity cl ar

up

to

da te

co n

te nt

d sp ee

io na rie to s th e co rp us ac ce ss ib ilit y lin ks

di ct

pt ab ilit y

ad a

ot he r to lin ks

fo rb ro

ul ti m

es tio ns su gg

w si ng

10 9 8 7 6 5 4 3 2 1

m ed ia

Ranking

152 | Carolin Müller-Spitzer, Alexander Koplenig

Characteristic corpus standard

Fig. 4: Mean rankings as a function of the cluster analysis.

Variable Coefficient Std.Error p-Value Odds-Ratio Language Version 0.447 0.174 0.010 1.563 Professional Background 0.454 0.173 0.009 1.575 Academic Background 0.603 0.176 0.001 1.827 Constant -1.654 0.178 0.000 a N = 684; Nagelkerke R² = .064; Χ²(3) = 31.67, p < .00. All coefficients are significant at the .01 level. Tab. 3: Results of the binary logistic regression modela.

To visualize these results, we extended our model, allowing for interaction between the explanatory variables.10 Figure 5 shows the results of this model. For example, the model predicts (as indicated by the black circle) that the probability of belonging to the CORPUS CLUSTER for subjects in the English language version who work as translators and who have a linguistic academic background is 41.88% (95% confidence interval (as indicated by the solid line): 33.29% - 50.99%), compared to a likelihood of only 13.33% for subjects in the German language version who do not work as translators and who do not have a linguistic background (0.95% confidence interval: 8.06% - 21.26%). || 10 N = 684; Nagelkerke R² = .07; Χ²(3) = 35.49, p < .00.

Online dictionaries: expectations and demands | 153

Predicted probabilities (in %)

60 50 40 30 20 10

N on -li ng ui st Li ng ui st

No nlin gu is t Li ng ui st

No nlin gu is t Li ng ui st

N on -li ng ui st Li ng ui st

0

Academic background Non-translator/German Translator/German

Non-translator/English Translator/English

Fig. 5: Predicted probabilities of belonging to the ‘corpus cluster’ as a function of language version, professional background, and academic background.

2.2 Closer inspection of demands on online dictionaries Resulting from the fact that the individual rankings in the first study were much more homogeneous than expected a priori, we decided to examine more closely in the second study whether the respondents had differentiated views on individual aspects of the criteria rated in the first study. Therefore, we asked the participants to evaluate different aspects of the criteria that had been rated as most important for a good online dictionary in the first study (reliability of content, clarity, up-to-date content, accessibility). For those criteria, we were especially interested in finding out what is understood by a broad expression such as “reliability of content”, because on the one hand this characteristic is rated on average as by far the most important aspect of a good online dictionary. However, on the other hand, we know that (semi-)collaborative lexicographical projects, for example Wiktionary (Meyer & Gurevych, 2012) or LEO (http://dict.leo.org) have become very popular in the last couple of years, notwithstanding the fact that those dictionaries are deemed to be not very good when it comes to the reliability of the presented content (cf. Hanks, 2012, pp. 77–82; Müller-Spitzer, 2003, pp. 148–154).

154 | Carolin Müller-Spitzer, Alexander Koplenig

2.2.1 Method In our second study, the respondents were presented with four different aspects of each criterion. Reliability of content. For this characteristic the following aspects were presented: All details reflect both different types of text and usage across regions. The online dictionary is maintained by a well-known publisher or a well-known institution. All details have been validated by (lexicographical) experts. All details represent actual language usage, meaning that all the details provided are validated on a corpus. Especially in the context of (semi-)collaboratively constructed dictionaries, it is interesting to find out the importance of the second and third aspects (well-known publisher and expert validation).11 Keeping the dictionary up to date. For this characteristic we selected aspects that we considered to be of different degrees of importance for linguists and non-linguists: Edited words are displayed online immediately. Recent linguistic developments (regarding changes in spelling or new typical contexts) are quickly incorporated into the online dictionary. New words are quickly included in the online dictionary. Current research is incorporated into the lexicographical work. The first aspect relates to dictionaries that publish their data bit by bit online, for example elexiko (www.elexiko.de) or the Algemeen Nederlands Woordenboek (anw.inl.n). In such cases, the question of how often the dictionary should be updated needs to be answered: on a daily basis so that edited words are published immediately or only from time to time, for example quarterly, so that new entries are published as a whole group? Accessibility. Quite surprisingly, our first study revealed that only a few of the respondents indicated that they use online dictionaries on different devices (cf. Koplenig/Müller-Spitzer: General issue, this volume). This was picked up by us again as one aspect of the characteristic “accessibility”. In addition to this, we selected three more technical aspects:

|| 11 For example Sharifi (2012) asked users of Persian dictionaries for their reasons for buying a particular dictionary. The study reveals “the author’s reputation as the most important factor when buying a dictionary” (Sharifi, 2012, p. 637).

Online dictionaries: expectations and demands | 155

The online dictionary works properly on different types of device (e. g. mobile/cell phone, PC). The URL/web address is simple and easy to recall. No server failures occur due to maintenance etc. The URL/web address does not change. Clarity. For this characteristic, we decided to present different aspects relating to the basic design of the functions of an online dictionary. We were especially interested in how our respondents would judge the importance of an introduction to the online dictionary, because on the one hand, this is an aspect that is identified as an important element of an online dictionary in the lexicographical literature (cf. e. g. Kemmer, 2010, pp. 6–7; Klosa, 2009, p. 49,58), while on the other hand it is a common fact that introductions and user instructions are hardly ever read: “The general assumption is that no-one bothers to read the front matter of dictionaries.” (Kirkpatrick, 1989, p. 754) (cf. also Busane, 1990, p. 28) .

These are the four aspects: The search window is located in a prominent position, so it is easy to spot. There is an introduction to the online dictionary that is clearly arranged and easy to absorb. A quick overview of the most important features and functions of the online dictionary is possible. You can quickly obtain an overview of the keywords contained in the online dictionary. In addition to two standardized questions, we incorporated an open-ended question for each presented criterion: “Apart from the aspects we have suggested, are there in your opinion any further aspects which are important for [characteristic] of an online dictionary? If so, please specify.” We asked this question to find out if there are any other aspects that could help us gain a better understanding of individual user demands. This is in accordance with the general function of open-ended questions: “[Open-ended questions] can also capture diversity in responses and provide alternative explanations to those than closed-ended survey questions are able to capture.” (Jackson & Trochim, 2002, p. 307)

In the next section, we will present the additional evidence we were able to collect using this kind of methodology.

156 | Carolin Müller-Spitzer, Alexander Koplenig

2.2.2 Results

2.2.2.1 Reliability of content Closed-ended question 45.4% of respondents considered the aspect ‘All details represent actual language usage, meaning that all the details provided are validated on a corpus’ to be most important. 34.4% of the participants chose ‘All details have been validated by (lexicographical) experts’ as the most important aspect. Further suggested options included: ‘All details reflect both different types of text and usage across regions’ (12.1%) and ‘The online dictionary is maintained by a well-known publisher or a well-known institution’ (8.2%, cf. Figure 6).

8.2% 12.1%

45.4%

34.4%

All details represent actual language usage, meaning that all the details provided are validated on a corpus. All details have been validated by lexicographical experts. All details reflect both different types of text and usage across regions. The online dictionary is maintained by a well-known publisher or a well-known institution.

Fig. 6: Pie chart of the most important aspect of the reliability of an online dictionary.

Open-ended question 86 participants used the option of the open-ended question to mention further aspects. A qualitative analysis of the responses reveals some interesting additional aspects. Some answers relate to contact and feedback possibilities: – The user should be able to contact makers of the dictionary.

Online dictionaries: expectations and demands | 157

– – –

Editors react to discussions in forums, especially when those by (near-)native speakers. Möglichkeit zur Korrektur für Nutzer, gerade in der Fachsprache unerlässlich [Option for users to make corrections, essential in specialist language] Diskussionsforen für nicht vorhandene bzw. umstrittene Einträge, Feedbackmöglichkeiten (Hat der Eintrag geholfen?, Mittleing von entdeckten Fehler usw.) [Discussion forums for unavailable or disputed entries, feedback options (Was this entry helpful? Reporting of errors discovered by users, etc.)]

At the same time, one respondent explicitly states that any (semi-)collaborative structure can reduce the reliability of the content in question: – Eine Prüfung durch den Nutzer selbst (vgl. Wikipedia) wäre evt. wünschenswert, zwar verringert das die Verlässlichkeit, führt jedoch schneller zu Ergebnissen. [Checking by users themselves (cf. Wikipedia) might be desirable. It’s true that that reduces reliability, but it does lead to quicker results.] Quite a few answers refer to the issue of authorship, for example who is quoting the dictionary or whether the publisher of the dictionary is well known. In other words, these responses pick up on the aspects presented in the closed-ended question and specify the aspects to some extent: – I want the information to be accurate. I know that experts and institutions (say Harvard and Oxford) are much more reliable that Tom the Blogger. I do know too that facts are not always facts--even when they come from the best of places. I like notes--e.g. this information has not be validated, for example. I like information on the size of samples from which the conclusions were drawn. – Redaktion sollte nicht "offen" sein wie die Wikipedia-Sch*****. Die Glaubwürdigkeit der Information sollte wissenschaftlich untermauert sein. Und die Autoren sollen von Ihre Gleichen als Experten anerkannt sein, wie die Autoren eine Enzyklopädie oder wie die Académie Française, der Littré oder der Larousse für die frz. Sprache. Das Problem vom Duden in Deutschland ist es, daß es sich hierbei um eine reine private Institution, die keinerlei übergeordnete Verpflichtungen bzgl. Sprache hat. [Editing shouldn’t be ‘open’ like Wikipedia-sh**. The credibility of the information should be academically supported. And the authors should be recognised by their equals as experts, like the authors of an encyclopaedia or like the Académie Française, Littré or Larousse for French. The problem with Duden in Germany is that it’s a purely private institution, with no higher obligations whatsoever with regard to language.] Other responses also highlight problems that are associated with collaborative lexicography: – Make sure it's not open for editing by users, etc. like wikipedia.

158 | Carolin Müller-Spitzer, Alexander Koplenig

Here is an answer that even offers a solution for the aforementioned problem: – bei Community-Projekten ohne Lexikographen: Prüfung der Angaben durch mehrere (nichtlexikographische) Nutzer, wie z.B. bei dict.cc 2) Verlinkung mit anderen Wörterbüchern und Ressourcen, um Angaben zu Ausdrücken (etwa Mehrwortlexeme), die in Korpora derzeit schwer nachzuweisen sind, beim Nachschlagen unmittelbar selbst prüfen zu können [in the case of community projects without lexicographers: checking of information by several (nonlexicographer) users, as e.g. with dict.cc 2) Links with other dictionaries and resources so that you can immediately check information about expressions (such as multi-word lexemes) which is difficult to verify in corpora at present.] The topic of the empirical base of the lexicographical data is also picked up in the responses to the open-ended questions. For example, some respondents stress that in addition to validating the lexicographical data in a corpus, the corpus itself should be representative: – The corpus itself should consist of reliable documents - not how-to manuals that have been carelessly translated, for instance, as is so often the case. – Das zweite Kriterium ist gemischt. Es ist sehr wichtig, dass das Korpus ausgewogen ist und also sehr viel gesprochene Sprache enthält. Überregionaler Gebrauch ist hingegen nicht zu wünschen, wiewohl Angaben zur Distribution bestimmter Worte sehr hilfreich sind. Eine intensive qualitative Arbeit mit zahlreichen Muttersprachlern kann zur Not ein unbalanciertes oder zu kleines Korpus kompensieren. [The second criterion is mixed. It is very important that the corpus is balanced and therefore contains a lot of spoken language. However, usage across regions is not desirable, although information about the distribution of particular words is very helpful. Intensive qualitative work with numerous native speakers can just about compensate for an unbalanced or too small corpus.] One respondent states that the corpus itself should be published as a part of the online dictionary: – Angaben sollten nicht nur an einem Korpus überprüft sein, dieser sollte auch gleicht mit veröffentlicht werden (z.B. linguee.de), so kann ich mich vergewissern, dass das Wort zum jeweiligen Kontext passt [Information shouldn’t just be checked against a corpus; the corpus should also be published with it (e.g. linguee.de), so I can make sure that the word fits the relevant context.] Some respondents think that the existence of many illustrative examples enhances the reliability of the content: – Evidence that it's updated regularly, and includes many usage examples. – providing the reader with natural examples will increase the reliability of content.

Online dictionaries: expectations and demands | 159

–

Verschiedene Sorten sollen genauso wie Fachsprache berücksichtigen (z.B. Link auf Englisch kann auch GElenk bedeuten). Am besten ist, wenn neben einer Übersetzung auch ein Beispielsatz angezeigt wäre. [Different types should be taken into account just like specialist language (e.g. Link in English can also mean GElenk). It’s best when next to a translation, there’s also an example sentence.]

To summarize, the qualitative analysis of the responses shows that the open-ended question is mainly used to further specify the aspects presented in the closed-ended question.

2.2.2.2 Keeping the dictionary up to date Closed-ended question 41.3% of the respondents selected the aspect ‘Recent linguistic developments (regarding changes in spelling or new typical contexts) are quickly incorporated into the online dictionary’ as being most important for keeping an online dictionary up to date. Over a third (34.4%) of respondents opted for the alternative ‘New words are quickly included in the online dictionary’. Further suggested options included: ‘Current research is incorporated into the lexicographical work’ (14.4%) and ‘Edited words are displayed online immediately’ (10.0%, cf. Figure 7). Open-ended question As with the previous aspect, respondents mention the possibility of feedback as one important way of keeping a dictionary up to date: – Potential for user feedback (e.g., submitting new words or definitions, or modifying/voting on existing ones), with some sort of moderation to ensure quality. Wiktionary and Urban Dictionary are much better at being up-to-date than traditional dictionaries. – correcting errors that sometimes are carried on for several years before they are finally caught. Use the human resource you have available -(cf. the "human computer" projects being pursued for correction of optical character recognition errors) by offering a way for USERS to point out errors and suggest corrections

160 | Carolin Müller-Spitzer, Alexander Koplenig

10.0%

14.4% 41.3%

34.4%

Recent linguistic developments are quickly incorporated into the online dictionary. New words are quickly included in the online dictionary. Current research is incorporated into the lexicographical work. Edited words are displayed online immediately.

Fig. 7: Pie chart of the most important aspect of keeping an online dictionary up to date.

One answer even explicitly suggests the procedure of adding dictionary entries that have often been searched for without success by the dictionary users based on the (automatic) analysis of log files described as “Fuzzy Simultaneous Feedback” by De Schryver and Prinsloo (De Schryver & Prinsloo, 2001): – allgemeine Lücken im Wörterbuchbestand zu schließen, beispielsweise anhand wiederholter (erfolgloser) Suchen durch Benutzer; bei in der Suche ortographisch falsch eingegebenen Wörtern (durch den Benutzer), automatische Weiterleitung zum richtigen Eintrag - auch hier basierend auf der Auswertung häufiger Benutzereingaben [filling in general gaps in the dictionary, e.g. based on repeated (unsuccessful) searches by users; automatic redirection to the correct entry when searching for words which have been spelt incorrectly (by the user) – again based on the evaluation of what users frequently type in] One aspect that was not available in the closed-ended question, but that was mentioned in the open-ended one several times, was the fact that "keeping a dictionary up to date" should not only mean that new words are quickly included in the online dictionary, but also that obsolete words should be labelled accordingly. – obsolete Einträge werden gekennzeichnet/herausgenommen (--> Überprüfung an Korpora) [obsolete entries to be labelled/taken out (Æ checking against corpora)] – Obsolete words should also be labeled as obsolete.

Online dictionaries: expectations and demands | 161

–

Perhaps if a word falls out of use, keep it in the dictionary, but mark it as archaic/dated/out-of-use/uncommon.

A few answers criticized the up-to-date standard in general: – It is vital that the previous material continue to be included. Just because something is new does not make it better. I just watched and listened to a videotaped course on linguistics in which I heard my common vocabulary, pronunciation, and sentence structure mocked as being the language of a small group of little old ladies being pretentious--I am 6 ' (I am 61) and a male--and no one omcluding my Mensa friends who make fun of everything and everyone have called me pretentious. Nothing is up-to-date if it ignores the past. – Halte wenig von dem Aktualisierungsanspruch, der ist nicht einzulösen; online müsste man alle 24 Stunden upgraden, das ist nicht zu schaffen, also lieber stabil für 2-3 Jahre bleiben und dann lexikographisch seriöse Upgrades [Don’t think much of the updating requirement – it can’t be achieved; online, you would have to update every 24 hours, it can’t be done, so it’s better to keep it stable for 2-3 years and then have a serious lexicographical update] – Up-to-date is such an impossible term in this world where there is so much information. None of us can keep up to date. I want help from the institution and experts--and yes, the information should be dated. However, knowledge and wisdom--well, that's different. I don't need the date the poem was written. – Up-to-date being less important than accuracy. If it takes time to verify new words, may it be so. Nice, if fast, but not crucial for me using the dictionary. In addition to this, a few answers suggest a "date label" for each dictionary entry, so that the users are able to understand how old an entry is. – Date of entry (like the OED) would be useful. Also information on when a word becomes less frequent, and what it is replaced with (e.g. climate change replacing global warming. – Fehler auf den Seiten werden regelmäßig behoben - Aktualisierungen werden für den Benutzer anhand z. B. "zuletzt geändert am DATUM" deutlich gemacht [Mistakes on the pages removed regularly – updates made clear for the user using e.g. “last amended on DATE“] – Korrekturen werden vorgenommen. Größere Änderungen (z.B. technische Änderungen, großer Zuwachs von Artikeln) werden per Newsletter oder auf der Homepage wahrnehmbar mitgeteilt. [Corrections are carried out. Larger revisions (e.g. technical revisions, a large increase in entries) are communicated via newsletter or in a prominent position on the homepage.] Furthermore, links to other relevant websites can help to make the content more up to date.

162 | Carolin Müller-Spitzer, Alexander Koplenig – –

Quick and visible link to one/more reliable lexicographical blogs for daily or more random updates and commentaries (e.g. Urban dictionary.com). Possibly a link to wepages using the word in question, showing current usages of the word (like http://www.wordnik.com)

One of the aspects presented in the closed-ended question was “edited words are displayed immediately”. Quite a few answers to the open-ended question show that some respondents did not understand this: – Was sind „redaktionell bearbeitete Wörter“? Warum sollten sie nicht online angezeigt werden? Frage nicht verstanden. [What are “edited words”? Why should they not be displayed online? Don’t understand the question.] – keine Ahnung was ‚redaktionell bearbeitete Wörter werden direkt online gezeigt‘ heissen soll. [No idea what ‘edited words are displayed online immediately’ is supposed to mean.] – Don't understand “edited words....immediately” – Der Nutzer kann selbst neue Wörter beitragen und ggf. zur Diskussion stellen. Übrigens: Die Option „Redaktionell bearbeitete Wörter werden direkt online gezeigt.“ verstehe ich nicht. Deshalb habe ich sie als weniger wichtig eingestuft. [Users themselves can contribute new words and put them up for discussion if need be. Besides, I don’t understand the option “Edited words are displayed online immediately”. That’s why I’ve rated it as less important.] – Anmerkung zu oben „Redaktionell bearbeitete Wörter werden direkt online gezeigt“ -- was soll das heißen? „Direkt online“ ist doch alles? Und redaktionell bearbeitet hoffentlich auch ... [Comment on the above “Edited words are displayed online immediately” – what does that mean? Isn’t everything “online immediately”? And edited as well, hopefully...] Within the project of the dictionary-portal OWID,12 the question of how often the dictionary should be updated, on a daily basis so that edited words are published immediately or only from time to time so that new entries are published as a whole group, was a topic of much discussion. The qualitative analysis of the open-ended questions reveals that this discussion took place “inside the box”, quite independently of any relevance for the dictionary users. To summarize, the answers to the open-ended question show that – contrary to the reliability of content – our respondents mentioned quite a few aspects that were missing in the closed-ended question. In other words, we received a lot of valuable feedback that we can use in the process of designing future dictionary functions.

|| 12 www.owid.de.

Online dictionaries: expectations and demands | 163

2.2.2.3 Accessibility Closed-ended question Around one third of the participants selected the aspect ‘No server failures occur due to maintenance etc.’, and another third chose the option ‘The URL/web address does not change’ as the most important. Further suggested options included: ‘The online dictionary works properly on different types of device (e.g. mobile/cell phone, PC)’ (19.2%) and ‘The URL/web address is simple and easy to recall’ (15.9%) (cf. Figure 7).

15.9% 33.1%

19.2%

31.8%

No server failures occur due to maintenance etc. The URL / web address does not change. The online dictionary works properly on different types of device. The URL / web address is simple and easy to recall.

Fig. 7: Pie chart of the most important aspect of the accessibility of an online dictionary.

Open-ended question The answers to the open-ended question regarding further aspects which are important for the accessibility of an online-dictionary contain a few aspects that were not available in the corresponding closed-ended question. For example, some respondents point out that compatibility with different browsers is important: – Also broadly within the scope of “accessibility” is the ability to access and use the application using all reasonably common browsers and operating systems. – Compatibility with all browers/OS

164 | Carolin Müller-Spitzer, Alexander Koplenig –

Ensuring browser compliance with regard to symbols and Unicode characters (some browsers do not support all Unicode characters and show “blocks”) as well as W3C compliance

Other technical aspects are mentioned as well, such as the functionality of the online application with slower internet connections: – Site needs to comply with accessibility standards e.g. be readable by screen readers, be accessible by audio etc. – That it functions properly on high speed AND low speed internet connections. Some answers emphasize the importance of a barrier-free design, another aspect missing in the closed-ended question: Easy to use for people with disabilities. – The dictionary works properly on a wide variety of Web browsers, and in a range of media (e.g., in a text-to-speech browser for visually impaired users). As much content as possible remains readable when the dictionary is used in a browser with minimal multimedia capacity (e.g., Lynx). – Information should be available to users with disabilities, particularly visual impairments that require the use of text to voice browsers. – accessibility for the visually impaired different phonemic transcription standards (certainly IPA, but also systems optimized to be intuitive for people familiar with the language) audio pronunciations that do not rely on Flash (HTML 5 ftw.) UTF-8 support everywhere an inviting overall design a “Get Firefox” button that appears when the page is opened in IE The standardized answer options offered for aspects relating to the URL of the online dictionary: ‘The URL/web address is simple and easy to recall’ and ‘The URL/ web address does not change’. In contrast to that some answers to the open-ended question mention that it is equally or even more important that the dictionary entries appear in the top results of a search engine, that is search engines optimization: – Actually, I often go to my favorite online dictionary simply by typing the keyword in Google: “reverse”. In other words, I pay very little attention to the actual text of the URL (and I never type it to go there). The link to dictionary.com appears in the Google search menu after typing just “dict”. I would say that the search engine plays an important role taking the user to the dictionary website. – Suchmaschinen machen die merkbare URL unnötig, Weiterleitung die stabilitas loci [Search engines make the visible URL unnecessary, just as redirection makes the stabilitas loci unnecessary]

Online dictionaries: expectations and demands | 165

However, the stability of the web address is pointed out as an important aspect when it comes to quoting the dictionary entry, for example in scientific publications: – Bei komplexeren, wisschenschaftlicheren Artikeln relevant: Der Artikel sollte zitierbar sein (eindeutige URL, Zeitstempel) Ein Artikel sollte auch nach einiger Zeit noch aufrufbar sein, bzw. Artikeländerungen sollten zumindest nachvollziehbar sein [Relevant for more complex, more academic articles; the entry should be citable (definite URL, marked with the date). It should also be possible to recall an entry after some time, or revisions to entries should at least be recognizable as such] – URIs für alle Einträge, incl. Versionierung zur besseren Zitierbarkeit. [URLs for all entries, including an indication of different versions for better referencing.] – Zitierfähigkeit: Auch nach längerer Zeit bzw. nach Änderungen/Aktualisierungen sollte es möglich sein, einen zu einem früheren Datum angezeigten Inhalt zu reproduzieren. [Referencing: even after a long time or after revisions/ updates, it should be possible to reproduce content which was displayed at an earlier date.] All in all, the answers to the open-ended question contain many additional cues that allow us to better understand individual user demands regarding the accessibility of an online dictionary.

2.2.2.4 Clarity Closed-ended question More than half of the respondents (53.8%) considered the aspect ‘The search window is located in a prominent position, so it is easy to spot’ to be most important for the clarity of an online dictionary. 25.9% of the participants chose ‘A quick overview of the most important features and functions of the online dictionary is possible’. Further suggested options included: ‘You can quickly obtain an overview of the keywords contained in the online dictionary’ (16.2%) and ‘There is an introduction to the online dictionary that is clearly arranged and easy to absorb’(4.4%) (cf. Figure 8).

166 | Carolin Müller-Spitzer, Alexander Koplenig

4.1% 16.2%

53.8% 25.9%

The search window is located in a prominent position, so it is easy to spot. A quick overview of the most important features and functions of the online dictionary is possible. You can quickly obtain an overview of the keywords contained in the online dictionary. There is an introduction to the online dictionary that is clearly arranged and easy to absorb.

Fig. 8: Pie chart of the most important aspect of the clarity of an online dictionary.

Open-ended question Quite a few answers to the open-ended question regarding potential additional aspects of clarity as one important aspect of a good online dictionary point out that the website itself should be structured clearly and, if possible, that the lexicographical content should be separate from the advertisements: – Neat, uncluttered page layout, including separation of advertisements from content – Have the definition window prominent and clear of clutter. Some online dictionaries put advertisements in between definitions, which is really annoying, but could also lead to a user missing a definition because they didn’t think there was more. – General clean, uncluttered look, not having to dig around the site to find functions I want to use – Good font and simple, uncluttered pages. Keep adverts to one side, rather than across the top. In a similar vein, some respondents suggest that it is important that the different parts of the dictionary entry should be easily distinguishable: – Sections providing different functions need to be clearly delineated. e.g. you should be able to tell if you're reading a definition or etymology.

Online dictionaries: expectations and demands | 167

–

–

strukturierung der lexikoneintraege. ich habe kein interesse daran, mehrere stichwoerter gleichzeitig zu sehen, aber finde einen klaren aufbau des eintrags fuer jedes wort sehr wichtig. wenn das nicht gegeben ist, verwende ich ein onlinewoerterbuch nie wieder. [Stucturing of the dictionary entries. I have no interest in seeing several headwords at the same time, but I think a clear structure for the entry for every word is very important. If that’s not provided, I don’t use that online dictionary again.] A quick overview of the most important features and functions of each *entry word* is possible

One respondent points out that information overload should be avoided: – Selektivität der Anzeige: Die Benutzerführung soll dafür sorgen, dass nicht ein Wust von verschiedenartigen Informationen zu einem Lemma auf dem Bildschirm zu sehen ist, sondern zu jedem Zeitpunkt möglichst wenige, aktuell relevante Informationen. Motto: Lieber einmal mehr klicken, um gezielt zu einem weiteren Punkt eine Auskunft zu bekommen (die dann z.B. in einem OverlayFenster erscheint oder "ausgefahren" wird), als in einer Bleiwüste angestrengt die gewünschte Info herauszusuchen. [Selectivity of the display: the navigation for users should make sure that it’s not a jumble of information about a lemma that is visible on the screen, but rather, at any given moment, the barest possible, relevant information. Motto: better to click once more in order to get targeted information on a further point (which then appears in an overlay window, for example, or is “extended“), than to have to carefully pick the desired information out of a sea of print.] Some answers relate to the significance of an introduction to the online dictionary, which was one aspect presented in the closed-ended question. Such an introduction is seen as counterproductive, because the user interface should be intuitive and selfexplanatory, or as Lemnitzer (2001) puts it, usage errors are ‘not the mistake of the user but the insufficiency of the user interface’13 (Lemnitzer, 2001, p. 248, cf. also Pulitano, 2003, p. 58) – I should be able to figure out basically everything about using the dictionary intuitively, without reading any instructions. – Most features should be visually obvious and not require explanation – Wenn ich eine Einführung brauche hat das Layout versagt. [If I need an introduction, then the layout has failed.] – wenn eine applikation richtig implementiert ist mit einer vernünftigen bedienoberfläche, erübrigt sich eine einführung – das sollte das ziel jeder entwicklung

|| 13 „Wir verfuhren dabei nach der Devise, daß ein ‚Fehler‘ in der Bedienung nicht ein Fehler des Benutzers ist, sondern eine Unzulänglichkeit der Benutzeroberfläche.“ (Lemnitzer, 2001, p. 248)

168 | Carolin Müller-Spitzer, Alexander Koplenig

sein [If an application has been properly implemented, with a sensible user interface, an introduction is superfluous – that should be the aim of every development] Regarding the clarity of an online dictionary, our analysis of the open-ended responses both reveal some specifications and refinements of the options presented in the closed question, and provide some new aspects, for example regarding the intuitiveness of the user interface.

2.3 Discussion As mentioned above, we expected that many respondents would rate most of the possible aspects of a good online dictionary as important. The assumption turned out to be wrong, as the correlation between the ratings and the individual ranking revealed. This result indicates that the participants do not judge all characteristics of a good online dictionary to be of great value and only select a favourite when they are forced to discriminate between the criteria. This seems to indicate that users have a clear conception of a good online dictionary. Of course, it is not surprising that “reliability of content” is ranked highly. However, this dominance is worth mentioning. Instead of classifying it as variable, it should be considered to be a constant of a good online dictionary, since it hardly varies at all between the different respondents. Having evaluated the more general characteristics of good online dictionaries in the first study, our aim in the second study was to examine in more detail those features that had been rated as good. In this case, the combination of closed-ended questions, in which various aspects of the general criteria were open for selection, plus one open-ended question, which gave participants the opportunity to express their views in more detail, has led to a detailed picture of what our participants understand by a good online dictionary. In terms of reliability, it was considered important that all details represent actual language use and are validated on a corpus, and that the lexicographic data have been validated by lexicographical experts; with regard to keeping the dictionary up to date, the quick incorporation of recent linguistic developments and neologisms is the most mentioned feature; in terms of accessibility, a stable Internet address and a well-maintained system with few failures are seen as important; and lastly, in the field of clarity, the most important feature is that the search window of an online dictionary is located in a prominent position. Our study reveals a very clear preference for content-related reliability, although for example Almind believes that the speed of data retrieval from electronic dictionaries together with search precision is ”the reason why even internet dictionaries with a sub-standard content are successful“ (Almind, 2005, p. 39; cf. also

Online dictionaries: expectations and demands | 169

Dziemanko, 2012, p. 333). In a similar vein, Nesi (Nesi, 2012) shows that users of PEDs prefer using those devices even if the quality of the lexicographical data presented is not as good as in established dictionaries. Nesi argues that owners of PEDs seem to like to use dictionaries on their devices, because they appreciate many of the additional features. And this, according to Nesi, is the reason why those types of users seem to accept the low quality of the content. Based on this argument, Nesi reasons that: “Producers of high-quality dictionaries may still be able to maintain a competitive edge, especially if they continue to develop those peripheral e-dictionary facilities such as audio and video files, word-list creation tools, language tests, and language games, all popular with users and unique to the electronic medium.” (Nesi, 2012, p. 377)

In our study, the analysis of the individual ratings and rankings shows that the classical criteria of reference books (e.g. reliability, clarity) were both ranked and rated highest, whereas the unique characteristics of online dictionaries (e.g. multimedia, adaptability) were rated and ranked as (partly) unimportant. Unlike other studies (certainly studies differing both in terms of research design and central aims), our results indicate that it is not just the additional features mentioned above, but also the “search speed and ease of use [which] rank high among the features which are most appreciated in electronic dictionaries” (Dziemanko, 2012, p. 333, and the studies quoted there). Also, our data don’t show that a user-friendly dictionary must be a flexible one, as De Schryver once put it: “Going hand in hand with a user-friendly dictionary, is a flexible dictionary” (De Schryver, 2003, p. 182). Equally lacking is an empirical foundation when Bergenholtz notes: “The best dictionary is probably the one rendering a usable result in a short time” (Bergenholtz, 2011, p. 35). Our results also conflict with ideas for the development of a user-adaptive interface and the incorporation of multimedia elements to make online dictionaries more user-friendly and innovative (De Schryver, 2003; Müller-Spitzer, 2008; Verlinde & Binon, 2010 present evidence challenging that view). This raises the question of whether the design of an adaptive interface really makes online dictionaries more user-friendly, or whether this is just a lexicographer’s dream (De Schryver, 2003; Verlinde & Peeters, 2012, p. 151). Nevertheless, we believe that our results do not mean that the development of innovative features of online dictionaries is of negligible importance. As we show in Section 3 in detail, users tend to appreciate good ideas, such as a user-adaptive interface, but they are just not used to online dictionaries incorporating such features. As a result, they have no basis on which to judge the usefulness of those features. Regarding the subgroup analyses, the findings reported here suggest that our initial hypothesis that different groups have different demands was too simple. Both a visual inspection of the data and statistical analyses of variance revealed that knowledge of the participant’s background allows hardly any conclusions to be

170 | Carolin Müller-Spitzer, Alexander Koplenig

drawn about the participant’s individual ranking. By conducting a cluster analysis and by using a binary logistic regression model, we have shown that the probability of belonging to one of the two clusters (as an indicator for sharing similar individual demands regarding the use of an online dictionary) depends on academic and professional background and on the language version chosen. For example, more than 40% of respondents who work as translators and who have a linguistic academic background belong to the CORPUS CLUSTER. In this group, the link to the empirical basis of the given information is rated as very important. Respondents who do not work as translators and who do not have a linguistic background only have a probability of roughly 13% in the German-language version and roughly 25% in the English-language version of belonging to this cluster. One could speculate that there have to be other (background) variables that account for this variation. This leaves room for further studies focusing on the nature of this relationship. In the responses to the open-ended questions in the second study, it again became very clear that those participants who wrote in some detail obviously understand a lot about dictionaries and can therefore also express their ideas quite clearly. With reference to the issues discussed in this section, this is in our opinion a great advantage, since the opinions and attitudes of this audience can really provide valuable clues as to what aspects should be focused on in the development of an online dictionary when the aim is to meet the expectations of the target group of more or less experienced dictionary users.

3 Evaluation of innovative features 3.1 Experiment on the evaluation of innovative features It was shown in Section 2 that, compared to more conventional criteria (e.g. reliability, clarity, up-to-date content), the unique features of online dictionaries (e.g. multimedia, adaptability) were classified as of no great importance. On the one hand, this hardly comes as a surprise, given the fact that an online dictionary that is highly innovative but unreliable is not very useful, while the opposite – reliable but conventional – only slightly changes the practical value of the reference tool. On the other hand, we assume that an additional explanation for this result is the fact that respondents are not used to online dictionaries incorporating those features, meaning that they cannot assess whether or not they need such functions. “[…] people are not born with the skills to extract the wealth of data stored in dictionaries and other reference works efficiently and transform it into knowledge. It takes time to get accustomed to new ways of finding information, it may even require formal training.” (Trap-Jensen 2010: 1142,cf. also Tarp 2011: 59, Heid/Zimmermann 2012: 669 and Verlinde 2012: 151)

Online dictionaries: expectations and demands | 171

Thus, respondents currently have no basis on which to judge their potential usefulness. This line of reasoning predicts a learning effect. That is, when users are fully informed about possible multimedia and adaptable features, they will come to judge these characteristics to be more useful than users who do not have this kind of information. To test this assumption, we incorporated an experimental element into our second survey.

3.1.1 Method The participants in our survey were presented, both visually and linguistically, with several possible multimedia applications and various features of an adaptable online dictionary in a set of statements (S1). Each feature was explained in detail and/or supplemented by a picture illustrating its potential function (see Figures in Section 3.2.1). The participants were then asked to rate each feature with respect to three different characteristics regarding the use of an online dictionary (importance/benefit/helpfulness). In a second set (S2), participants were asked to indicate how much they agreed with the following two statements: The application of multimedia and adaptable features ... – (A) ... makes working with an online dictionary much easier. – (B) ... in online dictionaries is just a gadget. To induce a learning effect, we randomized the order of the two sets: participants in the learning-effect condition (L) were first presented with the examples in S1. After that, they were asked to indicate their opinion in S2. Participants in the non-learning-effect condition (N) had to answer S2 followed by S1. Thus, to judge the potential usefulness of adaptability and multimedia, the participants in the learningeffect condition could use the information presented in S1, whereas the participants in the non-learning-effect condition could not rely on this kind of information. If our assumption is correct, participants in the learning-effect condition L will judge adaptability and multimedia to be more useful compared with participants in the non-learning-effect condition N.

3.1.2 Results The dependent variables were measured as described above (S2). Both ratings were made on 7-point Likert scales (1 = strongly disagree, 7 = strongly agree). The answers to these two items were averaged and oriented in the same direction to form a

172 | Carolin Müller-Spitzer, Alexander Koplenig

reliable scale of adaptability and multimedia benefit judgments (α = .75), with higher values indicating more benefit.

1

2

Mean benefit judgements 3 4 5

6

7

Analysis of variance An ANOVA yielded a significant effect of the learning condition.14 As hypothesized, the results showed that participants in L judged adaptability and multimedia to be more useful (M = 5.02, SD = 1.30, N = 175) than participants in N (M = 4.50, SD = 1.54, N = 206; cf. Fig. 12).

Learning-effect (M = 5.02)

Non-learning-effect (M = 4.50)

Fig. 9: Groupwise boxplots, showing the median adaptability and multimedia benefit judgements as a function of the learning-effect condition.

Subgroup analyses In order to better interpret these results, we conducted a three-way ANOVA with learning condition, background and language version as independent factors. The statistical analysis revealed significant main effects for condition, for background, and for language version. In addition, a significant three-way interaction between experimental condition, background, and language version was found. Post hoc comparisons using the Tukey HSD test indicated that the mean difference in the

|| 14 F(1, 379) = 12.27, p < .00.

Online dictionaries: expectations and demands | 173

German-language version between the conditions was significant for the nonlinguists and insignificant for the linguists, whereas the difference between the two conditions was highly significant for the linguists and insignificant for the nonlinguists in the English-language version (cf. Table 4). German-Language Version

Condition Non-learning-effect Learning-effect English-Language Version

Background Linguistic

Non-Linguistic

5.02 (1.47) 5.02 (1.18)

4.45 (1.66) 5.09 (1.35)

Background Linguistic Non-Linguistic Condition Non-learning-effect 4.23 (1.47) 4.12 (1.63) Learning-effect 5.15 (1.26) 4.45 (1.50) a Significant differences in bold. Standard deviations in parentheses. Tab. 4: Means of adaptability and multimedia benefit judgements as a function of condition, backa ground and language version .

3.2 Closer inspection of innovative features In addition to the experimental test of the learning effect presented in the last section, one part of our examination of innovative aspects of online dictionaries was the evaluation of several possible features of online dictionaries in the subsequent two sets of questions focusing on 1) the use of multimedia and 2) user adaptability (two features that were rated, on average, as partly unimportant or unimportant for a good online dictionary in our first survey). The empirical results of these questions are presented in this section.

3.2.1 Method Regarding the incorporation of multimedia elements into the online dictionary, we picked out three different elements that are used (or could be used potentially, in our opinion) in several different dictionaries (De Schryver, 2003, pp. 165–167; Faber, Araúz, Velasco, & Reimerink, 2007):

174 | Carolin Müller-Spitzer, Alexander Koplenig

Audio pronunciations: audio files illustrating the pronunciation of a word, a phrase or a whole sentence. Illustrations (cf. Figure 10). Collocation graphs representing collocations, i.e. frequently occurring word combinations, in a visual form (cf. Figure 11).

Fig. 10: Screenshot of a possible illustration presented in the survey.

Fig. 11: Screenshot of a possible collocation graph presented in the survey.

Regarding the adaptability of an online dictionary, i.e. the potential adjustment to the demands of a particular activity and the user’s needs by using different elements, we selected three different features of an adaptable online dictionary that are already incorporated into online dictionaries or discussed in the academic community: 1. Customized user interface: to facilitate access to relevant personal information, the user interface of the online dictionary automatically adapts to the user’s

Online dictionaries: expectations and demands | 175

2.

3.

preferences depending on the item classes used in previous search requests (De Schryver, 2003, p. 185).15 Dynamic visual representations: this refers to the possibility of creating a personalized user view of the online dictionary. This can be done by choosing between different item classes, e. g. definition, sense relations, information on grammar or citations (Trap-Jensen, 2010, pp. 1134–1136, and the examples presented there, Figure 12). Alternative profiles: this means that the user of the online dictionary can choose between different profiles that optimally adjust the content according to the user’s needs. For this purpose, the user first chooses between different user types and/or different usage situations. Certain defaults are then used to structure the mode of content presentation (Kwary, 2010; Trap-Jensen, 2010, pp. 1134–1138; Verlinde, Leroyer, & Binon, 2010) (Figure 13).

Fig. 12: Screenshot illustrating dynamic visual representations presented in the survey.

Fig. 13: Screenshot illustrating alternative profiles presented in the survey.

In both sections, the respondents had to rate the presented features with respect to their importance and usefulness when using an online dictionary.

|| 15 A widely known commercial example is the homepage of the mail-order company Amazon, which changes according to the user and his/her previous shopping preferences.

176 | Carolin Müller-Spitzer, Alexander Koplenig

We added an open-ended question (“Do you have any other ideas about how to design an adaptable online dictionary?”) at the end of the set of questions on adaptable features of online dictionaries to find out whether the respondents to our survey had any ideas regarding other potential adaptable features that we had not thought of, or to give us feedback on the general benefit of this type of characteristic.

3.2.2 Results Closed-ended questions To measure the importance of the feature in question, the participants were asked to use a Likert scale from 1 to 7, where 1 represents ‘Not important/beneficial/helpful at all’ and 7 represents ‘Very important/beneficial/helpful’. The answers to these items were averaged to form a reliable scale (all αs > .93), with higher values indicating more usefulness. Figure 14 presents the results for the multimedia features. Of the three presented features, “audio pronunciations” is the most useful (M = 5.73, SD = 1.3), while “illustrations” is the second most useful (M = 5.09, SD = 1.50) and “collocations” is categorized as the least important when using an online dictionary (M = 4.20, SD = 1.77). Figure 15 shows the results for the adaptable features. The possibility of creating a personalized user view of the online dictionary (“dynamic visual representations”) is on average the most useful (M = 5.00, SD = 1.42). The other two adaptable features – “alternative profiles” (M = 4.46, SD = 1.68) and “customized user interface” (M = 4.15, SD = 1.58) - receive similar ratings. Open-ended question The possibility given by a customized user interface of saving previous search requests is highlighted as being particularly useful by several respondents: – Keep a list of the user's previous searches on the dictionary's main page, so that if they user wants to consult that definition again, they can easily do so. – Keep my search preferences in a profile (stored on the server or as a cookie in my machine) and next time I visit the site, adapt dynamically my profile – A "Show history" feature might be useful for users who want to return to words that they looked up previously. An example of this feature can be seen at http://www.ordbogen.com/ They simply display a list of "words you have looked up" on the same page (i.e., not in the menu system or as a pop-up). Each word is linked to its respective URL, so the user can click on it word to look it up again. The history can also be used in pedagogical applications, such as a daily quiz: "can you remember the meaning(s) of the words you looked up last week? click here to take the quiz..."

Online dictionaries: expectations and demands | 177

Audio pronunciations

Collocation graphs

Illustrations

1

2

3 4 5 Benefit judgements

6

7

Fig. 14: Groupwise boxplots, showing the benefit judgements for the different multimedia elements presented.

Customised user interface

Alternative profiles

Dynamic visual representations

1

2

3 4 5 Benefit judgements

6

7

Fig. 15: Groupwise boxplots, showing the benefit judgements for the different adaptable elements presented.

178 | Carolin Müller-Spitzer, Alexander Koplenig

One participant even renders this idea more precisely by suggesting an adaptation to specific domains: – If a user frequently looks up the same words, or synonyms, then perhaps a "recently used" list or suggestion mechanism may be beneficial. Also, this presents an opportunity to integrate with a flashcard or learning system, because the dictionary knows what words the user is struggling to remember. Further, and this may be a little tricky, but if the user is looking up words in a specific domain (say, for example, foreign computer terms or financial terms) then the dictionary may feature those words more prominetely than other words. Another participant outlines a different kind of adaptability with respect to the encoding of characters: – I think it would be helpful if the encoding of characters could correspond with the user's preferences. For example, there are two ways of representing the Arabic letter kaf: ϙ and ̭. I sometimes cannot anticipate which is the appropriate one, and must search sometimes twice or more to get the spelling right. Suggestions for spellings in real-time would be a useful feature. One respondent suggests the use of multilingual instructions and layout: – If dictionary instructions, layout, etc. are offered in different languages, remembering the user’s choice of access language. When it comes to the general benefit of an adaptable online dictionary, a few respondents take into consideration that those features should not be some kind of ‘usage obstacle’, but should be as simple and intuitive as possible: – The problem with adaptable interfaces is that you have to learn to use them, but you only do it once so they have to be VERY intuitive. I certainly don't mind finding the information I want through links. Now if you had a system that could learn and offer me a personalized interface based on the links I followed most frequently, then you'd have something. – Je weniger Bedienelemente eine Oberfläche hat, desto eher werden sie benutzt. Wenn also wie bei Amazon OHNE weitere Bedienelemente ein Mehrwert geschaffen werden kann, ist das sinnvoll. Aufwendige Konfigurationsoberflächen sind eher kontraproduktiv. [The fewer user elements an interface has, the more likely it is that they will be used. So if, as on Amazon, an added value can be created WITHOUT further user elements, then that’s useful. Elaborate interfaces are rather counterproductive.] In particular, there is a lot of criticism of the “alternative profiles” option: – I do like the idea of a “data-driven”, or user-centered dictionary. That is, centering the dictionary around what the user actually uses it for, and building upon information after each time the dictionary is used. But I didn’t like the idea too

Online dictionaries: expectations and demands | 179

–

much of choosing specific categories at the beginning (like “mother tongue”, etc.), because I would be afraid that then there might be too many constraints on what the user has access to--they might not be able to control what the dictionary has “decided” the user needs to see, based on an arbitrary category they chose. Perhaps instead a combination of Amazon-style usage tracking, along with a set of categories the user could switch on and off as needed. (For example, today I want to see full grammatical entries or pronunciations, but tomorrow I may just want to see usage/citations, something like that). please do not make the user have to select a whole bunch of things before getting to the dictionary entry. This would be a fatal choice and make the dictionary annoying and difficult to use. People would choose to use a dictionary, which is qualitative worse but easier to use over the one where you have to fill in a whole bunch of baloney before you use it! People want answers fast! And then they want to play around with them. We are not all scientists who search for information systematically. No - A better idea would be to have an interface which gives you results based on the standard and most used type of search right away. Lets say, native speaker. Then have a button and let the user be able to change the results - what would the dictionary say if I were not a native speaker, what do the corpora say. Such an interface is fun to use. But please, please don't make us have to make a thousand decisions before getting to the entry! Then, if we want to change it, we have to go back. And I don't want the dictionary remembering anything about me! We need less of that on the internet.

Therefore, the answers include some further aspects and ideas for possible adaptable features of online dictionaries. Furthermore, the answers show how familiar some users are with the topic.

3.3 Discussion For the evaluation of innovative features, it was shown that unique and innovative features of online dictionaries, such as the integration of multimedia or possibilities of customization, were classified as of no great importance. This may be disappointing for lexicographers, because they see a high potential for possible improvements in these features, but it corresponds to the latest findings of other researchers such as Trap-Jensen: “Whether they adhere to one school of thought or another, most lexicographers welcome the possibility of showing exactly the relevant information categories in a particular lookup situation, no less and no more, tailored to the specific needs and skills of the user. For the lexicographer, this is a strong argument in favour of the e-dictionary over the printed dictionary: the electronic medium has solved some of the problems related to traditional dictionaries. For the

180 | Carolin Müller-Spitzer, Alexander Koplenig

same lexicographers, it may be disappointing that the users do not seem to take advantage of all these wonderful possibilities.” (Trap-Jensen, 2010, p. 1142)

This leads Verlinde/Peeters to the conclusion that ideas for user-adaptive customization is more aligned to the needs or ideas of lexicographers than to the actual needs of dictionary users: “The various proposals for dictionary customization […] clearly show that lexicographers are willing to take users’ needs into account when designing new electronic dictionaries. However, it may be argued that the elements of customization implemented in electronic dictionaries so far result more from the lexicographers’ ideas about how users should use e-dictionaries (to the point that it might be called a ‘lexicographer-oriented’ lexicography) rather than from insights into the way dictionaries are actually used.” (Verlinde & Peeters, 2012, p. 151)

But to verify whether or not the poor rating of these innovative features was a result of the fact that the subjects are not used to online dictionaries incorporating those features and therefore cannot assess whether or not they need them, we integrated an experiment into the second study. As predicted, the results revealed a learning effect. Participants in the learning-effect condition, i.e. respondents who were first presented with examples of possible innovative features of online dictionaries, judged adaptability and multimedia to be more useful than participants who did not have this information. However, a closer inspection showed that this difference is mediated by linguistic background and language version: while there is a significant learning effect in the German version but only for non-linguists, there is a highly significant learning effect in the English version but only for linguists. The overall effect turned out to be modest in size, but highly significant. Also, it should be noted here that we implemented only a weak manipulation of the learning effect. Due to the nature of our survey design, we simply presented several features of multimedia and adaptability. It could be argued that if the participants had had the opportunity to actually use the presented features, the observed learning effect would have been even more pronounced. Furthermore, in this section, we presented the evaluation of several multimedia or adaptive features in an online dictionary. It was shown that the integration of audio files was considered to be particularly useful, as well as the option of creating a personalized view when the possibility of an adaptive interface is given. The integration of audio files in particular is confirmed in other studies, e.g. Lew (Lew, 2012, pp. 359–360) summarizes different empirical studies in this area and comes to the following conclusion: “What we can say at present is that available evidence invites optimism with respect to static pictures and audio recordings, but looks less optimistic when it comes to video and animation enhancements. Here, the difficulty of matching the playback speed of the material with indi-

Online dictionaries: expectations and demands | 181

vidual users’ cognitive pace might be a large part of the problem.” (cf. also Lew & Doroszewska, 2009)

Illustrations should be particularly important for language learners to supplement the definition, according to other studies (Kemmer, forthcoming, p. 11 and other literature cited there). Lew and Doroszewka also come to the conclusion that animated graphics cannot positively impact vocabulary retention (Lew & Doroszewska, 2009, p. 254). Our results can neither support these studies nor provide new or complementary results because our queries were not differentiated by usage situations or user groups. The responses to the open-ended question again show how carefully some participants reflect on the advantages and disadvantages of adaptive features and that they are fully aware that new functionality should not create a barrier. However, a few answers also demonstrate that the question on a potential “adaptable online dictionary” were not understood as intended by us, but as a question concerning the general topic of a good presentation or meaningful information. This in turn confirms the revelation that without actual examples, the usefulness of an adaptable online dictionary cannot be judged properly. Thus, our data point to the conclusion that developing innovative features is worthwhile but that it is necessary to be aware of the fact that users can only be convinced of its benefits gradually; or, as Trap-Jensen points out, we have to make an effort! “The lesson to learn is probably that both lexicographers and dictionary users must make an effort. Dictionary-makers cannot use the introduction of user profiles as a pretext for leaning back and do nothing but should be concerned with finding ways to improve presentation.“ (Trap-Jensen, 2010, p. 1142)

The question is, however, how to do this, since lexicographers do not usually have direct contact with users. One possibility could be to make greater use of educational institutions, especially for academic dictionaries, i. e. to use those contexts in particular in which it is possible to have contact with users in a closed setting, and there is therefore also the opportunity of training them for specific applications. This will not convince those users who just want to quickly check the spelling of a word, but it could perhaps persuade those who are interested in further questions about language, and are therefore willing to overcome any initial barriers. With all innovative features, it is necessary to take the learning curve into account, as explicated by Lew. He assumes that all complex learning processes start with a slow beginning, followed by a steep acceleration and finally a plateau, i.e. modelled in the form of an s-curve. Lew relates this learning curve in particular to how innovative features can be explored in user studies, but it can also generally be transferred to the learning of innovative features.

182 | Carolin Müller-Spitzer, Alexander Koplenig

“As users work with a dictionary over time, they learn some of the structure, conventions; they learn how to cut corners. Humans exhibit a natural and generally healthy cognitive tendency to economize on the amount of attention assigned to the task at hand. So in the course of interaction with dictionaries, users’ habits adjust, and their reference skills evolve. The process is driven through users getting accustomed to the particular features of the dictionary. […] But if a solution is unknown to the users, as is necessarily the case with any experimental feature we would like to test, their performance is likely to be negatively affected by the novelty of the feature. Depending on how steep a learning curve the new feature has, it may take more or less time and practice before users get more familiar with the innovation tested, and before the benefits, if any, get a chance to come to the surface.” (Lew, 2011, pp. 10–11)

If users are used to working with dictionaries, and are then faced with new features, they are first taken away from this plateau, i.e. initially new features impede dictionary use. Overcoming this barrier represents the greatest challenge if the aim is to provide users with new types of functions. The empirical data obtained by us underline the fact that this is a route worth taking.

4 Conclusion Electronic dictionaries can – as shown in the introduction using a few examples – be clearly differentiated from printed ones and indeed already are. Not only have lexicographical resources been created collaboratively, but the linking of lexicographic data and underlying corpora as well as new types of design have also already been put into practice. At the same time, there is talk of an existential crisis in lexicography (cf. Engelberg, forthcoming). It can be assumed that today more language-related consultation processes take place since language resources are much more freely available than, for example, 20 years ago, and therefore people who would hardly ever have used dictionaries are ‘googling’ language issues. At the same time, these consultation acts do not primarily lead to the use of lexicographic resources, at least not in the sense of use that is paid for. Many online dictionaries are very frequently used and register high numbers of consultations,16 but this sales model is not economically viable. For example, Rundell writes with regard to learners’ dictionaries, that these have an uncertain future:

|| 16 Cf. for example the press report on Duden online: http://www.duden.de/presse/duden-auch-imnetz-die-instanz-fuer-deutsche-sprache: the difficult economic situation was emphasized in two lectures on Duden online, both on the GAL-meeting in Erlangen (19.9.2012: Karin Rautmann: Duden „online“ und seine Nutzer) as well as on the 5th meeting of the academic network „Internetlexikografie“ in Leiden (25.3.2013 Karin Rautmann/Anja Konopka/Melina Alexa: Duden online: Die Nutzer im Fokus); see http://multimedia.ids-mannheim.de/mediawiki/web/index.php /Hauptseite (last accessed 13 July 2013).

Online dictionaries: expectations and demands | 183

“Its main user group is in the 17-24 range, and most of this cohort are now ‚digital natives‘: people who routinely go to the Web for information of any kind, and generally expect to get it for nothing. If the fate of printed encyclopedias is any guide, the transformation, once started, will be rapid.” (Rundell, 2012, p. 15).

It is therefore questionable whether fewer dictionaries are actually used today simply because there are fewer dictionaries being purchased. It used to be the case that pupils, students and language learners were often obliged to buy dictionaries as learning material, because there was no alternative. How often and intensely they were actually used is disputable. It is clear, however, that lexicography is in an existential crisis, because it is increasingly difficult to make (enough) money from lexicographical content. This raises the question of whether lexicography can preserve an important position in the future when its development is ‘light-years’ further ahead (Atkins, 1992, p. 521), i.e. when in the future online dictionaries differ much more clearly from printed dictionaries than they do today, something other researchers are calling for (cf. Bergenholtz & Bergenholtz, 2011; Bothma, Faaß, Heid, & Prinsloo, 2011; Tarp, 2011). On the other hand, dictionary projects that offer innovative features - for example, a search “from meaning to word” in the Algemeen Nederlands Woordenboek report that these options are hardly ever used.17 Similarly, Trap-Jensen reports for ordnet.dk that “less than one percent (0.86% to be exact)” (Trap-Jensen, 2010, p. 1140) choose the non-default mode, i.e. make use of the opportunity to adaptively adjust the online representation. This raises the question of whether designing lexicographical resources as innovatively as possible is really the best route to take. What can our data contribute to this question? In our studies, it has been shown that the classic characteristics of dictionaries were rated very highly, especially content-related reliability; and not just in competition with other features, but in general. This means our participants expect an online dictionary first of all to be a reliable reference work, and that medium-specific enrichment with innovative features is clearly subordinated. Neither age nor professional background nor language version reveal significant group differences with regards to this. This again yields parallels with other results, such as that no group differences have been shown in the use of different devices, although one would think that the so-called digital natives would behave differently, i.e. that they would use dictionaries on small screens such as smartphones (cf. Koplenig/Müller-Spitzer: General issues, this volume). In addition to this, the thesis that linguists tend to make evaluations which are different from those of non-linguists has not been shown to be true. The cluster analysis (Section 2.1.2) has shown that differences in the data can be revealed in

|| 17 Carole Tiberius, lecture on the on the 5th meeting of the academic network „Internetlexikografie“ in Leiden (25.3.2013 Carole Tiberius/Jan Niestadt: Using the ANW).

184 | Carolin Müller-Spitzer, Alexander Koplenig

terms of linking corpora and lexicographical resources, but only if demographic data are taken into account in the analysis, i.e. the differences are not clear-cut. How is this to be interpreted? A possible interpretation is that our participants were too homogeneous. However, this can be refuted: the number of participants in every group was high enough in both studies that, if there had been any differences, e.g. between participants with and without linguistic background, this would also have been shown, particularly because we also gained non-specialist students via the ‘Forschung erleben’ platform (cf. Müller-Spitzer/Koplenig: First two studies, this volume). It is just the same in matters of age: the groups were big enough that any differences between age groups would have surfaced. Therefore, a much more plausible interpretation is that, surprisingly, our participants – no matter what professional background they have, whether they are located the in German- or Englishspeaking world, whether they are young or old – agree on what makes a good online dictionary. And these are the characteristics that have been making good reference works for centuries: being a reliable resource, and a clearly presented and understandable tool, which is kept as up to date as possible. So it is not necessarily the case that a user-friendly dictionary must be a flexible (De Schryver, 2003, p. 182) or a fast one (Almind, 2005, p. 39; Bergenholtz, 2011). Our empirical data show a different focus. Does this mean that these classic features are only important for digital dictionaries, and that innovative features, even though they just use the possibilities of the new medium and have a high appeal, are unimportant? This conclusion we would draw only partially: while innovative features were rated as unimportant in our first study, we were able to show in an experiment in our second study that one reason for this assessment is that participants are not yet familiar with enough examples to appreciate such features. Also, the fact that these features are still hardly ever used should not prevent lexicographers from developing further innovative elements, but they should try to gradually convince users of the quality and usability of these features. Finally, we would like to take up another thesis: Engelberg makes a distinction between language-use-oriented and language-knowledge-oriented dictionaries.18 || 18 „Um die Konsequenzen dieser Veränderungen für die Lexikographie einschätzen zu können, ist es nützlich, zwei grundlegende Typen der Benutzung von Wörterbüchern zu unterscheiden. Zum einen sollen Wörterbücher uns helfen, bestimmte sprachliche Probleme in konkreten Kommunikationssituationen zu lösen. Sie sollen uns die Bedeutung eines fremdsprachigen Wortes erklären, einen Ausdruck bei der Textproduktion finden helfen oder die Richtigkeit einer Schreibung bestätigen. Wörterbücher dienen hier der Überwindung von Problemen bei der Sprachverwendung. Zum anderen werden Wörterbücher dazu konsultiert, unabhängig von kommunikativen Problemen Wissen über Sprache zu erlangen. Sie beantworten Fragen nach der Wortgeschichte, nach Sprachkontaktphänomenen oder nach semantischen Zusammenhängen im Wortschatz. In diesem Sinne will ich hier zwischen sprachverwendungs- und sprachwissensorientierter Lexikographie unterscheiden.“ (Engelberg, forthcoming)

Online dictionaries: expectations and demands | 185

This distinction can be compared with Tarp’s distinction between communicative and cognitive usage situations (Tarp, 2008). Engelberg's thesis is that language-useoriented lexicography is increasingly disappearing or is becoming more and more different from what we currently call dictionaries, i. e. that they are integrated into automated translation or word processing programs, etc., and are no longer seen as a separate resource.19 Similarly, Rundell notes: ”It is already clear that the dictionary is moving from its current incarnation as autonomous ‘product’ to something more like a ‘service’, often embedded in other resources.” (Rundell, 2012, p. 29)

However, Engelberg ascribes an important role in the future to languageknowledge-oriented lexicography in its own right, one where an important impetus could come from linguistics. For the future, it would be interesting to investigate whether – if this clear distinction between dictionaries for cognitive vs. for communicative situations really develops – differences would show which characteristics are particularly important for which types of lexicographical tool. The following assumption could be made for the future: for the lexicographical resources that are integrated into other programs, be they word processing programs or similar, these characteristics are only partially valid because the lexicographic resources therein are not perceived as independent products. For these products, it is more the overall product which is assessed (i.e. the word processing or translation program as a whole) and the assessment of the underlying lexicographic data is not based so much on the tradition of how dictionaries are judged. In lexicography, which is intended for cognitive usage situations, this could look different. It became clear not only in the questions about characteristics of good online dictionaries, but also at other points in our studies that our participants appreciate the classic features of a reference work. There were participants, for example, who in answer to an openended question on contexts of dictionary use (cf. Müller-Spitzer: Contexts of dictionary use, this volume) said that they consult dictionaries for settling linguistic discussions; a clear language-knowledge oriented usage situation in which the dictionary was used as a reliable authority. For this cognitive-oriented lexicography, it can be assumed – or at least our data can be interpreted in this way – that these dictionaries should not be separated from the tradition that has been making good dictionaries for centuries, since the task of online dictionaries is not materially different from that of printed dictionaries. It must therefore be very clearly worked out what the core is that should be not discarded but also, by contrast, which media-

|| 19 „Aber wie auch immer die Zukunft der sprachverwendungsorientierten Lexikographie aussieht, es deutet sich doch eines an: Letztlich werden wir keine Wörterbücher mehr konsultieren, sondern die Wörterbücher werden uns konsultieren und uns unauffällig und situationsgerecht ihre Dienste anbieten.“ (Engelberg, forthcoming)

186 | Carolin Müller-Spitzer, Alexander Koplenig

bound traditions should be given up, because particular conventions of representation were inadequate in the first place; as Rundell points out (Rundell, 2012, p. 16): “The printed book has many limitations and is far from adequate as a medium for dictionaries”.

To summarize, just as in any other domain, innovations in lexicography need time, both to spread and to be developed. This is supported by our data, although the outcome of this development is very open at the moment. “We are still in the middle of all these changes, and there is much more to do and much more to learn.” (Rundell, 2012, p. 18)

Bibliography Almind, R. (2005). Designing Internet Dictionaries. Hermes. Journal of Language and Communication Studies, 34, 37–54. Asmussen, J. (forthcoming). Combined products: Dictionary and corpus. In R. H. Gouws, U. Heid, W. Schweickard, & H. E. Wiegand (Eds.), Dictionaries. An international encyclopedia of lexicography. Supplementary volume: Recent Developments with Focus on Electronic and Computational Lexicography. Berlin/New York: de Gruyter. Atkins, B. T. S. (1992). Putting lexicography on the professional map. Training needs and qualifications of lexicographers. In M. A. Ezquerra (Ed.), Proceedings of the Euralex ’90 (pp. 519–526). Barcelona. Retrieved from http://www.euralex.org/elx_proceedings/Euralex1990/055_B.%20T.%20Sue%20Atkins%20Puttingl%20exicography%20on%20the%20professional%20map.pdf Atkins, B. T. S. (2002). Bilingual Dictionaries. Past, Present and Future. In M.-H. Corréard (Ed.), Lexicography and Natural Language Processing. A Festschrift in Honour of B.T.S. Atkins (pp. 1– 29). Stuttgart: Euralex. Bergenholtz, H. (2011). Access to and Presentation of Needs-Adapted Data in Monofunctional Internet Dictionaries. In H. Bergenholtz & Fuertes-Olivera (Eds.), (pp. 30–53). London/New York: Continuum. Bergenholtz, H., & Bergenholtz, I. (2011). A Dictionary Is a Tool, a Good Dictionary Is a Monofunctional Tool. In H. Bergenholtz & P. A. Fuertes-Olivera (Eds.), e-Lexicography. The Internet, Digital Initiatives and Lexicography (pp. 187–207). London/New York: Continuum. Bothma, T. J. D., Faaß, G., Heid, U., & Prinsloo, D. J. (2011). Interactive, dynamic electronic dictionaries for text production. In I. Kosem & K. Kosem (Eds.), Electronic lexicography in the 21st Century: New Applications for New Users. Proceedings of eLex2011, Bled, Slowenien, 10 – 12 November 2011 (pp. 215–220). Ljubljana: Trojina, Institute for Applied Slovene Studies. Retrieved from http://www.trojina.si/elex2011/Vsebine/proceedings/eLex2011-29.pdf Bowker, L. (2012). Meeting the needs of translators in the age of e-lexicography: Exploring the possibilities. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 379–397). Oxford: Oxford University Press. Busane, M. (1990). Lexicography in Central Africa: the User Perspective, with Special Reference to Zaїre. In Lexicography in Africa. Progress Reports from the Dictionary Research centre Workshop in Exeter, 24–25 March 1989 (pp. 19–35). Exeter: University of Exeter Press.

Online dictionaries: expectations and demands | 187

De Schryver, G.-M. (2003). Lexicographers’ Dreams in the Electronic-Dictionary Age. International Journal of Lexicography, 16(2), 143–199. De Schryver, G.-M., & Joffe, D. (2004). On How Electronic Dictionaries are Really Used. In G. Williams & S. Vessier (Eds.), Proceedings of the Eleventh EURALEX International Congress, Lorient, France, July 6th–10th (pp. 187–196). Lorient: Université de Bretagne Sud. De Schryver, G.-M., & Prinsloo, D. J. (2001). Fuzzy SF: Towards the ultimate customised dictionary, 11(1), 97–111. Dziemanko, A. (2012). On the use(fulness) of paper and electronic dictionaries. In Electronic lexicography (pp. 320–341). Oxford: Oxford University Press. Engelberg, S. (forthcoming). Gegenwart und Zukunft der Abteilung Lexik am IDS: Plädoyer für eine Lexikographie der Sprachdynamik. In 50 Jahre IDS. Faber, P., Araúz, P. L., Velasco, J. A. P., & Reimerink, A. (2007). Linking Images and Words: the description of specialized concepts, 20(1), 39–65. Granger, S. (2012). Introduction: Electronic lexicography - from challenge to opportunity. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 1–11). Oxford: Oxford University Press. Hanks, P. (2012). Corpus evidence and electronic lexicography. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 57–82). Oxford: Oxford University Press. Jackson, K. M., & Trochim, W. M. K. (2002). Concept Mapping as an Alternative approach for the analysis of Open-Ended Survey Responses, 5(4), 307–336. Kemmer, K. (forthcoming). Illustrationen im Onlinewörterbuch (Dissertation). Kemmer, K. (2010). Onlinewörterbücher in der Wörterbuchkritik. Ein Evaluationsraster mit 39 Beurteilungskriterien, 2, 1–33. Kirkpatrick, B. (1989). User’s Guides in Dictionaries. In F. J. Hausmann, O. Reichmann, H. E. Wiegand, & L. Zgusta (Eds.), Wörterbücher – Dictionaries – Dictionnairees. Ein Internationales Handbuch zur Lexikographie (Vol. 5.1, pp. 754–761). Berlin/New York: de Gruyter. Klosa, A. (2009). Außentexte in elektronischen Wörterbüchern. In E. Beijk (Ed.), Fons verborum : feestbundel voor prof. dr. A. M. F. J. (Fons) Moerdijk, aangeboden door vrienden en collegas bij zijn afscheid van het Instituut voor Nederlandse Lexikologie (pp. 49–60). Amsterdam: Gopher BV. Kwary, D. A. (2010). From Language-Orientes to User-Oriented Electronic Dictionaries: A Case Study of an English Dictionary of Finance for Indonesian Students. In A. Dykstra & T. Schoonheim (Eds.), XIV EURALEX International Congress (pp. 1112–1120). Leeuwarden/Ljouwert. Lemnitzer, L. (2001). Das Internet als Medium für die Wörterbuchbenutzungsforschung. In I. Lemberg, B. Schröder, & A. Storrer (Eds.), Chancen und Perspektiven computergestützer Lexikographie. Hypertext, Internet und SGML/XML für die Produktion und Publikation digitaler Wörterbücher (pp. 247–254). Tübingen: Max Niemeyer Verlag. Lew, R. (2011). User studies: Opportunities and limitations. In K. Akasu & U. Satoru (Eds.), ASIALEX2011 Proceedings Lexicography: Theoretical and practical perspectives (pp. 7–16). Kyoto: Asian Association for Lexicography. Lew, R. (2012). How can we make electronic dictionaries more effective? In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 343–361). Oxford: Oxford University Press. Lew, R., & Doroszewska, J. (2009). Electronic dictionary entries with animated pictures: Lookup preferences and word retention. International Journal of Lexicography, 22(3), 239–257. Meyer, C. M., & Gurevych, I. (2012). Wiktionary: A new rival for expert-built lexicons? Exploring the possibilities of collaborative lexicography. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 259–291). Oxford: Oxford University Press. Müller-Spitzer, C. (2003). Ordnende Betrachtungen zu elektronischen Wörterbüchern und lexikographischen Prozessen, 19, 140–168.

188 | Carolin Müller-Spitzer, Alexander Koplenig

Müller-Spitzer, C. (2008). Research on Dictionary Use and the Development of User-Adapted Views. In A. Storrer, A. Geyken, A. Siebert, & K.-M. Würzner (Eds.), Text Resources and Lexical Knowledge Selected Papers from the 9th Conference on Natural Language Processing KONVENS 2008 (pp. 223–238). Berlin: de Gruyter. Nesi, H. (2012). Alternative e-dictionaries: Uncovering dark practices. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 363–378). Oxford: Oxford University Press. Paquot, M. (2012). The LEAD dictionary-cum-writing aid: An integrated dictionary and corpus tool. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 163–185). Oxford: Oxford University Press. Pulitano, D. (2003). Ein Evaluationsraster für elektronische Wörterbücher. Lebende Sprachen, 48(2), 49–59. Rundell, M. (2012). The road to automated lexicography: An editor’s viewpoint. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 15–30). Oxford: Oxford University Press. Sharifi, S. (2012). General Monolingual Persian Dictionaries and Their Users: A Case Study. In J. M. Torjusen & R. V. Fjeld (Eds.), Proceedings of the 15th EURALEX International Congress 2012, Oslo, Norway, 7 - 11 August 2012 (pp. 626–639). Oslo: Universitetet i Oslo, Institutt for lingvistiske og nordiske studier. Retrieved from http://www.euralex.org/elx_proceedings/Euralex2012/pp626-639%20Sharifi.pdf Storrer, A. (2001). Digitale Wörterbücher als Hypertexte: Zur Nutzung des Hypertextkonzepts in der Lexikographie. In I. Lemberg, B. Schröder, & A. Storrer (Eds.), Chancen und Perspektiven computergestützer Lexikographie. Hypertext, Internet und SGML/XML für die Produktion und Publikation digitaler Wörterbücher (Vol. 107, pp. 53–69). Tübingen: Niemeyer. Tarp, S. (2008). Lexicography in the borderland between knowledge and non-knowledge: general lexicographical theory with particular focus on learner’s lexicography. Walter de Gruyter. Tarp, Sven. (2011). Lexicographical and Other e-Tools for Consultation Purposes: Towards the Individualization of Needs Satisfaction. In H. Bergenholtz & P. A. Fuertes-Olivera (Eds.), eLexicography. The Internet, Digital Initiatives and Lexicography (pp. 54–70). London/New York: Continuum. Trap-Jensen, L. (2010). One, Two, Many: Customization and User Profiles in Internet Dictionaries. In A. Dykstra & T. Schoonheim (Eds.), XIV EURALEX International Congress (pp. 1133–1143). Leeuwarden/Ljouwert. Varantola, K. (1994). The dictionary user as decision-maker. In W. Martin, W. Meijs, M. Moerland, ten E. Pas, van P. Sterkenburg, & P. Vossen (Eds.), VI EURALEX International Congress (pp. 606–611). Amsterdam. Varantola, K. (2002). Use and Usability of Dictionaries: Common Sense and Context Sensibility? In M. H. Corréard (Ed.), Lexicography and Natural Language Processing. A Festschrift in Honour of B. S. T. Atkins (pp. 30–44). Stuttgart: Euralex. Verlinde, S., & Binon, J. (2010). Monitoring Dictionary Use in the Electronic Age. In A. Dykstra & T. Schoonheim (Eds.), XIV EURALEX International Congress (pp. 321–326). Leeuwarden/Ljouwert. Verlinde, S., Leroyer, P., & Binon, J. (2010). Search and you will find. From stand-alone lexicographic tools to user driven task and problem-oriented multifunctional leximats. International Journal of Lexicography, 23(1), 1–17. Verlinde, S., & Peeters, G. (2012). Data access revisited: The Interactive Language Toolbox. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 147–162). Oxford: Oxford University Press.

Alexander Koplenig, Carolin Müller-Spitzer

Questions of design Abstract: All lexicographers working on online dictionary projects that do not wish to use an established form of design for their online dictionary, or simply have new kinds of lexicographic data to present, face the problem of what kind of arrangement is best suited for the intended users of the dictionary. In this chapter, we present data about questions relating to the design of online dictionaries. This will provide projects that use these or similar ways of presenting their lexicographic data with valuable information about how potential dictionary users assess and evaluate them. In addition, the answers to corresponding open-ended questions show, detached from concrete design models, which criteria potential users value in a good online representation. Clarity and an uncluttered look seem to dominate in many answers, as well as the possibility of customization, if the latter is not connected with a too complex usability model. Keywords: screen layout, clarity, usability, adaptability

| Carolin Müller-Spitzer: Institut für Deutsche Sprache, R 5, 6-13, 68161 Mannheim, +49-(0)621-1581429, [email protected] Alexander Koplenig: Institut für Deutsche Sprache, R 5, 6-13, 68161 Mannheim, +49-(0)621-1581435, [email protected]

1 Introduction “The challenge […] is to try to assess which particular e-lexicographic solutions work best (and for whom, and under what circumstances), so that future electronic dictionaries can be made more effective than their paper predecessors, and more effective than the dictionaries available today.” (Lew, 2012, p. 344)

Tarp developed four categories of digital dictionary “in terms of both their present situation and their future possibilities” (Tarp, 2011, p. 58) in analogy to the famous quote which is assigned to Henry T. Ford:1 In his opinion, almost all actual online dictionaries belong to the “faster horses” category, because they do not use the full range of possibilities of the digital medium.

|| 1 See http://quoteinvestigator.com/2011/07/28/ford-faster-horse/ for a discussion of whether this attribution is correct (last accessed 13 July 2013).

190 | Alexander Koplenig, Carolin Müller-Spitzer

“More than 99 per cent of all lexicographical works on electronic platforms are probably Faster horses of this kind, which shows that lexicography has still a long way to go until it has fully adapted to the new technologies.” (Tarp, 2011, p. 60)

Tarp qualifies all digital dictionaries as faster horses which are presented in a very similar way to printed dictionaries. However, a quick glance at some contemporary electronic dictionaries reveals that there are already clear differences between online dictionaries and printed ones in more than 1% of cases. Instead of arranging the dictionary entries unidimensionally using compressions and common abbreviations typical of conventional printed dictionaries, alternative ways of presenting word entries in online dictionaries can be and are already being used (cf. Lew, 2012). However, there has so far been little empirical research into the basic design of dictionaries. One exception is Tono (Tono, 2000) who tested the usefulness of three interfaces (i.e. traditional, parallel, layered) against paper dictionary (control) conditions (cf. also Dziemanko, 2012, p. 328). There are also some studies on quite a specific question relating to the design of dictionary entries, namely the use of socalled sign-posts or menus, i.e. special guiding elements for identifying word senses in a polysemous entry (Lew & Tokarek, 2010; Lew, 2010; Nesi & Tan, 2011), in one case with the aid of eye-tracking procedures (Tono, 2011). Therefore, lexicographers who do not wish to choose an established form of presentation, or simply have to present new kinds of data, face the problem of what kind of arrangement is best suited for the intended users of the dictionary. On the question of how to arrange thesaurus data in a dictionary, Trap-Jensen and Lorentzen (Trap-Jensen & Lorentzen, 2011, pp. 177–178) argue that: “This organization also reflects the editor’s way of organizing the thematic group. There has, however, been heated discussion among the editors whether this is also the best way of presenting data.”

A similar question has also been debated in relation to elexiko, an online academic monolingual dictionary for German (cf. Klosa et al., this volume). In elexiko, the entries consist of a large spectrum of microstructural items. Thus it did not seem to be a feasible option to arrange the items one below the other on the website; it seemed better to allocate them appropriately over the screen or different screens. So in the end, the final decision for a design was just based on a discussion within the project because there were no relevant empirical studies. In elexiko, a tab presentation was chosen, which allows selective switching between different components, and where different groups of items are distributed to different pages. On the one hand, the potential advantage of this design strategy is a greater amount of clarity. On the other hand, the disadvantage is that a quick overview of the entire entry is not possible. Therefore, this leads to the atomization of linguistic relations, a problem which some view as critical in dictionaries generally:

Questions of design | 191

“Typically, the particularised presentation of lexical data in semasiological dictionaries, i.e. the individualised access to each lemma entry, does not bring the systematic nature of such phenomena to the fore, but rather obscures it by distributing the members of the set across the whole macrostructure. For some dictionary use situations, this is not a major issue, and some lexicographers counterbalance this effect by including systematic morphological or syntactic overview tables (inflection paradigms, inventories of closed class items, subcategorisation tables, etc.) into their dictionaries, for example as outer texts, in an appendix or in a dictionary grammar […].” (Bothma, Faaß, Heid, & Prinsloo, 2011, p. 297)

This atomization may be a drawback of the tab view, but the requirement not to overload the screen by providing an adequate, easy-to-read basic design is fulfilled. As this example illustrates, it is not possible to achieve all desired properties with one basic design; usually each design has its particular advantages and disadvantages. Therefore, the interesting issue is what aspects potential dictionary users highlight as positive or negative in different approaches to screen designs. One question is whether the clarity of the design is considered to be essential, or if it is more important to be able to see as much information as possible at a glance. This also raises the question of whether – as is pointed out in the quote from Lew – different user groups make different evaluations. A hypothesis that might be put forward for testing is, for example, that translators, who are usually under severe time pressure (cf. Bowker, 2012), prefer to have a quick overview with the entire entry presented on one screen instead of a very widely distributed view. So, the provision of empirical data could help those working on lexicographical projects to reach various decisions in this context. In this chapter, we present our evaluation of the question of how to arrange an entry with a detailed microstructure which is divided between different screens or different parts of a screen, again using a survey design, since this problem is difficult to address using log file analyses alone. To do so, we selected four prototypical ways of presenting word entries for academic dictionaries. We chose this type of dictionary both because these dictionaries are especially affected by the question of how to present word entries, and because there are no studies on the layout of this kind of dictionary, except for Bank (2010, 2012), which is, however, more focused on the usability of the dictionaries than on questions of design. Therefore, we were interested not only in the assessment of individual views, but also, and in particular, in the reasons for this assessment. As a result, more general conclusions can be drawn about important aspects of design. Since this issue was only one among a number of others in the second questionnaire (cf. Koplenig/Müller-Spitzer: First two international studies, this volume), participants only had 10 minutes to complete this section, so we could not go into more detail.

192 | Alexander Koplenig, Carolin Müller-Spitzer

2 Method In one set of questions, respondents to our second study were asked to rate different basic alternative ways of presenting word entries in an online dictionary and to decide which they preferred. All alternatives included in the survey illustrated the same word entry (“summer”) covering (as far as possible) identical content. All alternatives except the last one were implemented using JAVA script.2 Thus, the participants could interactively navigate their way through the content of the word entry. The first alternative is an adaption of the well-known Microsoft Windows EXPLORER VIEW (cf. Figure 1). In this layout, the word entry is structured as a tree. The user can change the displayed information by expanding (with a click on the plus sign) or collapsing (with a click on the minus sign) different parts of the nodes. Two examples of online dictionaries that use this kind of layout are the Danish dictionary ‘Den danske Ordbog’3 and the ‘Algemeen Nederlands Woordenboek’,4 an online dictionary of contemporary Dutch.

Fig. 1: Explorer view.

The second layout is structured as a table, with different modules of information. The Digital Dictionary of the German Language (DWDS)5 uses a screen layout that allows the user to select between multiple panels. (However, in the case of the DWDS, the different panels do not consist of different parts of one word entry as in our example, but of additional information about an entry, such as corpus samples etc.) This view is called the PANEL VIEW (cf. Figure 2).

|| 2 We thank our colleague Peter Meyer for preparing the relevant scripts. 3 http://ordnet.dk/ddo (last accessed 13 July 2013). 4 http://anw.inl.nl/ (last accessed 13 July 2013). 5 http://www.dwds.de (last accessed 13 July 2013).

Questions of design | 193

Fig. 2: Panel view.

The third alternative way of presenting word entries is the so-called TAB VIEW (cf. Figure 3), which allows selective switching between different components (‘tabs’) of the word entry. This layout structure is used in elexiko,6 a monolingual German dictionary and ‘ELDIT’,7 an electronic learners’ dictionary for German and Italian.

Fig. 3: Tab view.

|| 6 http://www.elexiko.de (last accessed 13 July 2013). 7 http://www.eurac.edu/eldit (last accessed 13 July 2013).

194 | Alexander Koplenig, Carolin Müller-Spitzer

The last alternative we presented was a PRINT-oriented version of the entry (cf. Figure 4), since there are still some online dictionaries which closely resemble their printed counterparts, e.g. the French online dictionary TLFi.8

Fig. 4: Print view.

The procedure was as follows. First, every respondent was shown the four alternative views one after another. The alternatives were randomly selected to avoid any order effects. After the respondents had had the opportunity to have a look and try out each alternative, they were asked to rate all four types of presentation with respect to the following characteristics, using 7-point Likert scales: Quality (1 = not good, 7 = very good); Arrangement (1 = not well arranged, 7 = very well arranged); Comprehensibility (1 = not comprehensible, 7 = very comprehensible). After that, the participants were asked to rank the options according to their preference. The best type of presentation was ranked first, while the type of presentation the respondent liked second best was ranked second, etc. When the respondents had finished the ranking task, they were shown the view they had rated best and asked what they particularly liked about it in an open-ended question. To identify potential user group differences, we used similar background variables to those in the last section: academic and professional background and the language version of the survey.

3 Results 3.1 Descriptive results All the ratings of all four alternatives were averaged to form a reliable scale of ratings, with higher values indicating higher ratings.9 Table 1 summarizes the average

|| 8 http://atilf.atilf.fr/ (last accessed 13 July 2013).

Questions of design | 195

ratings and first rank percentages for each alternative way of presenting word entries. Alternative Mean-ratinga SD First rank percentage TAB VIEW 5.43 1.39 42.82 PANEL VIEW 5.15 1.46 32.82 EXPLORER VIEW 4.93 1.44 17.69 PRINT VIEW 3.36 1.55 6.67 a All means are significantly different from each other as indicated by separate t-tests (ps < .05). Tab. 1: Means and standard deviations of the ratings and first rank percentages for each tested view.

The TAB VIEW was both rated best and chosen as the best view most often. Although the PANEL VIEW and the EXPLORER VIEW received somewhat lower, but still high ratings, they were chosen less often as the favourite view. The PRINT VIEW was rated worst, as well as chosen least often as the best view.

3.2 Subgroup analyses To analyze potential group differences, we conducted several Χ² difference tests. Neither language version (cf. Table 2),10 nor academic background11 are significant predictors of preference for a screen format. However, there is a significant relationship between professional background and preferred view (cf. Table 3):12 nontranslators strongly prefer the tab view – roughly one out of two non-translators prefers this way of presenting word entries. Most translators prefer the panel view (37.41%), although almost as many respondents in this group choose the tab view (34.69%).

|| 9 To test for reliability we used Cronbach’s alpha. All the coefficients were above .89, indicating that the scales have a strong internal consistency. However, we only compared the percentage of first rank preferences, since it does not seem meaningful to compute means and standard deviations of a ranking of four items. 10 Χ²(3) = 4.20, p = .24. 11 Χ²(3) = 3.08, p = .38. 12 Χ²(3) = 6.38, p < .10.

196 | Alexander Koplenig, Carolin Müller-Spitzer

6.7% 17.7% 42.8%

32.8%

Tab Matrix Explorer Print

Fig. 5: Pie chart of the view rated best.

First rank TAB VIEW PANEL VIEW EXPLORER VIEW PRINT VIEW

Language Version German 38.24 36.76 18.14 6.86

English 47.85 28.49 17.20 6.45

Total 42.82 32.82 17.69 6.67

Tab. 2: Percentage of first ranks as a function of language version.

First rank TAB VIEW PANEL VIEW EXPLORER VIEW PRINT VIEW

Professional background Non-translator 47.74 30.04 16.05 6.17

Translator 34.69 37.41 20.41 7.48

Total 42.82 32.82 17.69 6.67

Tab. 3: Percentage of first ranks as a function of professional background.

As an interim conclusion, two things can be said: firstly, the tab view is – on average – the favourite; secondly, the subgroup analyses do not paint a clear picture, with the possible exception that translators seem to prefer the panel view.

Questions of design | 197

3.3 Analysis of the open-ended responses To explain why respondents preferred one type of presentation over the others, we manually inspected the answers to the open-ended question (“This is the view you rated best. What do you particularly like about it?”). Here, some participants justified their selection in some detail, as well as in other parts of our studies it became obvious that the willingness to answer open-ended questions was higher than expected (cf. Müller-Spitzer: Contexts of dictionary use, this volume). To illustrate this, 2-3 complete typical responses for each type of view are listed below. For example, participants gave the following reasons for preferring the tab view: – Clear simple view for me to look at. I can easily see that there are other types of information available to me besides the tab I’m on, but I don’t actually have to navigate through them unless they’re what I’m looking for. – I like that it doesn’t force the user to scroll down like the one with the -/+ does. It’s clearly separated, but easy to view the other features. The one thing that I would change is have the definition always visible just under the word. Then the Grammar, Sense Relations, and Typical Contexts are visible just underneath for the user to click and still see the definition just above. Two participants cite the following reasons for preferring the panel view: – Everything is available, in a consistent place on the page. After a few words you know where to look every time, but you dont have to click to see anything, and you dont have to read continuous text to jump to the information you seek. – gives the sense of overview as well as the benefit of detail; does not require further investigation of how the user interface works; immediacy of content; presents information that otherwise the user might not have known to consider. Regarding the explorer view, the possibility of easily gaining an overview was highlighted: – It’s (presumably) possible to see the information I want without too much noise (and hopefully without too much clicking on the + signs as well). Good to have a structured overview without having to read the whole screen or having the necessary information on separate tabs with no way to see it all together. – That you are able to only view the information you want to view (no information overload). It’s clearly marked so you know what your options are and it’s easy to open and close sections (but also easy to see them all at once if you want). Inter alia, the following reasons were mentioned for choosing the print view: – All the information is available, and users dont have to know the names of categories, such as paraphrasing, parts of speech, etc. The definition is clear and

198 | Alexander Koplenig, Carolin Müller-Spitzer

–

–

visible, as is everything else. It looks like a print dictionary entry, which is also nice. Compact in the field of view. Quickly scannable for all the available information. Once the format it understood, can be quickly scanned for location of given types of related information. It is what I am used to. I am a power user, a professional writer, and I am 66, so I am fixed in my ways. Category

Examples

Clarity

easy to read clearly separated uncluttered

No need to click

no clicking involved no need to click on anything all information can be accessed without clicking through the links doesn’t force the user to scroll no need to scroll simple not too much information at once concise easy to navigate easy to use comprehensible stylish visually appealing large buttons functional intuitive consistent it is possible to select only the information required adaptability of dictionary contents; I can choose information unnecessary for me is not shown without sacrificing information to brevity hierarchical like the one I am used to similar to other applications consistent with web browser formatting quick, open view presents all the data quickly does not take up traffic if used on a mobile phone

No need to scroll No information overload

Navigation

Look & Feel

Efficiency

Adaptability/Selectivity Essential Information

Familiarity

Quickness

Others Don’t know/no answer Tab. 4: Coding scheme used to categorize the open-ended question.

Questions of design | 199

Category

Preferred alternative of presentation TAB PANEL EXPLOPRINT

Total

Χ² / p-valuea

RER

Clarity No need to click Navigation Adaptability/Selectivity No information overload Essential information Efficiency Look & Feel

63.64a 5.45 36.12 32.12 24.24

55.12 76.38 29.13 3.94 8.66

56.06 16.67 25.76 56.06 16.70

28.00 16.00 16.00 8.00 28.00

57.18 31.59 40.81 25.33 18.54

11.76 / 0.10 179.64 / 0.00 5.92 / 1.00 71.68 / 0.00 13.30 / 0.05

12.73 10.30 12.73

12.60 11.02 4.72

22.73 9.09 7.58

4.00 12.00 16.00

13.84 10.44 9.40

6.74 / 0.97 0.24 / 1.00 6.94 / 0 .89 49.28 / 0.00 1.67 / 1.00 2.88 / 1.00 2.00 / 1.00

Familiarity 12.12 0.79 1.52 40.00 8.36 Quickness 5.45 6.30 7.58 12.00 6.53 Others 3.03 3.15 0.00 0.00 2.35 No need to scroll 1.82 0.79 0.00 0.00 1.04 Total 220.00 212.60 222.73 180.00 215.40 a The three most frequently mentioned categories for each alternative in bold. b P values are Bonferroni adjusted.

Tab. 5: Reason for preference (percentages) as a function of chosen alternative of presentation.

To make this data analyzable, several categories were created in a bottom-up process in order to summarize recurring arguments. Then, the data were coded according to the method of structuring (Diekmann, 2010, pp. 608–613; Mayring, 2011). Table 4 presents the developed categories and provides excerpts of typical answers for each category. In Table 4, the frequency distributions of the categories for each alternative are displayed. The three most frequently mentioned categories for each alternative are highlighted. All alternatives are preferred for being clear, as ‘Clarity’ is the most mentioned criterion overall (57.18%), especially by respondents who favour the tab view (63.64%). Compared to the panel view (3.94%) and the print view (8.00%), both the tab view (32.12%) and the explorer view (56.06%) stand out for being adaptable to the preferences of the user. This difference is highly significant.13 A user interface that is easy to navigate also seems to be an important factor in the decision, for respondents who chose the tab view (36.12%), those who chose the panel view (29.13%), and those who chose the explorer view (25.76%). In relation to the three other ways of presenting word entries, the panel view (76.38%) is preferred because it allows the user to access all information without clicking.14 Unsurprising-

|| 13 Χ²(3) = 71.68, p < .00. 14 Χ²(3) = 179.64, p < .00.

200 | Alexander Koplenig, Carolin Müller-Spitzer

ly, the print view is mostly chosen for being familiar (40.00%). The contrast to the other three alternatives is highly significant (cf. Table 5).15

4 Discussion Our analyses show that most of our respondents tended to prefer the tab view. Potential group differences in this context only seem to play a minor role. Further analyses (not reported here) reveal that neither command of German (in the German-language version)/command of English (in the English-language version), nor linguistic background, nor age of participants affect the outcome: in almost every subgroup, the tab view receives the most first-place votes. The analyses of the openended responses show that the respondents like this way of presenting word entries because it is clear, easy to navigate, and adaptable. One exception is translators, as shown above. Thus, the initial hypothesis that translators may prefer a view that provides all the data at a glance can be considered as confirmed. At the same time, however, the differences are quite small, so the significance of this result should not be overestimated. It is not possible to conclude from the data that the tab view is preferred in actual situations of dictionary use, because e. g. the disadvantage of the lack of overview does not apply in the same way in the questionnaire situation as in an actual dictionary consultation. Rather, it is an assessment of the helpfulness of the basic design which was evaluated here. However, the responses to the open-ended question clearly show that the main advantages and disadvantages were also clear to our participants in the study context. For example, a recurring argument for choosing the panel view is that it is possible to see everything at once, such as in the following answer: – The information is well-ordered. All sections of the entry can be viewed either simultaneously or separately (which is what the view with tabs cannot do). Similarly, someone who has decided on the tab view writes: – most intuitive online - can have as clear a page as you want. Unlikely to be comparing the different tabs at the same time, takes few clicks to navigate around. In the following response, criticisms of the tab view are even complemented by suggestions for improvement: – “Although it hides some information, and requires excess clicking, the uncluttered, tabular interface helps focus your attention on the details you are looking || 15 Χ²(3) = 49.28, p < .00.

Questions of design | 201

for. If this were paired with a customizable search that brought you to the tab corresponding most to what youre searching for (e.g. "dog" sense relations —> sense relations tab for entry "dog"), this would be fantastic.“ In addition, comparisons between the different views are drawn which show that many basic characteristics were also evident in the questionnaire situation: – “That all the relevant information is on one page, immediately visible without further clicking. The two-dimensional arrangement without any visible boxes is somewhat irritating and the categorization of the examples is missing, which is a pity. The tree structure was OK, but having to explicitly open not only the first, but also the second level was a bit much. The article in print dictionary style would have been fine, too, if line breaks and paragraphs were inserted, the abbreviations spelled out, and all information from, for example, the tabbed version available. In this tabbed version you always have to click back and forth, and are never able to see the data side by side.” It could be objected that this high rating of the tab view could be the result of a social desirability bias. It is commonly known that respondents tend to present themselves in a favourable light (Diekmann, 2002, pp. 382–386). Since our project is closely related to elexiko and this online dictionary uses the tab structure, respondents might have claimed to prefer the tab view, because they assumed that we would be impressed by this decision. However, this objection does not hold, because of the following two points: as mentioned above, there is no significant relationship between the language version of the survey and the preference distribution. Due to the fact that elexiko is a German monolingual online dictionary, it is rather unlikely that respondents in the English-language version from all over the world would prefer the tab view as a result of a social desirability effect, because additionally we know from our third survey (German-language version only) that elexiko is only known by 21.46% of German-speaking respondents (cf. Klosa et al., section 2.4, this volume). The analysis of the open-ended question shows very clearly the reasons for the preferences. Surprisingly, adaptivity is a very frequently cited criterion. This came as a surprise because this criterion was evaluated as very unimportant as a characteristic of good online dictionaries. One possible explanation, we assume, is the fact that respondents are not used to online dictionaries incorporating those features. Thus, participants currently have no basis on which to judge their potential usefulness. We confirmed this assumption in an experiment incorporated into our second survey. (cf. Müller-Spitzer/Koplenig: Expectations and demands, section 2 and 4, this volume). It was shown in the experiment that respondents who were first presented with examples of possible innovative features of online dictionaries judged adaptability and multimedia to be more useful than participants who did not have this information. A similar phenomenon may also be observed here: as soon as sub-

202 | Alexander Koplenig, Carolin Müller-Spitzer

jects see the different ways in which entries can be presented, they see the possibility of an adaptive adjustment as an advantage. It is less surprising that the criterion of clarity is often found to be important. This coincides with the general results on the characteristics of good online dictionaries from our first study. However, the range of what is considered to be clear is very wide. What participants write on that topic can by no means be regarded as an argument for monofunctional dictionaries, as proposed for example by Bergenholtz and Bergenholtz (2011; Bergenholtz & Bothma, 2011, pp. 54–57; Bergenholtz, 2011, p. 53), since one aspect of clarity is that the presentation should not be overloaded, but also that it should be possible to see a variety of data at a glance: – I like to see everything at once, but I like it separated into categories. – It has everything clearly presented. I dont have to keep clicking on more options to find out more info. It’s all right there. Also, it appears in the context of a user-adaptive interface that any kind of profilechoosing is regarded as particularly problematic. As an example: – please do not make the user have to select a whole bunch of things before getting to the dictionary entry. This would be a fatal choice and make the dictionary annoying and difficult to use. People would choose to use a dictionary, which is qualitativ worse but easier to use over the one where you have to fill in a whole bunch of baloney before you use it! People want answers fast! And then they want to play around with them. We are not all scientists who search for information systematically. This is also a counterpoint argument against the theoretically convincing idea of a decision tree which provides only the information someone needs in a particular usage situation (Bothma et al., 2011, pp. 308–309). All these ideas reward the user at the end with a (in the best case) perfectly matching dictionary entry, but it is a long way to go. One has to wonder whether users are willing to jump this hurdle, though a necessary login keeps some users from using a dictionary (cf. Bank, 2012, pp. 356– 57).

5 Conclusion The empirical data on questions of design presented here provide projects that use the above or similar forms of presentation for their lexicographic data with valuable information about how potential dictionary users assess and evaluate them. In addition, the answers to the open-ended question show, detached from concrete design models, which criteria potential users particularly value in a good online representation. Clarity and an uncluttered look seem to dominate in many answers as well as

Questions of design | 203

the possibility of customization, if the latter is not connected with a too complex usability model. One important, recurring issue is the intuitive usability of an online dictionary. This also applies to other areas, as an interview with Rüdiger Grube, CEO of Deutsche Bahn AG, shows. When asked about predictions for the future of travel behaviour, he answers: ‘If there is something about the mobility behaviour of the Germans that will certainly not change, then it is the fact that everything has to be as easy and comfortable as possible. Traveloffers that only a scholar can understand do not have a future.’16

As one participant in our survey puts it: – ‘If I need an introduction, then the layout is a flop.’17

Bibliography Bank, C. (2010). Die Usability von Online-Wörterbüchern und elektronischen Sprachportalen. Universität Hildesheim, Hildesheim. Bank, C. (2012). Die Usability von Online-Wörterbüchern und elektronischen Sprachportalen, 63(6), 345–360. Bergenholtz, H. (2011). Access to and Presentation of Needs-Adapted Data in Monofunctional Internet Dictionaries. In H. Bergenholtz & Fuertes-Olivera (Eds.), (pp. 30–53). London/New York: Continuum. Bergenholtz, H., & Bergenholtz, I. (2011). A Dictionary Is a Tool, a Good Dictionary Is a Monofunctional Tool. In H. Bergenholtz & P. A. Fuertes-Olivera (Eds.), e-Lexicography. The Internet, Digital Initiatives and Lexicography (pp. 187–207). London/New York: Continuum. Bergenholtz, H., & Bothma, T. J. D. (2011). Needs-adapted data presentation in e-information tools, 21, 53–77. Bothma, T. J. D., Faaß, G., Heid, U., & Prinsloo, D. J. (2011). Interactive, dynamic electronic dictionaries for text production. In I. Kosem & K. Kosem (Eds.), Electronic lexicography in the 21st Century: New Applications for New Users. Proceedings of eLex2011, Bled, Slowenien, 10 – 12 November 2011 (pp. 215–220). Ljubljana: Trojina, Institute for Applied Slovene Studies. Retrieved from http://www.trojina.si/elex2011/Vsebine/proceedings/eLex2011-29.pdf (last accessed 13 July 2013) Bowker, L. (2012). Meeting the needs of translators in the age of e-lexicography: Exploring the possibilities. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 379–397). Oxford: Oxford University Press. Diekmann, A. (2002). Empirische Sozialforschung: Grundlagen, Methoden, Anwendungen (8th ed.). Reinbek: Rowohlt Taschenbuch Verlag.

|| 16 “Was sich am Mobilitätsverhalten der Deutschen mit Sicherheit nicht ändern wird, ist, dass alles einfach sein muss und möglichst bequem. Mobilitätsangebote, für die man ein Gelehrter sein muss, um sie zu verstehen, haben keine Zukunft.” (Interview mit Peter Ramsauer und Rüdiger Grube, DB mobil 9/2012: 45) 17 “Wenn ich eine Einführung brauche, hat das Layout versagt.”

204 | Alexander Koplenig, Carolin Müller-Spitzer

Diekmann, A. (2010). Empirische Sozialforschung. Grundlagen, Methoden, Anwendungen (4th ed.). Hamburg: Rowohlt. Dziemanko, A. (2012). On the use(fulness) of paper and electronic dictionaries. In Electronic lexicography (pp. 320–341). Oxford: Oxford University Press. Lew, R. (2010). Users Take Shortcuts: Navigating Dictionary Entries. In A. Dykstra & T. Schoonheim (Eds.), Proceedings of the XIV Euralex International Congress (pp. 1121–1132). Ljouwert: Afûk. Lew, R. (2012). How can we make electronic dictionaries more effective? In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 343–361). Oxford: Oxford University Press. Lew, R., & Tokarek, P. (2010). Entry menus in bilingual electronic dictionaries. eLexicography in the 21st century: New challenges, new applications. Louvain-la-Neuve: Cahiers du CENTAL, 145– 146. Mayring, P. (2011). Qualitative Inhaltsanalyse. Grundlagen und Techniken (8th ed.). Weinheim: Beltz. Nesi, H., & Tan, K. H. (2011). The Effect Of Menus And Signposting On The Speed And Accuracy Of Sense Selection. International Journal of Lexicography, 24(1), 79. Tarp, S. (2011). Lexicographical and Other e-Tools for Consultation Purposes: Towards the Individualization of Needs Satisfaction. In H. Bergenholtz & P. A. Fuertes-Olivera (Eds.), eLexicography. The Internet, Digital Initiatives and Lexicography (pp. 54–70). London/New York: Continuum. Tono, Y. (2000). On the Effects of Different Types of Electronic Dictionary Interfaces on L 2 Learners’ Reference Behaviour in Productive/Receptive Tasks. In U. Heid, S. Evert, E. Lehmann, & C. Rohrer (Eds.), Proceedings of the Ninth EURALEX International Congress, Stuttgart, Germany, August 8th–12th (pp. 855–861). Stuttgart: Universität Stuttgart, Institut für Maschinelle Sprachverarbeitung. Tono, Y. (2011). Application of Eye-Tracking in EFL Learners. Dictionary Look-up Process Research. International Journal of Lexicography, 23. Trap-Jensen, L., & Lorentzen, H. (2011). There And Back Again – from Dictionary to Wordnet to Thesaurus and Vice Versa: How to Use and Reuse Dictionary Data in a Conceptual Dictionary. In I. Kosem & K. Kosem (Eds.), In: Electronic lexicography in the 21st Century: New Applications for New Users. Proceedings of eLex2011, Bled, Slowenien, 10 – 12 November 2011 (pp. 175–179). Presented at the eLex 2011, Ljubljana.

| Part III: Specialized studies on online dictionaries

Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

Evaluation of a new web design for the dictionary portal OWID An attempt at using eye-tracking technology Abstract: The main aim of the study presented in this chapter was to try out eyetracking as form to collect data about dictionary use as it is – for research into dictionary use – a new and not widely used technology. As the topic of research, we decided to evaluate the new web design of the IDS dictionary portal OWID. In the mid of 2011 where the study was conducted, the relaunch of the web design was internally finished but externally not released yet. In this regard, it was a good time to see whether users get along well with the new design decisions. 38 persons participated in our study, all of them students aged 20-30 years. Besides the results the chapter also includes critical comments on methodological aspects of our study. Keywords: eye-tracking, web design, screen layout, dictionary portal, sense navigation

| Carolin Müller-Spitzer: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)6211581429, [email protected] Frank Michaelis: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)621-1581423, [email protected] Alexander Koplenig: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)6211581435, [email protected]

1 Introduction Just like all the studies described in this volume (with the exception of the log file study, Koplenig et al., this volume), the eye-tracking study described here was conducted as part of the project on research into dictionary use at the Institute for German Language (IDS), which was externally financed and ran from 2009 until 2011 (cf. Müller-Spitzer: Introduction, this volume). During the project, we mainly conducted online studies in the form of surveys. In the interests of methodological diversity, however, we wanted to try out another form of data collection, namely eyetracking technology. The main aim was therefore to try out this way of collecting data about dictionary use as it is – in research into dictionary use – a new and not widely used technology. This is also mentioned as an aim of the eye-tracking study by Lew et al.; similarly, Tono concludes his report of an eye-tracking study with the

208 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

request that more eye-tracking studies should be conducted in the area of research into dictionary use: “As eye tracking has been used very little in dictionary user studies so far, another goal of the study is to examine the applicability of this technique to the study of dictionary entry navigation.” (Lew, Grzelak, & Leszkowicz, 2013, 230) “I hope that this study will trigger more interest in taking rigorous research methods using such apparatus as an eye mark recorder.” (Tono, 2011, p. 152)

In this case, our approach was rather exploratory (cf. Koplenig, this volume). Rather than putting the research question first and then starting the process of finding an appropriate study design, the method of data collection was the starting point. One of the reasons was that our project was a good opportunity for the IDS to gain experience in this kind of user study, because we had the funding which made it possible to rent the lab at the University of Mannheim, to pay for the software, and to pay a research assistant to supervize the study and the participants. In other respects, as far as project organization is concerned, however, it was not the best time to conduct the study: at the end of the project, many tasks had to be finished, and in addition to that, the project team was reduced in number (e. g., due to maternity leave). These are some of the factors which led to the methodological shortcomings mentioned later. As the topic of research, we decided to evaluate the new web design of the IDS dictionary portal OWID.1 In the middle of 2011, the new web design was finished but had not yet been launched. In this respect, it was a good time to see whether users got along well with the new design decisions. This chapter is structured as follows: Section 2 provides a brief insight into eyetracking technology; Section 3 includes a brief description of OWID which will make the questions asked in the study easier to understand; Section 4 provides a summary of the study aim (4.1), procedure and apparatus (4.2) and the participants (4.3); an evaluation of several aspects of the new web design of OWID is presented in Section 5, where all the results of our eye-tracking study are presented and discussed; and instead of general concluding remarks, this chapter ends with critical comments on methodological aspects of our study.

|| 1 www.owid.de (last accessed 13 July 2013).

Evaluation of a new web design for the dictionary portal OWID | 209

2 Eye-tracking technology Eye-tracking is a nearly 100-year-old technology, but has only recently been used for research into dictionary use. It is the process of measuring either the point of gaze (where someone is looking) or the motion of an eye relative to the head; an eyetracker is a device for measuring eye positions and eye movement. In the context of usability studies, eye-trackers provide valuable insight into which features on a website are the most eye-catching, which features cause confusion and which ones are ignored altogether. In the process of eye-tracking, two basic parameters are measured: saccades and fixations. “Saccades are rapid eye movements used in repositioning the fovea to a new location in the visual environment.” (Duchowski, 2007, p. 42) “Fixations are eye movements that stabilize the retina over a stationary object of interest.” (Duchowski, 2007, p. 46)

As the eye is considered a “window to the mind”,2 “gaze behaviour is usually interpreted as reflecting perception” (Lew et al., 2013, 230), based on the eye-mind assumption by Just and Carpenter (1980). “The important eye-mind assumption proposed by Just/Carpenter (1980) also needs to be defined. The eye-mind assumption is based on the widely recognized assumption that there is a high correlation between long fixation durations and effortful processing in the user’s brain. […] eye fixation and gaze time data reflect cognitive processes in the user’s brain.” (Simonsen, 2011, p. 76)

Among the advantages of eye-tracking studies are that: – an analysis of the duration and number of fixations and saccades makes it possible to find out if users are focusing on the content, e. g. if they are reading a text carefully or only briefly scanning the screen; – eye-tracking identifies areas on the screen that receive special attention; – it is an online method, i.e. actual behaviour is recorded. However, some of the disadvantages are that: – people sometimes fix things with their eyes without actually perceiving them; whether this is the case or not cannot be confirmed through the use of eyetracking systems (the opposite is beyond dispute: what is not seen is not perceived); – information at the periphery of the visual field can reach the cognitive system and be processed; eye-tracking provides no data or analysis in relation to this; || 2 http://ni.www.techfak.uni-bielefeld.de/research (last accessed 13 July 2013).

210 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig –

the eye-tracking method is limited to quantitative assessment; the mere statement of the fact that someone looked first at the header of a certain screen page allows no qualitative conclusion as to why this is the case.

For further insights into the method, see the article by Lew et al. (2013) mentioned above, and the chapter in this volume by Kemmer, who also provides detailed explanations of the eye-tracking method (Kemmer, this volume). The method is, according to Lew et al., a promising avenue for research into dictionary use: “Overall, eye-tracking technology proves to be a highly fitting and fruitful approach for examining what happens in dictionary consultation, and should be used more widely.” (Lew et al., 2013, 253)

In addition to the study by Lew, Simonsen and Tono have conducted eye-tracking studies (Simonsen, 2009, 2011; Tono, 2011); as those studies are reviewed in Lew et al. (2013, 230-32), they will not be commented upon here. With regard to dictionary portals, we are not aware of any user studies which concentrate on the web design of a portal.

3 A brief description of OWID The Online-Wortschatz-Informationssystem Deutsch (OWID; Online German Lexical Information System) is a lexicographic Internet portal for various electronic dictionary resources that are being compiled at the IDS (cf. Müller-Spitzer, 2010). The main emphasis of OWID is on academic lexicographic resources of contemporary German. The dictionaries included in OWID range from a general monolingual dictionary (elexiko, cf. Klosa/Koplenig/Töpel, this volume) to a dictionary of neologisms, discourse dictionaries, a dictionary of proverbs and fixed multiword expressions, and a dictionary of German communication verbs.3 OWID is a typical example of a dictionary net (in the sense of (Engelberg & Müller-Spitzer, forthcoming), as it provides inner, outer and external access to the included dictionaries, inter-dictionary crossreferences and an integrated layout of portal and individual dictionaries. OWID is a constantly growing resource for academic lexicographic work in the German language. In 2010, we planned to relaunch the website. The guiding principles for the new design were on the one hand to increase the visibility of the individual dictionaries in OWID, i.e. to strengthen the character of OWID as a dictionary portal and, on the

|| 3 See www.owid.de (last accessed 13 July 2013).

Evaluation of a new web design for the dictionary portal OWID | 211

other hand, to make the layout clearer and less cluttered. Specifically, the following new design elements that are relevant for the study were introduced: The screen (for the entry view) was divided into three parts: a navigation bar on the left with the keyword list or other navigational elements, the centre for the entry itself and a new bar on the right-hand side of the screen in which the different dictionaries from OWID are listed vertically. This latter bar is always visible, even if entries are displayed. (In the old design, the various dictionaries were listed on the homepage, but they were not present when an entry was displayed.) To identify the individual dictionaries, a new colour scheme was introduced. In the old layout, the key words themselves were highlighted in coloured type, but this led to a very problematic and cluttered visual representation. In the new layout, the dictionaries and the keywords are only preceded by a coloured box (cf. Figure 1). Internally in OWID, there was much discussion about whether this identification was sufficient to assign the entries to a dictionary. In the new web design, OWID provides two main outer access possibilities: the main search box and an alphabetical register. The latter, with the corresponding “go to” box, provides the user with a kind of fast outer access like leafing through a book and stopping at a certain place in the alphabet. Entering, for example, “defiz” in this search box, does not lead to a search result, but rather it initiates a look-up in the OWID headword list and immediately displays the best matching entry with the corresponding part of the headword list (in this case “Defizit”, cf. Figure 1). This headword list is a distinctive feature of OWID, because it is a merging of all headwords of all the dictionaries included in the portal. This access option combines with an option for including or excluding individual dictionaries, but the default setting is the inclusion of all dictionaries.4 When you choose a single dictionary from the dictionary bar on the righthand side of the screen, only the keywords from that dictionary are displayed in the headword list on the left; a view which we call internally the ‘ODO-view’ (‘one-dictionary-only’). Here, too, there was much debate about whether this was easy for users to understand. Lastly, the design of the entry itself was changed. We tried to present the information in a more uncluttered way, to divide the lexicographic content more clearly from the labels which classify the items and present comments on items (which occur very often especially in elexiko) in a more subtle way. The latter in particular was the subject of heated discussion between

|| 4 In Figure 1, the default setting of the toolbar for filtering the headword list is changed by excluding the non-elaborated entries of elexiko.

212 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

the web designer and the lexicographers (whether comments should still be presented in boxes and also whether the lighter boxes still attracted too much attention). In addition, the links to the senses of a headword, which consisted of short labels for each sense, were supplemented with the definition in order to provide the user with more information on the first screen (cf. Figure 1). In the eye-tracking study described below, we have tried to evaluate some of these new design decisions.

Fig. 1: Entry “Defizit” (‘deficit’) from elexiko with emphasis on the colour scheme for identifying the correlation between dictionary, headword and headword list.

Evaluation of a new web design for the dictionary portal OWID | 213

4 Study design 4.1 Aim As highlighted at the beginning of this chapter, the main aim of this study was the evaluation of the eye-tracking method with regard to future research projects. A secondary aim was to evaluate different design solutions for the new web design of OWID before we released the new online version. To summarize, we wanted to address the following questions in the study: – Is it easy to see that OWID is a dictionary portal, i. e. that different dictionaries are integrated into OWID? – Does the colour scheme work for the identification of the individual dictionaries, i. e. is it easy to assign keywords to the individual dictionaries by the coloured boxes? – How are new elements of the inner access structure evaluated? In particular, are items easy to locate due to the less cluttered screen layout, and do the participants understand the simultaneous presentation of the sense-label and the definition in elexiko? – Finally, a question about the layout: do the comments in boxes distract users from the items themselves?

4.2 Procedure and apparatus We conducted the study in cooperation with the Mannheim Eye Lab (Uni Mannheim, chair Tracy).5 This lab offers four computer stations, e. g., for reaction time experiments and two for eye-tracking, equipped with one High-Speed Tracker (SMI Hi-Speed 500) for reading and language processing research and a Remote Eye Tracker (SMI RED) for the study of language-view communication. We used the latter for our study. The setting was highly comfortable and naturalistic for the participants (cf. Figure 2), as also reported by Lew et al. for a similar device: “Thanks to these features, the Tobii T60 has high ecological validity, offering participants the look and feel of a regular computer screen, thus a highly naturalistic setting for students accustomed to working at the computer.” (Lew et al., 2013, 236)

|| 5 See http://master.phil.uni-mannheim.de/masterstudiengaenge/master_sprache_und_kommunikation/experimentallabor_und_mai_lab/index.html (last accessed 13 July 2013).

214 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

In contrast, however, Tono states: “While the eye mark recorder is a powerful tool, the setting inevitably becomes artificial. In order to calculate gaze points accurately, it was necessary to fix the subjects’ head onto the chinrest and ask them to look at the PC monitor. ” (Tono, 2011, p. 151)

Fig. 2: Promotional image of the SMI Eyetrackers6.

The tasks in our study mostly consisted of two recurring blocks, each divided into three parts: 1. The participants received an instruction, such as: “Please take a look at the screenshot of the OWID homepage and try to gain an initial overview.” 2. The screenshot was presented (and gaze patterns were tracked). 3. In most cases, a question was asked afterwards in order to check whether the requested information had been found. In the second block: 4. The participants again received an instruction, such as: “In the following, you can again see the OWID homepage . Please try to find out what dictionaries are included in OWID.” 5. The same screenshot (as above in 2) was presented (and gaze patterns were tracked).

|| 6 See http://www.gizmag.com/smi-red500-500hz-remote-eye-tracker/16957/picture/124519/ (last accessed 13 July 2013).

Evaluation of a new web design for the dictionary portal OWID | 215

6. A question was asked afterwards.7 The use of screenshots corresponds to other studies in which dictionary entries were shown in isolated form (Lew et al., 2013; Tono, 2011). However, in the case of OWID, we are dealing with an online portal, where this procedure may be considered to be even more problematic, because the test scenario is very different from a real usage situation, which would involve clicking and browsing (unlike a reading experiment in which the reading takes place on screen instead of on paper, but the test scenario is not fundamentally different from the actual task). Therefore, in terms of a natural setting, it would have been best to use a live version of the portal. However, due to technical limitations and due to the high demands of setting up a usability study with a live system using eye-tracking, this was not possible in our case.

4.3 Participants 38 people participated in our study, all of them students aged 20-30. They received €10 as reward for participation. The number of participants is very high for an eyetracking study, as compared to 10 subjects in Lew et al., 8 subjects in Tono and 6 participants in the study by Simonsen (Lew et al., 2013; Simonsen, 2009; Tono, 2011). We wanted to have a high number of subjects so that we had the option of including randomization tasks and similar things in an appropriate way.

5 Results and discussion 5.1 Identifying OWID as a dictionary portal As stated in Section 3, the aim of the new web design was to strengthen the character of OWID as a dictionary portal (as opposed to a single online dictionary). Therefore, we wanted to check whether the participants recognized that the names listed in the right-hand bar were labels of single dictionaries. To examine this question, we gave our participants two instructions, each followed by a screenshot of the OWID homepage .

|| 7 Cf. for a similar approach (various instructions, same picture) an eye tracking study on a painting from the 60s: http://commons.wikimedia.org/wiki/File:Yarbus_The_Visitor.jpg (last accessed 13 July 2013).

216 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

1.

2.

‘Please take a look at the screenshot of the OWID homepage and try to gain an initial overview.’ (Bitte betrachten Sie auf der nächsten Seite einen Screenshot der Startseite von OWID und versuchen Sie, sich dabei kurz zu orientieren.) ‘In the following, you can again see the OWID homepage . Please try to find out what dictionaries are included in OWID’ (Sie sehen im Folgenden erneut die Startseite von OWID. Versuchen Sie bitte herauszufinden, welche Wörterbücher in OWID enthalten sind.)

The results are presented in Figure 3. The cumulative fixation count of all 38 participants is summarized here in the form of a heat map.8

Fig. 3: Heat map for all participants; (1) instruction: gain an overview of the homepage, (2) instruction: find out what dictionaries are included.

It is clear from the heat map that, after reading the first instruction, participants looked at all the pictures and texts on the OWID homepage. The results for after the participants read the second instruction are different: here, most concentrated on the right-hand bar (cf. Figure 3). This can be interpreted as a confirmation that participants recognized correctly that the included dictionaries are listed on the righthand side of the screen. However, to make this interpretation reliable, we should have added more screens in which the dictionaries were listed in another position and/or with other elements (not names of dictionaries) on the right (cf. Section 6).

|| 8 A heat map is a “static representation, mainly used for the agglomerated analysis of the visual exploration patterns in a group of users […]. In these representations, the ‘hot’ zones or zones with higher density designate where the users focused their gazes with a higher frequency.” (http://en. wikipedia.org/wiki/Eye_tracking) (last accessed 13 July 2013).

Evaluation of a new web design for the dictionary portal OWID | 217

Without telling the participants in advance that we were going to do so, we asked them afterwards whether the following dictionaries were included in OWID: – Neologismenwörterbuch – Woxikon-Synonym-Wörterbuch – PONS Deutsche Rechtschreibung – elexiko – Schulddiskurs 1945-55 – Feste Wortverbindungen – OBELEX Bibliografie – Weiß nicht / keine Angabe. Only 32% of the participants chose all the right answers (cf. Table 1). They obviously concentrated their views on the right-hand bar of the screen (and therefore on the correct list), but did not remember all the items in this list correctly. However, we have to admit that the dictionaries in OWID have very unusual titles and they were combined in the response items with very popular German online dictionaries. Therefore, a clear interpretation of this latter result is difficult.

incorrect correct Total

Freq 26 12 38

Percent 68.42 31.58 100.00

Cum. 68.42 100.00

Tab. 1: Percentages of correct responses to the question ‘Which dictionaries are included in OWID?’.

5.2 Assignment of headwords to a dictionary Another question we wanted to examine was whether it is possible for the participants to assign keywords to a dictionary only via the preceding coloured box, because the question of whether this little box was sufficient for this purpose was the subject of much discussion. In order to evaluate this, we chose the entry “auf ein gesundes Maß reduzieren” (‘reduce to a healthy level’) from “Feste Wortverbindungen” (‘Collocations online’) and gave the participants the following two instructions, each of them followed by a screenshot and questions. 1. ‘You are looking at a dictionary entry. Which headword is being described?’ (Sie sehen gleich einen Wörterbuchartikel. Welches Stichwort wird beschrieben?) 2. ‘You are now looking at the same dictionary entry again. Which dictionary is the entry from?’ (Sie sehen jetzt noch einmal den gleichen Wörterbuchartikel. Aus welchem Wörterbuch stammt der Artikel?)

218 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

Fig. 4: Heat map for all participants; (1) instruction: which headword, (2) instruction: headword from which dictionary.

Fig. 5: Scan paths of two participants; (1) instruction: which headword, (2) instruction: headword from which dictionary.

The results are presented in Figures 4 and 5. Figure 4 shows that, while after the first instruction, participants concentrated on the middle of the screen, i. e. the entry itself, their fixation moved after the second instruction to the right-hand side where the name of the dictionary is presented. This is also illustrated in Figure 5, where the scan paths of two participants are presented. It appears that the connection between headword and dictionary is clear for our subjects. The connection to the same-

Evaluation of a new web design for the dictionary portal OWID | 219

coloured words in the keyword list on the right can also be recognized in the scan path (Figure 5, screenshot 2). We repeated the same task with the entry “Ärztin” (‘[female] doctor’); the results are comparable. However, we did not check these results against other screens with the same content, but different layouts.

5.3 Assignment of headwords from the headword list to a dictionary In the OWID headword list, all the headwords of all the dictionaries integrated into OWID are merged together. A small coloured box preceding the headword indicates which dictionary it belongs to. Depending on how you set the function ‘Stichwortliste filtern’, or whether a dictionary is accessed via the dictionary list on the righthand side, the keyword list changes, e. g., to the ‘ODO-view’ (one-dictio-nary-only). In our study, we wanted to examine whether participants recognized this difference, more specifically whether they could see that the headwords in the keyword list belonged to different dictionaries. We tried to approach this question by giving the following instructions: 1. ‘On the next page, you will see an entry from the dictionary of neologisms. Neologisms are new words or new meanings of established words which have entered the German language. Please look at the screenshot and try to familiarize yourself with it.’ (Sie sehen auf der nächsten Seite einen Wortartikel aus dem Neologismenwörterbuch. Neologismen sind neue Wörter oder neue Bedeutungen etablierter Wörter, die in die deutsche Sprache eingegangen sind. Bitte betrachten Sie den Screenshot und versuchen Sie, sich dabei kurz zu orientieren.) 2. ‘On the next page, you will again see the same entry from the dictionary of neologisms. Can you find more headwords from the dictionary of neologisms on the OWID page?’ (Sie sehen auf der nächsten Seite noch mal den gleichen Wortartikel aus dem Neologismenwörterbuch. Finden Sie auf der auf der abgebildeten Seite von OWID weitere Stichwörter aus dem Neologismenwörterbuch?) In this case, we were not interested in the difference between the participants’ gaze patterns after the first and second instruction. Rather, after the second instruction, we formed (at random) two groups to which we presented two different screens: the first with a list on the left-hand side with headwords from different OWID dictionaries (headwords from the neologism dictionary positioned in the centre of the list), the second with headwords only from the neologism dictionary. Then, we wanted to see whether participants had different gaze patterns depending on the different content of the headword list (after reading the second instruction). The results are presented in Figure 6.

220 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

Fig. 6: Heat map for all participants; (1) ODO-view (neologisms only), (2) headwords from different dictionaries (neologisms in the centre).

The gaze patterns suggest that participants understood that only the headwords preceded by the small blue box were headwords from the neologism dictionary, i. e. that the presentation of the headword list in the new layout works well. It could be argued that maybe participants did not identify the neologisms by the blue coloured box, but by understanding neologisms as a special type of lexeme. This interpretation, in turn, is not supported by the response behaviour. After the screenshots had been presented, both groups had to answer the following question: ‘Please name more headwords which in your opinion are from the dictionary you have just seen. Please click on all the options you think are correct.’ (Bitte nennen Sie weitere Stichwörter die Ihrer Meinung nach aus dem eben gesehenen Wörterbuch stammen. Bitte klicken Sie alle Alternativen an, die Ihrer Meinung nach richtig sind.): – denkbar – Demokratie – den Ball flach halten – der ganz normale Wahnsinn – Weiß nicht / keine Angabe Only 12% of the participants chose all the correct answers (cf. Table 2). Therefore, the interpretation that the coloured box was the guiding element for recognition seems to be more plausible.

Evaluation of a new web design for the dictionary portal OWID | 221

incorrect correct Total

Freq 26 12 38

Percent 68.42 31.58 100.00

Cum. 68.42 100.00

Tab. 2: Percentages of correct responses to the question ‘Do the keywords presented belong to the neologism dictionary?’.

5.4 Some questions on inner access structures

5.4.1 Navigation to sense-related items in elexiko In elexiko (cf. Klosa et al., this volume), sense-independent items such as orthographic information or (in most cases) information on word formation is presented on the first screen if you open an entry. Sense-relevant information follows on a second screen when clicking on short labels for the individual senses. In the old layout, only these short labels were presented on the first screen. In our study, we wanted to look at how participants recognize this information (label and definition). Essentially, we wanted to explore what the gaze patterns of the subjects looked like when we ask them questions about individual meanings (e. g., Could they find the individual meanings? Did they read or scan all the labels first and only then look at the definition? Or is this – although this seems rather implausible – a linear reading process?). For sense navigation, especially in printed dictionaries, studies in the field of research into dictionary use already exist (Lew et al., 2013, for a summary of the results of different studies see 230-32; e.g., Lew & Tokarek, 2010; Lew, 2010; Nesi & Tan, 2011; Tono, 2001, 2011). However, our study design is rather different, with no specific research question, and is therefore not comparable with previous results. First, we instructed the participants to see if the entry ‘horse’ (Pferd) had a sense like ‘apparatus used in gymnastics’ (Turngerät): ‘On the next page, you will see an entry from elexiko. Please try to find out whether the headword can have the meaning ‚apparatus used in gymnastics’ (Sie sehen auf der nächsten Seite einen Wortartikel aus elexiko. Bitte versuchen Sie herauszufinden, ob das Stichwort eine Bedeutung/Lesart im Sinne von 'Turngerät' hat.)

222 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

Fig. 7: Heat map of all participants, scan path of one participant (finding the sense labelled ‘Turngerät’).

The results are presented in Figure 7. It appears that the fixation is clearly focused on the requested sense; the scan path of one participant also illustrates this. It could be that the task was too simple and clear, and therefore a different result would have been very unlikely. Secondly, we asked participants to find a sense in the entry ‘team’ (Mannschaft) which is described as ‘members of a group of people acting on behalf of an organization’ (‘Please try to find out whether in the following word entry, there is a meaning which is explained as ‘members of a group of people who work for an organization’. If so, which is it? ’ Bitte versuchen Sie herauszufinden, ob es im folgenden Wortartikel eine Bedeutung gibt, die erläutert ist mit 'Mitglieder einer für eine Organisation tätige Gruppe von Menschen'. Wenn ja, welche?). The corresponding results are presented in Figure 8. The interesting thing here is that participants obviously first scan all the labels very quickly and then turn to the content of the definition, even though the instruction clearly draws attention to the content. This suggests that the labels attract significant attention. For our online presentation, however, this is not an adverse effect. All in all, we can state that in the study, our participants found the appropriate meaning by firstly scanning the labels and then reading the definition, if necessary.

Evaluation of a new web design for the dictionary portal OWID | 223

Fig. 8: Scan paths of two participants (recorded as a film), one snapshot at oo:o1 sec (left) and the second at 00:14sec (right).

5.4.2 Access via search paths to specific items With the new OWID design, we tried to present the information in a more uncluttered way, and in particular to divide the lexicographic content more clearly from the labels used to classify the items. The aim of this design decision (as well as creating an uncluttered look) was to increase the internal access time to specific items, i. e. to ensure that it was easy to find the required information in another entry after an initial orientation. To check whether we had put this into practice successfully, we incorporated two screenshots of entries from the neologism dictionary (‘Antimatschtomate’ and ‘angefressen’) into our study, both containing items on style level. Here, we wanted to examine whether access to the items on style level was significantly faster in the second task than in the first. The following instructions preceded the screenshots: 1. Entry ‚Antimatschtomate‘: ‘In dictionaries, individual headwords are often assigned to particular styles, such as colloquial, elevated, slang, etc. To which style does the following headword belong, according to the dictionary of neologisms?’ (Häufig werden in Wörterbüchern einzelne Stichwörter bestimmten Stilebenen zugeordnet wie umgangssprachlich, gehoben, salopp etc. Zu welcher Stilebene gehört das folgende Stichwort nach Angabe des Neologismenwörterbuchs?)

224 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

2.

Entry ‚angefressen‘: ‘To which style does the following headword belong, according to the dictionary of neologisms?’ (Zu welcher Stilebene gehört das folgende Stichwort nach Angabe des Neologismenwörterbuchs?)

In the result, we can see a learning curve: while the subjects still needed an average of 5 seconds to find the information in the first task, less than half this time was needed for the second task (2.3 s). This faster access is also clearly visible in the example of the scan paths of two subjects, where in the second task, a clearly more focused search path can be seen (cf. Figure 9). The learning effect seems to confirm that the new layout is useful and clear and allows quick access to the information required. Again, in retrospect, it must be said that the learning effect itself is not surprising and that we should also have integrated the old layout as a control test to be in a position to say more reliably that the new layout is the key factor here. The question asked afterwards, about which style level the entries belong to, was answered correctly by most participants, i. e. the items were perceived correctly (cf. Table 3).

Fig. 9: Scan paths of two participants (searching for items on style level).

Evaluation of a new web design for the dictionary portal OWID | 225

correct incorrect don’t know/ no answer Total

Antimatschtomate Freq Percent 36 94.74 1 2.63 1 2.63 38

Cum. 94.74 97.37 100.00

100.00

angefressen Freq Percent 37 97.37

Cum. 97.37

1

2.63

100.00

38

100.00

Tab. 3: Percentages of correct responses to the question regarding the style level of ‘Antimatschtomate’ and ‘angefressen’.

5.4.3 Potential distraction by comments One important part of the conception of elexiko was to provide the users with a lot of comments on lexicographic items whenever it might be helpful. These comments contain additional information which may be interesting to some users. Therefore, they should be visible, but it would prove counterproductive if these comments distracted the user’s attention from the items themselves. For this reason, we decided to present comments on items in the new layout in a more subtle way (e. g., in lighter boxes). As mentioned in Section 3, finding an appropriate form of presentation was the subject of much discussion between the web designer and the lexicographers. The main question was whether the presentation in boxes (even if they are lighter) is still too eye-catching and draws the user’s attention first of all to the comment instead of to the item. To evaluate this in our eye-tracking study, we presented two entries with items on word formation, the first without a comment and the second with an additional comment, both with the same instruction: ‘Please ascertain which components the following word is made up of.’ (Bitte ermitteln Sie, aus welchen Bestandteilen das folgende Wort gebildet wird.). Here, we wanted to see whether the gaze patterns showed a different focus in the second entry in contrast to the first one. The results in the form of a heat map are presented in Figure 10. The gaze patterns do not show that the comment attracted much attention. Also, the scan paths of several participants confirmed that the subjects did not look at the box first (Figure 11). The comments as they are presented in the new layout seem not to distract users from the items. A limiting effect here could be that, during the course of the study, the subjects got used to us asking questions after each screenshot and therefore their attention was drawn to the item requested in the instruction.

226 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

Fig. 10: Heat map of all participants: items on word formation (one with a comment on word formation, one without).

Fig. 11: Scan paths of four participants looking at the screenshot of the entry ‘Aquajogging’.

Evaluation of a new web design for the dictionary portal OWID | 227

6 Critical comments on the study In retrospect, we must say that the results presented here are of limited validity, because the study suffers from some methodological shortcomings measured against the standards of good empirical studies. Due to these methodological shortcomings and the vague interpretation of the results, there might be good reasons not to publish the results. Nevertheless, we wanted to provide the results here, because – as also emphasized by Lew et al. – there are few eye-tracking studies in the area of research into dictionary use and therefore other researchers planning an eyetracking study might benefit from our experience. With the experience we have now, we consider the following to be the main shortcomings: – The research question was not the guiding element in designing the study. The specific research question should also be planned more carefully than we did in this study (Lew, 2011, 228-29). – The questions were not tailored enough to eye-tracking as a method of data collection; they should have been more focused on what works particularly well with this technology. For example, we should have integrated many more comparative views in order to check the positive impression against other kinds of layout. With our study design, we cannot exclude the possibility that the old layout may have performed as well as the new one in the study. – The questions asked in retrospect can also cause problematic effects as also pointed out by Lew et al. Although, in our study design, the subjects did not have to look away from the screen, but were able to answer the questions on the screen, the questions might have caused a guidance effect because the subjects knew that they were going to get ‘test’ questions afterwards, and their gaze patterns might have been influenced by this (although eye movements are difficult to control). “We had rejected the option of asking the participants to write down the answers themselves, as this would have made them look away from the monitor and might have disrupted the gaze recording. We did not want to ask them to give the sense number itself, as this might have made them too aware of the sense selection aspect.” (Lew et al., 2013, 237)

Although this study had clear methodological shortcomings, we have learned a lot. This is not surprising, because to gain experience is (also) to learn by making mistakes. We hope, therefore, that it is useful to make these results and experiences available in this open manner.

228 | Carolin Müller-Spitzer, Frank Michaelis, Alexander Koplenig

Bibliography Duchowski, A. (2007). Eye Tracking Methodology: Theory and Practice. London: Springer-Verlag London Limited. Retrieved from http://dx.doi.org/10.1007/978-1-84628-609-4 Engelberg, S., & Müller-Spitzer, C. (forthcoming). Dictionary Portals. In R. H. Gouws, U. Heid, W. Schweickard, & H. E. Wiegand (Eds.), Dictionaries. An international encyclopedia of lexicography. Supplementary Volume: Recent Developments with Focus on Electronic and Computational Lexicography. Berlin/New York: De Gruyter. Just, M. A., & Carpenter, P. A. (1980). A Theory of Reading: From Eye Fixations to Comprehension, 87(4), 329–354. Lew, R. (2010). Users Take Shortcuts: Navigating Dictionary Entries. In A. Dykstra & T. Schoonheim (Eds.), Proceedings of the XIV Euralex International Congress (pp. 1121–1132). Ljouwert: Afûk. Lew, R. (2011). User studies: Opportunities and limitations. In K. Akasu & U. Satoru (Eds.), ASIALEX2011 Proceedings Lexicography: Theoretical and practical perspectives (pp. 7–16). Kyoto: Asian Association for Lexicography. Lew, R., Grzelak, M., & Leszkowicz, M. (2013). How Dictionary Users Choose Senses in Bilingual Dictionary Entries: An Eye-Tracking Study, Lexikos 23, 228–254. Lew, R., & Tokarek, P. (2010). Entry menus in bilingual electronic dictionaries. eLexicography in the 21st century: New challenges, new applications. Louvain-la-Neuve: Cahiers du CENTAL, 145– 146. Müller-Spitzer, C. (2010). OWID – A dictionary net for corpus-based lexicography of contemporary German. In A. Dykstra & T. Schoonheim (Eds.), Proceedings of the XIV Euralex International Congress (pp. 445–452). Leeuwarden/Ljouwert: Fryske Akademy. Retrieved from http://www.euralex.org/elx_proceedings/Euralex2010/026_Euralex_2010_1_MULLERSPITZER_OWID_A%20dictionary%20net%20for%20corpusbased%20lexicography%20of%20contemporary%20German.pdf Nesi, H., & Tan, K. H. (2011). The Effect Of Menus And Signposting On The Speed And Accuracy Of Sense Selection. International Journal of Lexicography, 24(1), 79. Simonsen, H. K. (2009). Vertical or Horizontal? That is the Question: An Eye-Track Study of Data Presentation in Internet Dictionaries. Kopenhagen: Copenhagen Business School. Simonsen, H. K. (2011). User Consultation Behaviour in Internet Dictionaries: An Eye-Tracking Study. Hermes. Journal of Language and Communication Studies, 46, 75–101. Tono, Y. (2001). Research on dictionary use in the context of foreign language learning: Focus on reading comprehension. Tübingen: Max Niemeyer Verlag. Tono, Y. (2011). Application of Eye-Tracking in EFL Learners. Dictionary Look-up Process Research.’International Journal of Lexicography, 23.

Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer

Dictionary users do look up frequent words. A log file analysis Abstract: In this paper, we use the 2012 log files of two German online dictionaries (Digital Dictionary of the German Language1 and the German version of Wiktionary) and the 100,000 most frequent words in the Mannheim German Reference Corpus from 2009 to answer the question of whether dictionary users really do look up frequent words, first asked by de Schryver et al. (2006). By using an approach to the comparison of log files and corpus data which is completely different from that of the aforementioned authors, we provide empirical evidence that indicates – contrary to the results of de Schryver et al. and Verlinde/Binon (2010) – that the corpus frequency of a word can indeed be an important factor in determining what online dictionary users look up. Finally, we incorporate word class information readily available in Wiktionary into our analysis to improve our results considerably. Keywords: log file, frequency, corpus, headword list, monolingual dictionary, multilingual dictionary

| Alexander Koplenig: Institut für Deutsche Sprache, R 5, 6-13, 68161 Mannheim, +49-(0)621-1581435, [email protected] Peter Meyer: Institut für Deutsche Sprache, R 5, 6-13, 68161 Mannheim, +49-(0)621-1581-427, [email protected] Carolin Müller-Spitzer: Institut für Deutsche Sprache, R 5, 6-13, 68161 Mannheim, +49-(0)621-1581429, [email protected]

Introduction We would like to start this chapter by asking one of the most fundamental questions for any general lexicographical endeavour to describe the words of one (or more) language(s): which words should be included in a dictionary? At first glance, the answer seems rather simple (especially when the primary objective is to describe a language as completely as possible): it would be best to include every word in the dictionary. Things are not that simple, though. Looking at the character string ‚bfk’, many people would probably agree that this ‘word’ should not be included in the dictionary, because they have never heard anyone using it. In fact, it is not even a

|| 1 We are very grateful to the DWDS team for providing us with their log files.

230 | Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer word. At the same time, if we look up “afk” in Wiktionary2, a word that many people will not have ever heard or read, either, we find that it is an abbreviation that means away from (the computer) keyboard. In fact, as we will show below, “afk” was one of the 50 most looked-up words in the German version of Wiktionary in 2012. So, maybe a better way to answer the question of which words to include in the dictionary is to assume that it has something to do with usage. If we consult official comments about five different online dictionaries, this turns out to be a wide-spread assumption: “How does a word get into a Merriam-Webster dictionary? This is one of the questions MerriamWebster editors are most often asked. The answer is simple: usage.”3 “How do you decide whether a new word should be included in an Oxford dictionary? […] We continually monitor the Corpus and the Reading Programme to track new words coming into the language: when we have evidence of a new term being used in a variety of different sources (not just by one writer) it becomes a candidate for inclusion in one of our dictionaries.”4 „Die Erzeugung der elexiko-Stichwortliste erfolgte im Wesentlichen in zwei Schritten: Zunächst wurden die im Korpus vorkommenden Wortformen auf entsprechende Grundformen zurückgeführt; diese wurden ab einer bestimmten Vorkommenshäufigkeit in die Liste der Stichwortkandidaten aufgenommen.“5 [‘The elexiko headword list was essentially created in two steps: first of all, the word forms which occurred in the corpus were reduced to their respective basic forms; and then those that attained a particular frequency of occurrence were included in the list of headword candidates.’] „Wie kommt ein Wort in den Duden? Das wichtigste Verfahren der Dudenredaktion besteht darin, dass sie mithilfe von Computerprogrammen sehr große Mengen an elektronischen Texten daraufhin „durchkämmt", ob in ihnen bislang unbekannte Wörter enthalten sind. Treten sie in einer gewissen Häufung und einer bestimmten Streuung über die Texte hinweg auf, handelt es sich um Neuaufnahmekandidaten für die Wörterbücher.“6 [‘How does a word get into the Duden? The most important process carried out by the Duden editors consists of using computer programs to „comb through“ large quantities of electronic texts to see whether they contain words which were previously unknown to them. If they appear across the texts in particular numbers and in a particular distribution, then they become new candidates for inclusion in the dictionaries.’] “Some Criteria for Inclusion […] Frequency: The editors look at large balanced, representative databases of English to establish how frequently a particular word occurs in the language.

|| 2 http://en.wiktionary.org/wiki/AFK (last accessed 20 June 2013). 3 http://www.merriam-webster.com/help/faq/words_in.htm?&t=1371645777 (last accessed 20 June 2013). 4 http://oxforddictionaries.com/words/how-do-you-decide-whether-a-new-word-should-be-included-in-an-oxford-dictionary (last accessed 20 June 2013). 5 http://www1.ids-mannheim.de/lexik/elexiko/methoden.html (last accessed 20 June 2013). 6 http://www.duden.de/ueber_duden/wie-kommt-ein-wort-in-den-duden (last accessed 20 June 2013).

Dictionary users do look up frequent words. A log file analysis | 231

Words that do not occur in these databases, or only occur with a minuscule frequency, are not likely to be included in the dictionary.”7

Thus, one essential requirement for a word to be included in the dictionary is usage. Of course, it is an enormous (or maybe impossible) project to include every word in the dictionary that is used in the language in question. Even in the case of electronic dictionaries which do not share the natural space limitations of their printed counterparts, the fact must be faced that writing dictionary entries is time-consuming and labour-intensive, so every dictionary compiler has to decide which words to include and just as importantly which words to leave out. The last four of the five statements quoted above show how lexicographers often solve this problem practically. The answer is, of course, frequency of use which is measured using a corpus. Only if the frequency of a word exceeds a (rather arbitrarily) defined threshold does it then become a candidate for inclusion in the dictionary. Again, for most lexicographical projects, this definition turns out to be problematic. What if more words exceed this frequency threshold than could be described appropriately in the dictionary given a limited amount of time and manpower? In this case, the threshold could just be raised accordingly. However, this again just means that it is implicitly assumed that it is somehow more important to include more frequent words instead of less frequent words. In this chapter, we would like to tackle this research question by analyzing the log files of two German online dictionaries. Does it actually make sense to select words based on frequency considerations, or, in other words, is it a reasonable strategy to prefer words that are more frequent over words that are not so frequent? Answering this question is especially important when it comes to building up a completely new general dictionary from scratch and the lexicographer has to compile a headword list, because if the answer to this question was negative, lexicographers would have to find other criteria for the inclusion of words in their dictionary. The rest of this chapter is structured as follows: in the next section, we review previous research on the analysis of log files with regard to the question just outlined; in Sections 3 and 4, we summarize how we obtained and prepared the data that are the basis of our study and that is described in Section 5; Section 6 focuses on our approach to analyzing the data, while Section 7 ends this chapter with some concluding remarks.

|| 7 http://www.collinsdictionary.com/words-and-language/blog/collins-dictionary-some-criteria-for -inclusion,55,HCB.html (last accessed 20 June 2013).

232 | Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer

1 Previous research To understand whether including words based on frequency of usage considerations makes sense, it is a reasonable strategy to check whether dictionary users actually look up frequent words. Of course, in this specific case, it is not possible to design a survey (or an experiment) and ask potential users whether they prefer to look up frequent words or something like that. That is why de Schryver and his colleagues (2006) conducted an analysis where they compared a corpus frequency list with a frequency list obtained from log files. Essentially, log files record, among other things, search queries entered by users into the search bar of a dictionary. By aggregating all individual queries, it is easy to create a frequency list that can be sorted just like any other word frequency list. The aim of de Schryver et al.'s study was to find out if dictionary users look up frequent words, because: “it seems as if treating just the top-frequent orthographic words in a dictionary will indeed satisfy most users, and this in turn seems to indicate that a corpus-based approach to the macrostructural treatment of the 'words' of a language is an excellent strategy. This conclusion, however, is not correct, as will be shown” (de Schryver et al., 2006, p. 73, emphasis in original)

To analyze their data, de Schryver et al. correlated the ranked corpus frequency with the ranked look up frequency. Statistically speaking, correlation refers to the (linear) relationship between two given variables, which is just a scale-independent version of the covariance of those two variables. Covariance measures how two variables x and y change together: if greater values, i.e. values above average, of x mainly correspond with greater values of y, it assumes positive values. By dividing the covariance by the product of the respective standard deviations, we obtain a scale-independent measure ranging from -1 to 1 (cf. Ludwig-Mayerhofer, 2011). It is important to emphasize that a strong correlation also implies that smaller values of x mainly correspond to smaller values of y. Therefore the question that de Schryver et al (2006) actually tried to answer is: do dictionary users look up frequent words frequently? And, do dictionary users look up less frequent words less frequently? The result of their study is part of the title of their paper: “On the Overestimation of the Value of Corpus-based Lexicography”. Verlinde & Binon (2010, p. 1148) replicated the study of de Schryver et al. (2006) using the same methodological approach and essentially came to the same conclusion. In Section 4, we will try to show why de Schryver et al.’s straightforward approach is rather problematic due to the distribution of the linguistic data that are used. In this context we suggest a completely different approach and show that dictionary users do indeed look up frequent words (sometimes even frequently). This is why we believe that dictionary compilers do not overestimate the value of corpus-based lexicography.

Dictionary users do look up frequent words. A log file analysis | 233

2 Obtaining the data All log file and corpus input data for our study are represented in plain text files with a simple line-based character-separated (CSV) format. Each line consists of a character string representing a word, sequence of words, or query string, followed by a fixed delimiter string and further information on the character string, typically a number representing the token frequency of that string in a corpus or the number of lookups in a specific dictionary. The following sections present a brief overview of how the various files were obtained or generated, including some technical details for interested readers. Corpus data As a corpus list, we used an unpublished version of the unlemmatised DEREWO list which contains the 100,000 most frequent word forms in the Mannheim German Reference Corpus (DEREKO) paired with their respective raw frequencies. DEREKO is “one of the major resources worldwide for the study of the German language” (Kupietz, Belica, Keibel, & Witt, 2010, p. 1848).8 The dictionaries Both the Digital Dictionary of the German Language (DWDS) and the German version of Wiktionary are general dictionaries that do not describe specialized vocabulary for a specific user group, but endeavour to describe the vocabulary of German as comprehensively as possible. The DWDS is a monolingual dictionary project which tries to bring together and update the available lexical knowledge that can be found in existing comprehensive dictionaries9. The German version of Wiktionary is a multilingual dictionary (Meyer & Gurevych, 2012) which also focuses on the description of the German vocabulary as a whole and is freely available for the general public.10 The DWDS and Wiktionary are suitable dictionaries for the research question presented above for the following reasons: – Both dictionaries have a broad scope. Therefore, a diverse consultation behaviour regarding German vocabulary can be expected. That is why the log file data

|| 8 We used the most recent version of this list published in May 2009 availiable here http://www1.ids-mannheim.de/kl/projekte/methoden/derewo.html (last accessed 25 June 2013). Instead of raw frequencies, this list only contains frequency classes (cf. the user documentation for further details); we thank our colleague Rainer Perkuhn for providing us with the respective raw frequencies. 9 http://www.dwds.de/projekt/hintergrund/ (last accessed 25 June 2013). 10 http://de.wiktionary.org/wiki/Wiktionary:%C3%9Cber_das_Wiktionary (last accessed 25 June 2013).

234 | Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer

–

can be used to check whether users really do look up words that are frequent in a corpus. Both dictionaries are used frequently, so it is rather unlikely that particular special search requests will bias the data.11

The fact that Wiktionary is based on user-generated content is not a problem for our purposes, because most of the criticisms in the context of Wiktionary are not in any case directed at the coverage of terms (which is very broad, as we will show below), but at the structure of the entries which in many cases either is outdated, does not take into account current lexicographical research or presents insufficient source and usage information (Hanks, 2012, pp. 77–82; Nesi, 2012, pp. 373–374; Rundell, 2012, pp. 80–81). DWDS log files We processed the log files generated by the DWDS web application between January 28, 2012, and January 8, 2013. The files have a simple standard line-based plain text format, with each line representing one HTTP request and specifying, amongst other things, the IP address of the HTTP client, the exact time of the request, and the socalled HTTP request line that contains the URI of the requested resource. A Java program processed all log files using regular expressions, selecting all requests representing the action of looking up a word (or, more generally, a character string) in any of the presentation modes offered by the DWDS web portal. This includes all cases where the lookup process was initiated by following a hyperlink, i.e., the HTTP referer was not taken into account. In order to comply with standard privacy policies, IP addresses were bijectively mapped onto arbitrary integers. A simple character code was used to indicate private IP addresses. The resulting intermediate CSV file has a size of 160.5 MB and contains 3,366,426 entry lines of the following format: -|1234|29/Apr/2012:06:48:54 +0200|Herk%C3%B6mmlich This sample line indicates that a request to look up the string ‘Herkömmlich’ in the German Wiktionary was issued on April 29 from the IP address with serial number 1234. The lookup string is represented in URL-encoded format in the log files; the IP address is from a public address space as indicated by the initial ‘-’. Secondly, a script written in Groovy12 processed the intermediate CSV file by removing the URL encoding and counting all occurrences of each query string contained in the logs. The resulting CSV file contains 581,283 lines, i.e., the DWDS log

|| 11 This was also the reason why we did not use the log files of one of the IDS dictionaries, since all of those dictionaries are either specialized or not consulted frequently enough. 12 See http://groovy.codehaus.org (last accessed 20 June 2013).

Dictionary users do look up frequent words. A log file analysis | 235

files of almost a complete year register more than half a million different query strings. Wiktionary log files The Wikimedia Foundation13 publishes hourly page view statistics log files where all requests of any page belonging to one of the projects of the Foundation (such as Wikipedia, Wiktionary and others) within a particular hour are registered. Each log file entry indicates the title of the page retrieved, the name of the Wikimedia project the page belongs to, the number of requests for that page within the hour in question, and the size of the page’s content. Request figures are not unique visit counts, i.e., multiple requests of a page from the same IP address are treated as distinct page views. We used a Groovy script to analyze all page view files from the year 2012. For each month, there is a separate index page14 containing links to all gzip-compressed hourly log files of that month. Our script follows all of the roughly 700 links of each index page. Reading in the contents of the URL, decompressing them and parsing them line by line is performed in memory using a chain of standard Java input streams. This keeps the memory and hard disk footprint for processing more than 2.5 terabytes of plain text data to a minimum, the only remaining bottleneck being network bandwidth. The script scans each of the 8,784 hourly log files for entries concerning regular article pages in the German Wiktionary (which is the project resource indicated by a line-initial “de.d” in the log), irrespective of whether the requested page title is in German or any other language. There is a sum total of 91,271,569 such entries; the request counts for each page title found were added together and written to a CSV file that contains 1,621,249 entries.15 Wiktionary word class information The Wikimedia foundation publishes complete dumps of all data of its projects at regular intervals. We used a bzip2-compressed XML dump file of the current text and metadata of the pages of the German Wiktionary on June 3, 2013,16 as the basis for a rough-and-ready mapping of words onto word class information in a wide

|| 13 Cf. http://wikimediafoundation.org (last accessed 20 June 2013). 14 The index page URL is http://dumps.wikimedia.org/other/pagecounts-raw/2012/2012-mm; mm = 01…12. (last accessed 20 June 2013). 15 For practical reasons, any page that was viewed only once within a whole month was discarded from the statistics for that month. This procedure reduces the number of pages to consider to less than a quarter. The lookup frequency of such rare page views is far below the threshold we chose for our analysis. 16 The download URL for the file is http://dumps.wikimedia.org/dewiktionary/20130603/dewiktionary-20130603-pages-articles.xml.bz2 (last accessed 20 June 2013).

236 | Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer

sense, including a classification of word forms as first or last name, toponym, or inflected form. The uncompressed size of the dump file is about 450 MB. In the XML document, each Wiktionary page is represented by a element that contains metadata and the content proper in a Wikimedia-specific markup format.17 We analyzed the XML file with a standard Java-based SAX parser, using a regular expression to extract all ‘part of speech’ header information from the different sections of the markup of each page. The results were written into a CSV file pairing the 123,578 page titles with the sequence of all ‘part of speech’ classifications for the page in question. The remaining 146,705 pages contained in the dump do not contain any ‘part of speech’ headers.

3 Preparing the data Corpus data To make the different sets of data intercomparable, we first replaced all word forms in the DEREWO list with their lowercase variant.18 After this, the frequencies of duplicate word forms were added together19 and each word form received a rank according to its raw frequency. One caveat is in order here: there are of course word forms that have the same frequency.20 Thus, a decision has to be made as to how to rank these word forms. There are several possibilities, for example generating average ranks for all word forms with an identical raw frequency count. However, we opted for a rather pragmatic procedure: word forms with identical frequencies were ranked randomly, because (contrary to de Schryver et al.’s approach) this does not make any difference to the results of our analysis, as will be shown below. In total, we generated a list with the 92,506 most frequent DEREKO word forms. DWDS & Wiktionary log files As mentioned above, we were primarily interested in a comparison between the log files and the DEREWO list, and not in the question of what users generally look for. Since the corpus list only consists of unigrams, we first removed all n-grams with n > 1 from the log files. Furthermore, we removed queries that were longer than 120

|| 17 See, e.g., http://en.wikipedia.org/wiki/Help:Wiki_markup (last accessed 20 June 2013). 18 This is an important step, because many users of electronic dictionaries assume that the search function is case insensitive, so they pay no attention to capitalization. 19 For example the German definite masculine article “der” appeared both in its lowercase version and in the uppercase one. “der” has a raw frequency of 109,354,718, while “Der” has a frequency of 12,926,941, so after the data preparation, “der” is listed in the data with an adjusted frequency of 122,281,659. 20 Actually only 28.15% of the word forms have a unique frequency.

Dictionary users do look up frequent words. A log file analysis | 237

characters or queries containing numbers and special characters.21 While we admit that these steps are worthy of discussion, we believe that this procedure again is necessitated by the (unigram) structure of the DEREWO list. Furthermore, additional calculations show that those steps only remove 4.8% of the DWDS and 7.4% of the Wiktionary raw log file tokens. The resulting lists were then prepared in the same way as the corpus data. In total, we generated a list with 1,287,365 Wiktionary log file types and a list with 156,478 DWDS log file types.

4 Describing the data Corpus data If we look at the DEREWO list and plot the relative frequency against the rank, we receive a typical Zipfian pattern (cf. Fig 1a for the first 1,000 ranks). This means that we have a handful of word forms that have a very high frequency and an overwhelming majority of word forms that have a very low frequency. Or, in other words, our DEREWO list consists of 3,227,479,836 word form tokens. The 200 most frequent word form types in the list make exactly half of those tokens. Log files As mentioned in the previous section, the Wiktionary log file types are roughly 8 times as big as the DWDS log file types. To make the results both comparable and more intuitive, we rescaled the data by multiplying the raw frequency of a query by 1,000,000, dividing it by the sum of all query tokens and rounding the resulting value. We then removed all queries with a value smaller than one.22 Thus, the result-

|| 21 ¾, º, ², ¥, ®, ¡, ™, «, €, ±, \, #, !, $, /, &, ., @, ©, (, %, ), *, +, ;, , ?, =, [, ] ,^ and search requests starting with a hyphen. 22 We think that the scaling is an important step to make the results of the different log file sources intercomparable. Please note that a value smaller than 1 means that the string in question is searched for less than 0.5 times in 1 million search requests. For the DWDS log files, no data were dropped. For the Wiktionary log files, this procedure dropped 4.4 % of all 2012 search request tokens, which, due to the distribution of the frequency list, amounts to 85.6% of all search types. So we only used the remaining 14.4 % for our analyses. Nevertheless, as can be seen in Table 1, we still used the first 185,071 most frequent Wiktionary search request types for the analyses, which is more than all 2012 DWDS search request types. Furthermore, the DWDS and the Wiktionary data point in the same direction, which makes it rather unlikely that the effects we describe are only artefacts resulting from this step. However, to make sure that this step was not a problem for our conclusions, we reran all analyses presented in this contribution for the Wiktionary data without removing any search requests (with values smaller than 1 replaced by 1), so that no data were dropped. In general, those analyses show that the scaling of the data does not invalidate any conclusions drawn; only the Wiktionary token figures presented in Table 8 are smaller for the regular searches, of course.

238 | Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer

ing variable is measured in a unit that we would like to call poms. For example, a value of 8 means that the corresponding phrase is searched for 8 times per one million search requests. Table 1 summarizes the resulting distribution.

Fig. 1: Distributions of the corpus and the log file data. 1a: Relative frequency as a function of the DEREWO rank. 1b: Frequency difference between each successive rank as a function of the DEREKO rank. 1c/d: Relative frequency as a function of the Wiktionary/DWDS rank.

Category (poms) 1 2 - 10 11 - 49 50 - 500 500 + Total

Wiktionary log files (%) 57.94 33.71 6.69 1.63 0.03 100.00 (abs. 185,071)

DWDS log files (%) 57.30 31.15 9.09 2.44 0.02 100.00 (abs. 156,478)

Tab. 1: Categorized relative frequency of the log file data.

The table shows two things: firstly, the Wiktionary and the DWDS log files are quite comparable on the poms-scale; secondly, just like the corpus data, the log files are heavily right skewed (cf. Figure 1c & Figure 1d). More than half of all query types

Dictionary users do look up frequent words. A log file analysis | 239

consist of phrases only searched for once poms. If we cumulate the first two categories, than we can state for both the Wiktionary and the DWDS data that 90% of the queries are requested 1 up to 10 times poms. So there is only a small fraction of all phrases in the log files that are searched for more frequently.

5 Analyzing the data The problem In the last section, we described the data and presented a new unit of measurement called poms. If we think about our research question again – whether dictionary users look up frequent words (frequently) – it is necessary to find an appropriate method for analyzing the data using this unit. For example, we could regress the log file frequency (in poms) on the corpus frequency, but an ordinary least squares (OLS) regression implies a linear relationship between the explanatory and the response variable, which is clearly not given. (Log-)Transforming both variables does not solve our problem, either, and this is in any case seldom a good strategy (O’Hara & Kotze, 2010). We could use the appropriate models for count data such as Poisson regression or negative binomial regression, but, as Baayen (2001, 2008, pp. 222–236) demonstrates at length, we still have to face the problem of a very large number of rare events (LNRE), which is typical for word frequency distributions. And even if we could fit such a model, it would remain far from clear what this would imply for our initial lexicographical question. Using the standard Pearson formula to correlate the corpus and the log file data suffers from the same nonlinearity problem as the OLS approach. Therefore de Schryver et al. (2006) implicitly used the nonparametric Spearman rank correlation coefficient which is essentially just the Pearson correlation between ranked variables. As mentioned above, we believe that this is still not the best solution, mainly because, on a conceptual level, ranking the corpus and log file data implies that subsequent ranks are equidistant in frequency, which is clearly not the case. Figure 1b plots the differences in frequency against the first 100 ranks for the DEREKO corpus data. Again, the inherent Zipfian character of the distribution explains why the ranks are far from equidistant. For example, the difference in frequency between the first and the second rank is 251,480, whereas the difference between the 3000th and 3001th is only 5. Nevertheless the Spearman rank correlation coefficient treats the differences as equal.23 The problem for data analysis becomes even more obvious || 23 In principle, we could use another similarity metric, for example the cosine measure (i.e. the normalized dot product, cf. Jurafsky & Martin, 2009, p. 699), but as in the case of using a count

240 | Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer

when we tabulate categorized versions (described in the last section) of the data against each other (cf. Table 2, Table 3).

Wiktionary logs poms

more than 10 rest Total

DEREKO corpus rank Top 200 rest 86.50% 11.00% 13.50% 89.00% 100.00% (abs. 100.00% (abs. 200) 92,306)

Total 11.17% 88.83% 100.00% (abs. 92,506)

Tab. 2: Crosstab of the DEREKO and the Wiktionary data (Χ2 = 1100.00).

The tables reveal that of the top 200 DEREKO most frequent words, almost 90% are searched for more than 10 poms in Wiktionary or in DWDS. Because those 200 DEREKO word form types make up half of all tokens and because only about 10% of all phrases are searched for more than 10 poms, it seems that there is a relationship between corpus frequency and log file frequency. However, this relationship is far from linear.

DWDS logs poms

more than 10 rest Total

DEREKO corpus rank Top 200 rest 87.50% 15.77% 12.50% 84.23% 100.00% (abs. 100.00% (abs. 200) 92,306)

Total 15.93% 84.07% 100.00% (abs. 92,506)

Tab. 3: Crosstab of the DEREKO and the DWDS data (Χ2 = 766.76).

A possible solution In the last section, we grouped the log files (cf. Table 1) into poms categories. We use this grouping again and stipulate the following categories: if a word form is searched for at least once poms, it is searched for regularly, if it is searched for at least twice, we call it frequent, and if it is searched for more than 10 times, it is very frequent. Table 4 sums up the resulting values. Please keep in mind that according to this definition, a very frequent search term also belongs to the regular and the frequent categories.

|| regression model, we are not sure what the value of the coefficient would actually imply both theoretically and practically.

Dictionary users do look up frequent words. A log file analysis | 241

Category regular frequent very frequent

X searches poms at least 1 at least 2 at least 11

Wiktionary log files (%) 100.00 42.06 8.35

DWDS log files (%) 100.00 42.70 11.55

Tab. 4: Definition of the categories used in the subsequent analysis and relative log file distribution.

Our definition is, of course, rather arbitrary, but due to the Zipf distribution of the data, only a minority of the searches (roughly 4 out of 10) occur more than once poms and even fewer words (roughly 1 out of 10) are searched for more than ten times poms (cf. Table 1). Therefore, this definition at least approximates the distribution of the log file data. Nevertheless, instead of using the categories presented in the first column in Table 4, we could also use the second column to label the categories, so it must be borne in mind that the labels merely have an illustrative function. To solve the problem discussed above, we wrote a Stata program24 that starts with the first ten DEREKO ranks and then increases the included ranks one rank at a time. At every step, the program calculates how many of the included word forms appear in the DWDS and Wiktionary log files regularly, frequently, and very frequently (scaled to percentage). Table 5 summarizes the results for 6 data points. Included DEREKO ranks

10 200 2,000 10,000 15,000 30,000

DWDS (%)

Wiktionary (%)

regular

frequent

100.0 100.0 96.9 85.5 80.3 69.4

100.0 99.0 91.0 72.9 66.5 54.6

very frequent 100.0 87.5 67.6 47.5 41.8 31.3

regular

frequent

100.0 99.5 98.4 86.3 77.4 62.7

100.0 99.5 96.0 75.3 66.1 50.9

very frequent 100.0 86.5 64.9 40.2 33.7 23.4

Tab. 5: Relationship between corpus rank and log file data.

In this table, the relationship between the corpus rank and the log file data becomes obvious: the more DEREKO ranks we include, the smaller the percentage of those word forms appearing regularly/frequently/very frequently in both the DWDS and the Wiktionary log files. Let us assume for example that we prepare a dictionary of

|| 24 All Stata do files can be obtained upon request from AK (koplenig@ids-mannheim), who would also be happy to discuss any further technical or methodological details regarding this approach.

242 | Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer

the 2,000 most frequent DEREKO word forms; our analysis of the DWDS and the Wiktionary data tells us that 96.9 % of those word forms are searched for regularly in DWDS, 91.0 % are searched for frequently and 66.6 % are searched for very frequently. For Wiktionary, these figures are a bit smaller (cf. Section 6.3 for a possible explanation). Figure 2 plots this result for the DWDS and the Wiktionary log files separately. It comes as no surprise that the curve is different for the three categories, being steepest for the very frequent category, since this type of log file data only makes up a small fraction of the data (cf. Table 1 & Table 4).

Wiktionary log files 100

75

75

50

50

25

25 regular

frequent

frequent

included DEREKO ranks

15 00 0

very frequent

10 00 0

1 20 0 00

0 30 00 0

15 00 0

very frequent

10 00 0

1 20 0 00

0

regular

30 00 0

DWDS log files 100

included DEREKO ranks

Fig. 2: Percentage of search requests which appear in the DWDS/Wiktionary log files as a function of the DEREKO rank.

Improving the solution To further improve our analysis approach, we looked at the word forms that are absent in both the DWDS and the Wiktionary log files but that are present in the unlemmatised DEREKO corpus data. There is a roughly 60% overlap, which means that 6 out of ten word forms missing in the DWDS data are also missing in the

Dictionary users do look up frequent words. A log file analysis | 243

Wiktionary data. To understand this remarkable figure, we tried to find out more about the words that are missing in the log files but are present in the corpus data. Therefore, we used the Wiktionary word class information described in Section 2. Table 6 shows the information we gathered. For roughly 60% of the DEREKO word forms (that were absent in both the Wiktionary and the DWDS log files), no information was available in Wiktionary regarding word class. Table 6 also reveals that 15.52 % (last column) of the missing word forms belong to word classes that would not typically be found in a general (non-specialized) dictionary, i.e. declined and conjugated forms, toponyms and proper nouns.25 Word class

Frequency 10,168

Relative frequency 10.99

Cumulative frequency 10.99

Declined form Conjugated form

2,414

2.61

13.60

Toponym

977

1.06

14.66

Proper noun

793

0.86

15.52

Noun

14,366

15.53

31.05

Verb

2,442

2.64

33.69

Adjective

2,309

2.50

36.19

Partizip II (past participle)

785

0.85

37.04

Abbreviation

548

0.59

37.63

Adverb

463

0.50

38.13

Partizip I (participle)

91

0.10

38.23

Preposition

45

0.05

38.28

Other word classes/mixed cases

1,317

1.42

39.70

No information

55,788

60.31

100.00

Tab. 6: Wiktionary word form information about word forms that are present in the DEREKO corpus data but are absent in both the Wiktionary and the DWDS log files.

We then decided to rerun our analysis without these four word classes (printed in boldface in Table 6) and compare the initial results with the updated ones. Table 7 again summarizes the results for 6 data points, while Figure 3 superimposes the updated results of Figure 3 with the initial results coloured in light-grey. For example, our results show that if we prepared a dictionary with the 15,000 most frequent

|| 25 There are of course mixed cases in the Wiktionary word class information data because a word can have multiple meanings. For example, “Hirsch” (stag) can either be a common noun or a family name. In all those cases, we did not exclude those words from the subsequent analysis.

244 | Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer

DEREKO word forms, all of those word forms are looked up in the DWDS and the Wiktionary on a regular basis, 83.3%/90.4% are looked up frequently in the DWDS/ Wiktionary and roughly half of those words forms are looked up very frequently in both the DWDS and Wiktionary. Included DEREKO ranks

10 200 2,000 10,000 15,000 30,000

DWDS (%)

Wiktionary (%)

regular

frequent

100.0 100.0 100.0 100.0 100.0 100.0

100.0 99.5 96.7 86.8 83.3 77.4

very frequent 100.0 95.5 84.8 62.3 54.7 40.6

regular

frequent

100.0 100.0 100.0 100.0 100.0 86.2

100.0 100.0 98.9 92.8 90.4 75.1

very frequent 100.0 98.0 80.1 54.6 47.0 32.1

Tab. 7: Relationship between corpus rank and log file data (updated data).

Wiktionary log files 100

75

75

50

50

25

25 regular

frequent

frequent

included DEREKO ranks

15 00 0

very frequent

10 00 0

1 20 0 00

0 30 00 0

15 00 0

very frequent

10 00 0

1 20 0 00

0

regular

30 00 0

DWDS log files 100

included DEREKO ranks

Fig. 3: Percentage of search requests appearing in the DWDS/Wiktionary log files as a function of the DEREKO rank (updated data in black, original data in grey).

Dictionary users do look up frequent words. A log file analysis | 245

It is rather unsurprising that this step considerably improves our initial results because – like de Schryver et al. (2006) – we used an unlemmatized word list. So in general, our results seem to suggest that it makes more sense to use a lemmatized version of the corpus word list. To check this, we used a lemmatized DEREKO word list.26 Figure 4 shows that our assumption seems to be correct as the results are better for the lemmatized list compared to the unlemmatized list, especially for the DWDS data.

Wiktionary log files 100

75

75

50

50

25

25 regular

frequent

frequent

included DEREKO ranks

15 00 0

very frequent

10 00 0

1 20 0 00

0 30 00 0

15 00 0

very frequent

10 00 0

1 20 0 00

0

regular

30 00 0

DWDS log files 100

included DEREKO ranks

Fig. 4: Percentage of search requests appearing in the DWDS/Wiktionary log files as a function of the DEREKO rank (lemmatized data in black, unlemmatized data in grey).

Evaluating the results Before we discuss our results further in the conclusion, we would like to provide an additional impression of our results by asking what proportion of all search requests (tokens) could be covered with such a corpus-based strategy. Table 8 shows the

|| 26 Again, we used the most recent version of this list published in December 2012 available here http://www1.ids-mannheim.de/kl/projekte/methoden/derewo.html (last accessed 20 June 2013), which we slightly modified in a rough-and-ready manner.

246 | Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer

percentage of all logged search request tokens that would be successful if the first X DEREKO ranks (first column; again with the unlemmatized but updated DEREKO list, cf. Section 6.3) were entered into the relevant dictionary for the DWDS and the Wiktionary data separately. If we again use the example of the first 15,000 DEREKO most frequent word forms, then around half of all DWDS search requests that occur regularly or frequently (poms) are covered, while around two-thirds of all very frequent requests are successful. If we included the 30,000 most frequent DEREKO words, roughly two-thirds of the regular and frequent and 80.0% of the very frequent DWDS search requests would be covered in the dictionary. In other words, this means if we included the 30,000 most frequent DEREKO word forms, the vast majority of requests would be successful. In general, these figures are smaller for the Wiktionary data. Why is that the case? If we look at the data, we see that in Wiktionary, many users search for abbreviations. For example, of the 50 most frequent queries, six are word forms abbreviating typical internet slang phrases (“www”, “wtf”, “imho”, “lmao”, “afk”, “lol”, “aka”), and these make up 12.6 % of all the first 50 query tokens. If we use Google to find out what those abbreviations mean, in 4 out of those 6 cases, the first result presented is a link to Wiktionary; in one case (“lol”), a Wiktionary link is listed under the top 5 hits. Included DEREKO ranks

10 200 2,000 10,000 15,000 30,000

Percentage of all DWDS log tokens

Percentage of all Wiktionary log tokens

regular

frequent

regular

frequent

0.2 3.8 19.3 42.4 49.8 63.7

0.3 4.1 21.2 46.4 54.4 69.2

0.1 1.8 9.8 25.9 34.1 49.3

0.1 2.0 11.0 29.0 38.1 54.9

very frequent 0.3 5.2 26.5 56.7 65.7 80.0

very frequent 0.1 2.7 14.7 36.4 46.7 64.8

Tab. 8: Percentage of log file data covered as a function of the DEREKO rank.

Conclusion In general, the use of a corpus for linguistic purposes is based on one assumption: “It is common practice of corpus linguistics to assume that the frequency distributions of tokens and types of linguistic phenomena in corpora have - to put it as generally as possible some kind of significance. Essentially more frequently occurring structures are believed to hold a more prominent place, not only in actual discourse but also in the linguistic system, than those occurring less often.” (Schmid, 2010, p. 101)

Dictionary users do look up frequent words. A log file analysis | 247

We hope that we have provided evidence in this chapter which shows that, based on this assumption, corpus information can also be used fruitfully when it comes to deciding which words to include in a dictionary.27 If we think about our fictional word “bfk”, which we used as an example in the introduction, most probably everyone will agree that the corpus indeed tells us that it is better to exclude this word from any dictionary. Nevertheless, de Schryver et al. (2006, pp. 78–79) conclude their study by saying that: “[T]he corpus does not provide the 'magic answer' every dictionary maker was hoping for […] There is thus no such thing as words a lexicographer better not treat.”

While we agree that a corpus-based strategy is not the “magic answer”, we simply think it is the best one there is, if the aim of a lexicographical project is either to provide a general description of the vocabulary, or to compile a specialized dictionary for a particular user group. In both cases, a balanced or a special corpus can help to select entries in an economical and intersubjectively traceable manner. Are there any other systematic alternatives? If we again consult the OED frequently asked questions, we find how it used to be before large collections of texts illustrating actual language use were available: “In previous centuries dictionaries tended to contain lists of words that their writers thought might be useful, even if there was no evidence that anyone had ever actually used these words.”28

Exactly this evidence can be found in a corpus and our analysis shows that the frequency information can serve as a proxy for the lookup probability in a dictionary. Maybe one last analysis will drive home our point: if it really does not make any difference which words are included in a dictionary “beyond the top few thousand words” as de Schryver et al. put it (2006, p. 79), then we can drop the 10,000 most frequent DEREKO word forms and then just randomly sample 10,000 of the remaining word forms for our dictionary. If we calculate how many of those word forms are actually being looked up, we find that for the Wiktionary data 34 % and for the DWDS data 45 % of the described word forms are actually being looked up at least once per one million search requests. What happens if we instead base our dictionary on the corpus frequency and describe rank 10,001 up to rank 20,000 in our hypothetical dictionary? In that case, for the Wiktionary data 56% (instead of 34%)

|| 27 It is interesting to note that although the DWDS log files are actual search requests, while the Wiktionary data consist of page views (as mentioned in Section 3), the results for both dictionaries point in the same direction. 28 http://oxforddictionaries.com/words/how-do-you-decide-whether-a-new-word-should-beincluded-in-an-oxford-dictionary (last accessed 20 June 2013).

248 | Alexander Koplenig, Peter Meyer, Carolin Müller-Spitzer and for the DWDS data 67% (instead of 45%)29 are actually being looked up at least once per one million search requests. In a nutshell: our results imply that dictionary users do look up frequent words.

Bibliography Baayen, R. H. (2001). Word Frequency Distributions. Dordrecht: Kluwer Academic Publishers. Baayen, R. H. (2008). Analyzing Linguistic Data. A Practical Introduction to Statistics Using R. Cambridge, UK: Cambridge University Press. De Schryver, G.-M., Joffe, D., Joffe, P., & Hillewaert, S. (2006). Do dictionary users really look up frequent words?—on the overestimation of the value of corpus-based lexicography. Lexikos, 16, 67–83. Hanks, P. (2012). Corpus evidence and electronic lexicography. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 57–82). Oxford: Oxford University Press. Jurafsky, D., & Martin, J. H. (2009). Speech and Language processing: an introduction to natural language processing, computational Linguistics, and speech recognition. Upper Saddle River: Pearson Education (US). Kupietz, M., Belica, C., Keibel, H., & Witt, A. (2010). The German Reference Corpus DeReKo: A primordial sample for linguistic research. In N. Calzolari, D. Tapias, M. Rosner, S. Piperidis, J. Odjik, J. Mariani, … K. Choukri (Eds.), Proceedings of the Seventh conference on International Language Resources and Evaluation. International Conference on Language Resources and Evaluation (LREC-10) (pp. 1848–1854). Valetta, Malta: European Language Resources Association (ELRA). Ludwig-Mayerhofer, W. (2011). Ilmes – Internet Lexikon der Methoden der empirischen Sozialforschung. ILMES – Internet-Lexikon der Methoden der empirischen Sozialforschung. Retrieved September 14, 2013, from http://www.lrz.de/~wlm/ilmes.htm Meyer, C. M., & Gurevych, I. (2012). Wiktionary: A new rival for expert-built lexicons? Exploring the possibilities of collaborative lexicography. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 259–291). Oxford: Oxford University Press. Nesi, H. (2012). Alternative e-dictionaries: Uncovering dark practices. In S. Granger & M. Paquot (Eds.), Electronic lexicography (pp. 363–378). Oxford: Oxford University Press. O’Hara, R. B., & Kotze, D. J. (2010). Do not log-transform count data. Methods in Ecology and Evolution, 1(2), 118–112. Rundell, M. (2012). It works in practice but will it work in theory?’ The uneasy relationship between lexicography and matters theoretical. In J. M. Torjusen & R. V. Fjeld (Eds.), Proceedings of the 15th EURALEX International Congress 2012, Oslo, Norway, 7 – 11 August 2012. Oslo. Retrieved September 14, 2013, from http://www.euralex.org/elx_proceedings/Euralex2012/pp4792%20Rundell.pdf Schmid, H.-J. (2010). Does frequency in text instantiate entrenchment in the cognitive system? In D. Glynn & K. Fischer (Eds.), Quantitative Methods in Cognitive Semantics: Corpus-Driven Approaches (pp. 101–133). Berlin, New York: de Gruyter.

|| 29 In other words, the corpus based-strategy improves the rate of success by roughly 22 percentage points for both the DWDS and the Wiktionary data.

Dictionary users do look up frequent words. A log file analysis | 249

Verlinde, S., & Binon, J. (2010). Monitoring Dictionary Use in the Electronic Age. In A. Dykstra & T. Schoonheim (Eds.), Proceedings of the XIV Euralex International Congress (pp. 1144–1151). Ljouwert: Afûk.



Katharina Kemmer

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? Ergebnisse einer Benutzerbefragung und Blickbewegungsstudie1 Abstract: According to several lexicographers, dictionary users who look up the meaning of a word in an illustrated dictionary mainly (or exclusively) perceive the visual definition, less so the verbal one. This behavior is explained by the iconicity of the picture, its connection to emotions and the speed of image perception. However, the hypothesis that it is images which are primarily perceived by users must be critically evaluated, because, if that is the case, then part of the content (mediated by definition and illustration) is missed by the user, and also because images can be ambiguous. There has until now been no empirical examination of this presumed user behavior. A survey and an eye-tracking study on illustrated online dictionaries were conducted to test the hypothesis that it is mainly illustrations that are perceived by users. The hypothesis was not confirmed by either study. In this paper, the conception and the results of the survey and the eye-tracking study will be described and discussed. Keywords: illustration, definition, eye-tracking, questionnaire

| Katharina Kemmer: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)621-1581434, [email protected]

1 Rezeption der Illustration, aber Vernachlässigung der Paraphrase? Die meisten illustrierten Sprachwörterbücher sind so angelegt, dass die Illustrationen die Bedeutungserläuterung und andere sprachliche Angaben ergänzen. In der Forschungsliteratur wird jedoch oft argumentiert, dass Wörterbuchbenutzer bei einer parallelen verbalen und visuellen Bedeutungserläuterung primär die Illustration(en) betrachten würden (vgl. u. a. Hancher 1996: 81, Hupka 1989a: 234f., 1989b: 708, Kammerer 2002: 262, Klosa in Vorb., Lew/Doroszewska 2009: 254, Werner 1983: || 1 Die Inhalte dieses Aufsatzes finden sich außerdem im Rahmen von Kemmer (in Vorb.) wieder, worin in sehr viel ausführlicherer Form auf die Illustrierung von Onlinewörterbüchern sowie auch auf die beiden hier in Auszügen vorgestellten empirischen Studien eingegangen wird.

252 | Katharina Kemmer

165). Von Bildern gehe eine größere Anziehungskraft aus als von Textmaterial, was eine Lenkung der Aufmerksamkeit des Benutzers im Zuge der Nachschlagehandlung nach sich ziehen könnte. Beim Öffnen eines Wörterbuchs (bzw. eines Wörterbuchartikels eines elektronischen Wörterbuchs) könnte der Blick des Benutzers sofort, d.h. zuerst zum Bildmaterial wandern (vgl. Hancher 1996: 81, Kammerer 2002: 262). Die zugehörigen lexikografischen Texte würden erst an zweiter Stelle rezipiert – vielleicht auch überhaupt nicht. Dass dabei „sicher mancher Wörterbuchbenutzer auf die Lektüre der verbalen Explikation verzichtet, wenn er glaubt, durch das Bild genügend informiert zu sein“ (Werner 1983: 165) wird zudem im Rahmen zweier Studien diskutiert: Lew/ Doroszewska (2009: 254) erörtern beispielsweise in Bezug auf Nachschlagehandlungen in einem zweisprachigen illustrierten Wörterbuch die Möglichkeit, „that participants may have been misled by the animation as to the exact meaning of the word, and never bothered to check the Polish equivalent. […] incorrect meanings can be retained, but this is obviously a negative, undesirable outcome […]”

Auch Lomicka (1998: 48) kann eine solche Verhaltensweise in einer empirischen Untersuchung, der allerdings auf Grund einer geringen Probandenanzahl lediglich Pilotcharakter zugewiesen werden kann, nachweisen. Die primäre (eventuell auch ausschließliche) Bildbetrachtung kann zu einem Problem im Zuge der Wörterbuchkonsultationshandlung werden. Dies liegt zum einen an der in erhöhter Form vorliegenden Polysemie des Bildes, das selten ohne einen begleitenden Text eindeutig interpretiert und verstanden werden kann. Zum anderen gehen Text und Bild bei der Bedeutungserläuterung in der Regel eine Art Symbiose ein, wobei sie einander optimal ergänzen und aufeinander abgestimmt sind. Manche lexikalisch-semantischen Informationen werden zwar durch beide Zeichenmodalitäten dargelegt und somit wiederholt präsentiert, manche werden (bzw. können) allerdings nur durch eines der beiden Darstellungsmittel dargestellt (werden). Im Falle einer solchen Komplementaritätsrelation zwischen Paraphrase und Illustration, wobei ein Darstellungsmittel jeweils als Zusatz (und nicht als Ersatz) zum anderen fungiert, wäre es ungünstig, wenn ein Benutzer nur das Bild betrachtete. Vielleicht würde er dabei einen falschen Eindruck von der Bedeutung eines Stichworts bekommen. Jedoch muss die prioritäre Bildrezeption freilich nicht bei jeder Text-Bild-Kombination zum Problem führen, zumal es auch Nachschlagehandlungen gibt, deren Ursache nicht in einer völligen Unkenntnis eines Stichworts liegt, sondern in einem Sich-(gerade)-nicht-erinnern-Können begründet ist. In solchen Fällen könnte das Bild als Signal ausreichen, um die Erinnerung an die Bedeutung eines Stichworts zu wecken. So sieht Hupka (1989a: 234f., 1989b: 708) in der unterschiedlichen Gewichtung bildlicher und verbaler Information und der Reihenfolge ihrer Rezeption lediglich zwei verschiedene Benutzungsweisen und erachtet

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 253

beide Arten als legitim und als je nach Bedürfnis oder Benutzungsziel durchaus angemessen: „Schlägt der Benutzer ein ihm unbekanntes Wort nach, kann er vom Lemma zur Definition und den Beispielen übergehen und aus dem Bild Ergänzungen und Präzisionen entnehmen. Oder, er blickt, was wahrscheinlicher ist, vom Lemma sofort auf das Bild und verifiziert seine dadurch vermittelte Vorstellung an der Legende, die meist mit dem Lemma identisch ist, so daß die Definition und die Beispiele auch unberücksichtigt bleiben können.“ (Hupka 1989a: 234f.)

Ohnehin steht die empirische Prüfung der oben vorgestellten Hypothese der primären Bildrezeption bislang noch aus (vgl. Klosa in Vorb.). Nach einer Bestätigung der Hypothese der hauptsächlichen oder ausschließlichen Rezeption der Illustration müssten jedoch mögliche Konsequenzen für die Wörterbuchschreibung bedacht werden.

2 Chancen und Grenzen von Paraphrase und Illustration (Text versus Bild) Es soll nun im Folgenden näher auf die beiden Zeichenmodalitäten Sprache und Bild2 eingegangen werden, um auf dieser Grundlage die Kombination aus sprachlichen Erläuterungen (v. a. Angabe der Paraphrase) und Illustrationen im Wörterbuch besser analysieren zu können. Erkenntnisse aus anderen Disziplinen, wie Philosophie, Semiotik, Kognitionswissenschaft oder Bildlinguistik, deuten darauf hin, dass Illustrationen als nützlicher Zusatz zu den lexikalisch-semantischen Angaben (v. a. zu der verbalen Bedeutungsparaphrase) gelten und damit zur Verständniserleichterung wie auch zur Erhöhung des Informationsgehaltes der lexikalisch-semantischen Angaben beitragen können. Bei dem Bild handelt es sich um ein ikonisches und wahrnehmungsnahes Zeichen, das auf dem Prinzip der Ähnlichkeit basiert. Sprache hingegen ist ein symbolisches, arbiträres Zeichen, das sich durch Wahrnehmungsferne auszeichnet. Aus diesem unterschiedlichen semiotischen Charakter der beiden Zeichensysteme resultiert eine differente Wahrnehmung und Verarbeitung von Sprache und Bild: Während Sprache sukzessiv und linear, von Zeichen zu Zeichen wahrgenommen wird

|| 2 Die im Folgenden erläuterten Eigenschaften sind nicht gleichermaßen für alle Bildtypen gültig, sondern stehen in Abhängigkeit von der Komplexität, vom Informationsgehalt und von der Gestaltung des Bildes. Ein leicht zu rezipierendes Element erfordert z.B. eine kürzere Fixationsdauer als eine komplexere und schwer zu rezipierende Komponente, da bei diesen auch die Verarbeitungszeit länger ist (vgl. u. a. Goldberg/Kotval 1999). Ähnliches gilt für die Zeichenmodalität Sprache. Diese Unterschiede zwischen Text und Bild müssen zugunsten einer prägnanten Gegenüberstellung bis zu einem gewissen Grad verallgemeinert werden.

254 | Katharina Kemmer

(vgl. ‚bottom up‘-Prozess), wird das Bild tendenziell eher ganzheitlich und simultan perzipiert (vgl. ‚top down‘-Prozess). Zudem wird das Bild dadurch vergleichsweise schnell, Sprache eher langsamer wahrgenommen und verarbeitet. Bei einer primären Bildbetrachtung, wie sie in Bezug auf Text und Bild enthaltende Bedeutungsangaben befürchtet wird, kann sich wiederum die Tatsache des unterschiedlichen semantischen Potenzials der beiden Zeichensysteme als problematisch erweisen: Einerseits wirkt sich die Wahrnehmungsnähe des Bildes positiv aus, nämlich auf die Wahrnehmung und Verarbeitung des Zeichens und zudem auf die Funktion der Veranschaulichung bzw. Darstellung räumlich-visueller Aspekte, wie im Raum liegender Ausdehnungen oder Anordnungen, durch das Bild, die eben gerade durch die Nicht-Abstraktheit des bildlichen Zeichens gegeben ist. Eine bildliche Darstellung ist imstande, Informationen zu liefern, die mittels Sprache partiell nicht übermittelbar wären. Andererseits ist die Wahrnehmungsnähe dagegen auch als problematisch zu werten: Bilder können aufgrund ihres mangelnden Abstraktionsgrades nur einen spezifischen Gegenstand, selten jedoch die gesamte Klasse von Gegenständen, den Begriff an sich darstellen. Und während Sprache tendenziell noch eher „präzise und bestimmt“ (Stöckl 2011: 49) ist, liegt bei dem Bild regelrecht ein Bedeutungs‚potenzial‘ vor, wodurch sich die Semantik des Bildes durch eine ausgeprägtere Vagheit und Unterdeterminiertheit auszeichnet. Bildwahrnehmung sollte folglich am besten durch begleitenden Text angeleitet und die Angaben im Bild durch sprachliche Angaben ergänzt werden (vgl. auch ‚relais‘-Relation in Kap. 3). (Vgl. Nöth 2000: 490f., Schmitz 2004: 67-69, Stöckl 2006: 18, 2011: 48-50). Für die Lexikografie bedeutet dies, dass der visuellen Bedeutungserläuterung folglich auch Grenzen gesetzt sind, und so herrscht in der Forschung weitgehend Einigkeit darüber, dass Sprache die einzige Zeichenmodalität darstellt, die auf Grund ihres ausreichend hohen Abstraktionsgrades befähigt ist, Definitionen bzw. Bedeutungserläuterungen zu Stichwörtern im Wörterbuch zu geben (vgl. Hupka 1989a: 230, 1989b: 715). Durch ihren hohen Grad an Abstraktion vermag die sprachliche Definition auf eine ganze Klasse von Gegenständen zu verweisen und somit Begriffe abzubilden. Das Bild könne die Vermittlung der distinktiven semantischen Merkmale eines Objekts, wie etwa bei Konkreta nach dem aristotelischen Muster ‚genus proximum + differentia specifica‘, nicht in gleicher Weise wie der Text erfüllen (vgl. Rey 1982: 46f., Rey-Debove 1971: 34, Werner 1983: 166), denn es denotiere im Grunde jeweils nur ein „exemple de la chose“ (vgl. spezifischer Realitätsausschnitt, individuelles Objekt) und rufe keine „évocation de la chose générale“ hervor (Rey-Debove 1970: 34, vgl. auch Werner 1983: 163). Somit bleibt es dem Betrachter (hier: Wörterbuchbenutzer) überlassen, vom Besonderen bzw. Einzelnen auf das Allgemeine zu schließen (vgl. Rey-Debove 1970: 34, Werner 1983: 163). Eine weitere Einschränkung hinsichtlich des Bildeinsatzes ergibt sich aus der Tatsache, dass ikonische Zeichen nur für „sichtbare Objekte und optische Vorstellungen (also auch Vorstellungsobjekte ohne reale Basis, wie etwa ein Einhorn)“ (Werner 1983: 164, vgl. auch Rey-Debove 1970: 33) herangezogen werden können. Daher könne es, so be-

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 255

steht Übereinstimmung, im Verhältnis zur sprachlichen Definition immer nur ergänzend, unterstützend und nicht ersetzend fungieren und dabei der weiteren Erläuterung und Veranschaulichung dienen (vgl. Klosa 2004: 282, Lew 2009: 7, Rey 1982: 46, Varantola 2003: 236, Werner 1983: 165, Zgusta 1971: 257). Wenn der Wörterbuchbenutzer nur das Bild – und nicht den Text – rezipiert, können eventuell wesentliche Aspekte der Semantik einer lexikalischen Einheit von diesem unerkannt bleiben (vgl. Werner 1983: 165). Die visuelle Bedeutungserläuterung hat jedoch auch gewisse Vorteile: Trotz der Überlegenheit der Sprache hinsichtlich der Vermittlung der distinktiven Eigenschaften und Funktionen eines Begriffs sind auch dem semiotischen System ‚Sprache‘ Schranken in Bezug auf seine Leistungsfähigkeit gesetzt, insbesondere „bei der Beschreibung der äußeren Form, der Anordnung verschiedener Teile eines Gegenstandes, kurzum des Aussehens realer Dinge“ (Hupka 1989a: 230). Durch eine Ergänzung oder Doppelung der Informationsvermittlung durch Bildmaterial, das neben die sprachliche Information gestellt wird, können positive Effekte erzielt werden: „Gerade bei dem erforderlichen Abstraktionsgrad jeder Definition ist die Unterstützung durch das Bild das geeignete Mittel zur Informationsabsicherung und Verbesserung der Memorierung. Hierbei erweist sich, dass Redundanz zwischen den beiden Kanälen in beiden Richtungen informationssteigernd wirkt: Das Bild veranschaulicht den abstrakteren Text und dieser beeinflusst die Wahrnehmung des Bildes.“ (ebd.: 247)

In der unterschiedlichen Zeichenhaftigkeit der beiden Darstellungsmittel liegt die besondere Leistungsfähigkeit des bildlichen Zeichens begründet, die auf der anderen Seite Schwächen des sprachlichen Zeichens wettzumachen hilft. Bildern wird außerdem tendenziell eine größere Aufmerksamkeit und größere Gedächtnisleistung zugeschrieben, während Sprache im Vergleich dazu eher wirkungs- und gedächtnisschwach einzuschätzen ist (vgl. u. a. Nielsen/Pernice 2010: 196, Nöth 2000: 490, Stöckl 2011: 48). Dass ein Bild gleichsam als Eye-Catcher fungiert, könnte vor allem in der allerersten Phase der Betrachtung einer Text-BildKombination wahrscheinlich sein, während das Augenmerk noch auf dem Abscannen der Seite und dem Suchen der gewünschten Information liegt. Solche EyeCatcher dienen gewissermaßen als „Stopper“, welche die laufenden Denk- und Handlungsprozesse unterbrechen, da sie zunächst sehr viel dominanter (auffälliger und reizstärker) als andere nebenstehende Komponenten erscheinen.

256 | Katharina Kemmer

3 Verschränkung von Paraphrase und Illustration: Text-Bild-Relation im Wörterbuch Paraphrase und Illustration – gemeinsam mit Lemma und Legende – bilden einen gemeinsamen multimodalen Gesamttext, und diese Wechselseitigkeit zwischen Text und Bild sollte sowohl durch formale Aspekte, wie deren räumliche Nähe, wie auch durch semantische Gesichtspunkte, wie inhaltliche Bezüge zwischen den beiden Modalitäten, herausgestellt und für den Wörterbuchbenutzer interpretierbar gemacht werden. Die Relation zwischen Paraphrase und Bild besteht laut Barthes (1964: 45) in einer ‚Relais‘-Relation, wobei Text und Bild gemeinsam die Gesamtbotschaft vermitteln und in diesem Fall komplementär auftreten. Das Bild kann hier im Verhältnis zur Sprache eine Ergänzung darstellen: In diesem Falle liefert die Illustration andere und zusätzliche Informationen, die im Text nicht zu finden sind, z. B. da sie verbal nur schwer zu vermitteln wären (vgl. u. a. Battenburg 1991: 124, Dodd 2003: 359, Jehle 1990: 145, Rey-Debove 1971: 35). Die Informationen, die über eine Illustration übertragen werden, können sich allerdings auch als eine Wiederholung und Veranschaulichung der verbalen semantischen Erklärung des Lemmas erweisen (vgl. Lemberg 2001: 80, Rey-Debove 1971: 35). Das Verhältnis zwischen Text und Bild ist dann das einer Redundanz, die nicht nur Hupka (1989a: 226, 1989b: 707, 2003: 364) für begrüßenswert erachtet. Wie schon diskutiert, gehen die meisten Lexikografen allerdings davon aus, dass eine Illustration eine Definition nicht gänzlich ersetzen kann (vgl. Klosa in Vorb., Landau 2001: 143f.). Hancher (1996: 81) greift in der Frage nach einer eventuellen gegenseitigen Abhängigkeit, Unabhängigkeit oder auch Unterordnung als Relation zwischen Text und Bild das Phänomen auf, dass der Rezipient der Text-Bild-Kombination sehr wohl frei ist, nur einen der beiden Teile zu rezipieren. Ein Bild kann zeitlich vor dem Text, z. B. sofort nach Aufschlagen einer Wörterbuchseite, oder auch primär, d. h. ohne nachfolgende Textrezeption, betrachtet werden. Hancher (ebd.) argumentiert daher, dass das Bild nicht dem Text untergeordnet, sondern unabhängig von ihm sei. Die Unterordnung der Illustration unter die verbale Bedeutungserläuterung und damit deren Abhängigkeit kann von Lexikografen folglich als Ziel formuliert, letzten Endes jedoch nicht für die tatsächliche Rezeption des Wörterbuchartikels vorausgesetzt werden – da der Benutzer im Lesefluss frei ist und beide in unterschiedlicher Reihenfolge bzw. nur eines der beiden Elemente rezipieren kann. Daneben gibt es außerdem Positionen, nach denen ein Bild in manchen Fällen sehr wohl die Paraphrase ersetzen könne: Eine Illustration zur Erläuterung von Formen und Größen könne durchaus manchmal die verbale Erläuterung substituieren (vgl. Burke 2003: 248, Dubois/Dubois 1971: 10). In sehr seltenen Fällen mag die Rezeption des Bildes für sich genommen funktionieren, also den Rezipienten vom sprachlichen Ausdruck zum Begriff führen, jedoch dürfte dies m. E. nur selten der

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 257

Fall sein. Möglicherweise ist es überhaupt nur bei der Bedeutungserläuterung von Farbbezeichnungen realistisch: Eine Visualisierung, die hier z. B. durch ein einfaches, mit eben jener Farbe ausgefülltes Feld erfolgen könnte, würde einen Wörterbuchbenutzer möglicherweise schon ausreichend informieren. Und doch bleiben schließlich Zweifel, ob nicht zusätzlich auch noch Dinge benannt werden sollten, die eben jene Farbe aufweisen – eine Information, die aus der Illustration alleine nicht zu ziehen ist. Trotzdem sollte eine exakte Abstimmung der jeweiligen Inhalte der Paraphrase und der Illustration das Ziel sein (vgl. Svensén 1993: 170, Werner 1983: 177). Das Ziel bei ihrer Verknüpfung sollte ein „symbiotisches bzw. synergistisches [Verhältnis]“ (Stöckl 2006: 24, vgl. auch ebd. 21f., Schmitz 2004: 69, Wahlster 1996: 305) sein, denn nur durch eine solche Verzahnung der beiden Darstellungsmittel könnten positive Effekte, wie Verständniserhöhung, Informationssteigerung oder auch Verbesserung des Lernprozesses, erwirkt werden (vgl. Hupka 1989a: 247, 1998: 1834). Die gegebenen Informationen sollten einander keinesfalls zuwiderlaufen (vgl. Kaltenbacher 2006: 129), denn empirische Untersuchungen lassen darauf schließen, dass sich mangelhafte Text-Bild-Relationen negativ auf die Informationsaufnahme auswirken können (vgl. Weidenmann 2002: 54). In Bezug auf eine optimale TextBild-Relation besteht jedoch bis heute ein erheblicher Forschungsbedarf (vgl. Klosa in Vorb., Storrer 2001: 66), denn „zum Verfassen logischer, kohärenter und didaktisch sinnvoller Hypertexte [wie auch hypermedial gestalteter Texte, Anm. der Verfasserin] gehört mehr, als bloß Wörter mit irgendwelchen Bildchen zu verknüpfen“ (Kaltenbacher 2006: 155, vgl. zudem die Forschungen in Kemmer in Vorb.).

4 Ergebnisse einer Benutzerbefragung Im Rahmen einer Benutzerbefragung wurde das Rezeptionsverhalten der Benutzer bei Artikeln in Onlinewörterbüchern, die im Rahmen der Bedeutungsangaben Paraphrase und Illustration enthalten, untersucht.3 Es stand die Frage im Vordergrund, welches Darstellungsmittel – d. h. textliche oder bildliche Bestandteile im Bereich der Bedeutungserläuterung – verstärkt vom Benutzer rezipiert wird. Eine Abfrage von Benutzerbedürfnissen, -meinungen und -verhaltensweisen darf als einer mehrerer Schritte zur Erforschung dieser Frage angesehen werden. Das Ziel ist, zu untersuchen, ob bei unterschiedlichen Benutzergruppen verschiedene Ansichten und Bedürfnisse vorliegen, z. B. bei Versuchspersonen, die sich durch Expertise oder durch einen besonderen Zugang zu Wörterbüchern ausweisen.

|| 3 Daneben werden in dieser Umfrage auch weitere Aspekte der Wörterbuchillustrierung abgefragt: Fragen der Selektion zu illustrierender Lemmata und der Illustrationengestaltung, vgl. dazu Kemmer (in Vorb.).

258 | Katharina Kemmer

Die Studie war eine Onlinefragebogenstudie, die mit Unipark programmiert wurde und vom 1. bis 31. August 2011 freigeschaltet war.4 Das Ausfüllen des in deutscher und englischer Sprache vorliegenden Fragebogens dauerte circa 15 Minuten. Der Aufruf zur Studienteilnahme erfolgte per Mail(-inglisten) oder auch über eine Platzierung auf Webseiten. 415 Versuchspersonen nahmen an der Umfrage teil: Es handelte sich um eine vielfältige Benutzergruppe, darunter Lexikografen, Linguisten, Germanisten sowie Studierende und Doktoranden unterschiedlicher Fachrichtungen, aber auch Übersetzer und (Fremdsprachen-)Lehrer, und nicht zuletzt ebenso sogenannte ‚Laien‘, also Personen, die sich nicht unbedingt durch einen speziellen Zugang zu Wörterbüchern auszeichnen (v. a. nichtberufliche Kontakte, Aufruf über Facebook). Die Teilnehmer der Studie sind nicht nur Deutsche, sondern auch Zugehörige anderer Nationalitäten. Es handelte sich folglich um eine erfreulich hohe, gleichzeitig auch vielfältige, wenn auch nicht repräsentative Probandengruppe.5 Die große Beteiligung macht ausführliche Analysen der Ergebnisse möglich, unterstreicht allerdings zusätzlich das Interesse der Probanden am Thema. – Die Probanden sind im Schnitt eher jung: 57 % sind unter 35 Jahren, 71,98 % unter 45. Die Probanden verfügen großenteils über einen speziellen Zugang zu Wörterbüchern, da sie bestimmten Berufsgruppen zuzuordnen sind, wie z. B. Linguisten, Lexikografen, Sprachwissenschaftsstudenten, Übersetzern oder auch Sprachlehrern. 71,57 % der Versuchspersonen ist mindestens einer der Berufsgruppen – Linguist, Lexikograf, Übersetzer und Sprachlehrer – zuzuordnen, sodass diesen Expertise bezüglich der Wörterbuchbenutzung zugesprochen werden kann. – Der Fragebogen lag in Deutsch und Englisch vor, wobei die Probanden in der deutschen Fragebogenversion mit 80,24 % einen sehr viel größeren Anteil an der Probandengruppe ausmachen. Beweggrund für die Bereitstellung des Fragebogens in zwei Sprachen war die Ausweitung des Probandenkreises. Der Kreis der Versuchspersonen sollte nicht nur auf des Deutschen mächtige Wörterbuchbenutzer begrenzt werden. Ziel war hier nicht nur eine Quantitätssteigerung, also die Erhöhung der Probandenzahlen. Intendiert war damit ebenso eine Ausweitung der Versuchspersonen auf Wörterbuchbenutzer unterschiedlicher Muttersprachen, Nationalitäten und abweichender Sozialisation in verschiedenen Wörterbuchmärkten, und somit eine Qualitätssteigerung in Bezug auf die Probandenschaft. Wörterbuchbenutzer unterschiedlicher Nationalitäten haben möglicherweise abweichende Bedürfnisse und Gewohnheiten in Bezug auf illustrierte Onlinewörterbücher. Durch eine stärkere Streuung der Probandenschaft können demnach unerwünschte Gruppeneffekte || 4 Großer Dank gilt hier dem Projekt BZVelexiko bzw. insbesondere Alexander Koplenig für seine Unterstützung bei der Konzeption, Programmierung und Auswertung der Fragebogen- wie auch der Eyetrackingstudie (vgl. www.benutzungsforschung.de, zur Blickbewegungsstudie vgl. auch Abschnitt 5). 5 Repräsentativität wird hier jedoch nicht angestrebt, da die Grundgesamtheit aller Wörterbuchbenutzer generell nicht klar definiert werden kann.

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 259

vermieden werden. Die Ergebnisse der Studie konnten folglich auf Unterschiede in Bezug auf differente Benutzergruppen, unterschieden nach Expertise, Berufsstand, Nationalität oder Alter, analysiert werden, um ein möglicherweise vorliegendes differenzierteres Bild von Benutzerbedürfnissen und -verhaltensweisen zu gewinnen. Zur Beantwortung der Fragen wurden die Befragten gebeten, sich in die Situation zu versetzen, die Bedeutung einer Bezeichnung, die ihnen unbekannt bzw. deren semantischer Gehalt nicht gänzlich vertraut ist, nachzuschlagen, und eine Einschätzung abzugeben, wie sie sich dabei verhalten würden: „Stellen Sie sich bitte vor, Sie kennen die Bedeutung des Wortes Nabe [/ Metronom] nicht und benutzen deshalb ein Onlinewörterbuch mit Illustrationen um die Bedeutung nachzuschlagen: Wie gehen Sie vor? Bitte markieren Sie, inwiefern folgende beiden Aussagen auf Ihre Vorgehensweise zutreffen.“ Auf einer 5er-Skala (‚Ja‘, ‚Eher ja‘, ‚Teils-teils‘, ‚Eher nein‘, ‚Nein‘) sollte jeweils angegeben werden, in welchem Ausmaß auf der einen Seite der Text gelesen bzw. auf der anderen Seite die Illustration betrachtet wird. Die Frage lag – zur Vermeidung bzw. Prüfung der Existenz einer eventuellen Störvariablen, die durch die Auswahl konkreter Beispielillustrationen und -lemmata bedingt sein könnte ,– in dreifacher Ausfertigung vor, sodass hier ein Kontrollfilter verwendet wurde: Eine Probandengruppe erhielt den Teil eines Wörterbuchartikels mit einer verbalen Bedeutungserläuterung und einer Illustration zum Stichwort Metronom (= Gruppe 1, vgl. linke Ansicht in Abbildung 1, vgl. außerdem obere Zeilen in Abbildung 2), eine andere Gruppe Paraphrase und Illustration zum Lemma Nabe (= Gruppe 2, vgl. rechte Ansicht in Abbildung 1, vgl. zudem mittlere Zeilen in Abbildung 2), und wiederum eine dritte Gruppe erhielt nur den Fragetext mit dem Beispielstichwort Nabe, allerdings ohne jegliches Anschauungsmaterial (= Gruppe 3, vgl. untere Zeilen in Abbildung 2). Diese letzte Gruppe (3) war folglich gezwungen, sich eine solche Situation ohne einen Beispielwörterbuchartikel selbst vorstellen zu müssen. Wie in Abbildung 2 ersichtlich, lagen für das Resultat ‚Ja‘ bei der Bildbetrachtung jeweils nur leicht höhere Werte als beim Lesen des Textes vor. Nimmt man die Ergebnisse für ‚Ja‘ und ‚Eher ja‘ zusammen, lagen teilweise sogar höhere Werte für das Textlesen vor. In der Selbstreflexion der Benutzer – losgelöst von tatsächlichen Benutzungssituationen – bestätigen potentielle Benutzer nicht, dass sie die Paraphrase weniger als die Illustration rezipieren würden. Dies kann als ein erster Indikator dafür gewertet werden, dass die These der prioritären Bildbetrachtung zumindest in Frage gestellt werden sollte.

260 | Katharina Kemmer

Abb. 1: Anschauungsmaterial im Fragebogen bei der Frage nach der Rezeption der Bedeutungsangaben bestehend aus Paraphrase und Illustrationen. (Metronom: AndonicO, Wikimedia Commons, lizensiert unter CreativeCommons-Lizenz CC BY-SA 3.0, URL: http://creativecommons.org/licenses/by-sa/3.0/legalcode; Nabe: Ralf Roletschek/Wikipedia, Wikimedia Commons, lizensiert unter CreativeCommons-Lizenz CC BY-NC-ND 3.0, URL: http://creativecommons.org/licenses/by-nc-nd/3.0/legalcode).

4,79 Gruppe1(Textlesen)

1,37

21,23

19,18

53,42

2,74 Gruppe1(Bildbetrachtung)

1,37

19,18

13,01

63,7

0,7 Gruppe2(Textlesen)

21,83

66,2

0

11,27 2,11

Gruppe2(Bildbetrachtung)

16,9

68,31

0

12,68 1,57

Gruppe3(Textlesen)

22,05

62,99

13,39

0 1,57

Gruppe3(Bildbetrachtung)

16,54

67,72

0%

20%

Ja

Eherja

40%

TeilsͲteils

60%

Ehernein

80%

14,17

0

100%

Nein

Abb. 2: Einschätzung der Probanden ihres Verhaltens in Bezug auf Textlesen und Bildbetrachtung, differenziert nach den Gruppen 1 (‚Metronom‘), 2 (‚Nabe‘) und 3 (‚Nabe ohne Beispiel‘).

Bei einer gesonderten Betrachtung der Unterschiede zwischen den drei Frageversionen bzw. Probandengruppen (1 ‚Metronom‘, 2 ‚Nabe‘‚ 3 ‚Nabe ohne Beispiel‘) lässt sich konstatieren, dass sich die anfangs aus der Forschungsliteratur zitierte Len-

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 261

kung, die vom präsentierten Bildmaterial ausgehen könnte – weswegen dieser Filter eingerichtet wurde –, nicht zu bewahrheiten scheint: Bei der Frage nach der Bildrezeption bestand kein signifikanter Zusammenhang zwischen den unterschiedlichen Fragevarianten (vgl. Pearsons χ2 = 7,39 und p = ,495). Zunächst einmal sieht es zwar so aus, als würde zumindest im Falle der Textrezeption zwischen den einzelnen Kontrollfiltersträngen (1 ‚Metronom‘, 2 ‚Nabe‘‚ 3 ‚Nabe ohne Beispiel‘) ein signifikanter Unterschied bestehen (vgl. Pearsons χ2 = 16,77 und p = ,033), doch bei näherer Betrachtung der Werte in der Kreuztabelle und der Mittelwerte (Textlesen: 1,815 für ‚Metronom‘, 1,465 für ‚Nabe‘ und 1,535 für ‚Nabe ohne Beispiel‘) stellt sich heraus, dass der Effekt tatsächlich nur marginal ist. Der eingesetzte Kontrollfilter bringt folglich keine großen Unterschiede zwischen den drei Gruppen hervor. Nachdem zwischen den eingesetzten Kontrollfiltersträngen bzw. Fragevarianten keine signifikanten Unterschiede bestehen, seien die Ergebnisse dieser jeweils drei Varianten nochmals zusammengefasst und in einem Diagramm dargestellt (vgl. Abbildung 3). Hier zeigt sich sehr anschaulich, dass zwischen dem Ausmaß an Bildbetrachtung und Textlesen keine bedeutende Abweichung besteht. Die Probanden gaben mehrheitlich an, beide Formen der Bedeutungserläuterung zu nutzen, sodass von einer Vernachlässigung der Paraphrase nicht gesprochen werden kann.

IchbetrachtedasBild.

66,51

IchlesedenText.

15,42

60,72

0%

10% Ja

20% Eherja

30%

20,96

40%

TeilsͲteils

50%

60%

Ehernein

70%

80%

15,42

2,17 0,48

15,42

2,41 0,48

90%

100%

Nein

Abb. 3: Rezeptionsverhalten der Probanden: Fragevarianten (Gruppen 1 ‚Metronom‘, 2 ‚Nabe‘‚ 3 ‚Nabe ohne Beispiel‘) zusammengefasst.

Bei unterschiedlichen Benutzergruppen waren keine signifikanten Unterschiede im Antwortverhalten nachweisbar. Weder unterschieden sich z. B. Experten (darunter gerechnet wurden hier: Linguisten, Lexikografen, Übersetzer und Sprachlehrer) wesentlich von Nicht-Experten insgesamt, noch einzelne Gruppen wie Übersetzer von Nicht-Übersetzern oder Linguisten von Nicht-Linguisten, und zudem waren

262 | Katharina Kemmer

außerdem keine Unterschiede zwischen unterschiedlichen Altersgruppen nachzuweisen. Wie oben erläutert sollen die Ergebnisse der Befragung als erster Indikator dafür gewertet werden, dass die These der prioritären Bildbetrachtung zumindest in Frage gestellt werden sollte. Die gleichwertige Rezeption von Sprache und Bild ist damit jedoch noch nicht hinlänglich nachgewiesen. Genannt wurde in diesem Zusammenhang bereits die Problematik der Studie als einer künstlichen Benutzungssituation, sodass nur vorsichtig auf tatsächliche Benutzungssituationen geschlossen werden darf. Zudem ist es erstens so, dass ein Proband in einer Fragebogenerhebung sein Handeln selbst einschätzen muss und dabei vor der Schwierigkeit steht, sich an vergangenes Verhalten erinnern zu müssen. Zweitens ist es so, dass der Proband sein Handeln selbst beurteilen darf, wobei eine Verzerrung des Antwortverhaltens, etwa hinsichtlich sozialer Erwünschtheit (vgl. u. a. DIEKMANN 2010: 447-449, NESI 2000: 12, PORST 2009: 27), nicht ausgeschlossen werden kann. Eine Verzerrung der Untersuchungsresultate ist bei der Frage nach dem Rezeptionsverhalten denkbar: Ein Proband könnte etwa gebildet wirken wollen und daher behaupten, selbstverständlich auch den Text zu lesen. Derlei Verhalten darf zwar als möglich, aber m. E. dennoch nicht als sehr wahrscheinlich erachtet werden, da es sich in diesem Falle um keine wirklich heikle Frage (wie z. B. nach dem Einkommen o. Ä.) handelt und der Wunsch nach einer Verschleierung der Tatsachen vonseiten des Probanden daher eher nicht anzunehmen ist. Als Konsequenz für die Wörterbuchschreibung darf folglich m. E. festgehalten werden, dass es möglicherweise eher unwahrscheinlich ist, dass Wörterbuchbenutzer (auch unterschiedlichster Eigenschaften) nur die Illustration rezipieren und dagegen die Paraphrase ignorieren würden: In der Umfrage gaben nur 53 von 415 Probanden (12,77 %), an, hauptsächlich das Bild zu betrachten.6 Trotzdem ist festzuhalten: Zum einen sollte weiterhin die direkte räumliche Nähe von Paraphrase und Illustration als Richtlinie angesehen werden, d. h. es sollten die verbale und die visuelle Bedeutungserläuterung nahe beieinander platziert werden, um deren Einheit zu verdeutlichen und dem Wörterbuchbenutzer die parallele Rezeption zu erleichtern (vgl. auch die Ausführungen oben: Kap. 2 und 3). Zum anderen ist es daneben wohl trotz des Erkenntnisgewinns aus dieser Befragung sinnvoll, das Rezeptionsverhalten der Wörterbuchbenutzer nochmals mit Hilfe einer weiteren Methode, eines Tests in Form einer Eyetrackingstudie zu verifizieren, wobei man dem ‚wahren‘ Verhalten des Benutzers mutmaßlich noch ein Stück näher kommen könnte (vgl. Kap. 5).

|| 6 „Hauptsächlich das Bild betrachten“ ist als folgendes Antwortverhalten definiert: Bei der Frage nach der Bildbetrachtung wählt der Proband die Antworten ‚Ja‘ oder ‚Eher ja‘ und bei der Frage nach dem Textlesen dagegen die Angaben ‚Teils-teils‘, ‚Eher nein‘ oder ‚Nein‘. Dieses Antwortverhalten ist bei 53 Versuchspersonen, d. h. 12,77 % der Befragten, verzeichnet.

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 263

Trotz der Tatsache, dass in der Fragebogenerhebung nicht sehr viele Probanden angaben, hauptsächlich das Bild zu betrachten, soll hier nochmals etwas genauer hingesehen werden: Wer sind diese 53 Probanden, die ihrer Aussage nach primär die Illustration rezipieren, und worin liegen ihre Beweggründe? Um sich der Beantwortung der Frage zu nähern, wurden die demografischen Daten (insbesondere beruflicher Hintergrund und Alter) analysiert. Diese Analysen ergaben, dass es weder zwischen Experten (erneut definiert als: Linguisten, Lexikografen, Übersetzer und Sprachlehrer) und Nicht-Experten insgesamt oder auch im Einzelnen zwischen Linguisten, Lexikografen, Übersetzern, Sprachlehrern und solchen, die es jeweils nicht sind, signifikante Unterschiede gibt: Jeweils beide Gruppen, also z. B. sowohl Linguisten als auch Nicht-Linguisten, sind unter den 53 Probanden mit dem Verhalten primärer Bildbetrachtung vertreten. Auch zwischen den Probanden aus den unterschiedlichen Fragebogenversionen bestehen keine signifikanten Differenzen: Sowohl deutschsprachige als auch anderssprachige Probanden legten ähnliche Verhaltensweisen an den Tag, in beiden Gruppen gab es solche, die hauptsächlich das Bild betrachteten, und solche, die beides oder sogar hauptsächlich den Text rezipierten. Ein zumindest marginal signifikantes Ergebnis ergab sich allerdings im Kreuzvergleich der jüngeren und älteren Befragten: So war der Anteil derjenigen, die hauptsächlich das Bild rezipierten, bei den unter 35-Jährigen höher (67,92 %) als bei den über 35-Jährigen (32,08 %) (vgl. Pearsons χ2 = 2,95 und p = ,086). Die 53 Versuchspersonen, die angaben, hauptsächlich das Bild zu betrachten, bekamen in der Studie eine zusätzliche Frage zu den Beweggründen für ihr Handeln gestellt. Hierfür sollten sie auf einer 7er-Skala (‚[1] Stimme überhaupt nicht zu‘ bis ‚[7] Stimme voll und ganz zu‘) erläutern, inwiefern die unterschiedlichen Ursachen für ihr Handeln von Belang waren: – Das Bild ist auch ohne Text verständlich. – Das Bild ist auch ohne Text eindeutig. – Es ist einfacher, hauptsächlich das Bild zu betrachten. – Es geht schneller, hauptsächlich das Bild zu betrachten. Nachfolgende Tabelle und Abbildung (vgl. Tabelle 1 und Abbildung 4) zeigen, dass der gewichtigste Beweggrund für die Entscheidung einiger Probanden, hauptsächlich das Bild zu betrachten, der Zeitfaktor zu sein schien, denn Median und Mittelwert waren bei Aussage vier („Es geht schneller, …“) am höchsten. Die Probanden bestätigten außerdem die Verständlichkeit eines vom Text losgelösten Bildes, und auch der Aussage „Es ist einfacher, …“ stimmten die Befragten mit hohen Werten zu. Die niedrigsten Werte bei Median und Mittelwert erreichte Aussage zwei („Das Bild ist auch ohne Text eindeutig.“), d. h. es lag eine geringere Zustimmung vor in der Frage, ob ein Bild ohne Text eindeutig, also exakt deutbar zu sein vermag. Hier schienen sich die Probanden weniger sicher zu sein:

264 | Katharina Kemmer

Median

Mittelwert

Es geht schneller, hauptsächlich das Bild zu betrachten.

7

6,06

Es ist einfacher, hauptsächlich das Bild zu betrachten.

6

5,34

Das Bild ist auch ohne Text verständlich.

6

5,30

Das Bild ist auch ohne Text eindeutig.

5

4,72

Tab. 1: Median- und Mittelwerte bei der Frage nach den Beweggründen für die hauptsächliche Bildbetrachtung.

3,77 Schneller

71,7

Einfacher

9,43

41,51

Verständlich

13,21

35,85

Eindeutig

22,64 0%

10%

28,3

20,75 20%

7Stimmevollundganzzu

18,87

30% 6

16,98 40%

5

7,55

50% 4

3

60% 2

70%

80%

90%

100%

1Stimmeüberhauptnichtzu

Abb. 4: Absolute Häufigkeiten bei der Frage nach den Beweggründen für die hauptsächliche Bildbetrachtung.

Auf der anderen Seite gab es allerdings auch das andere Extrem, d. h. eine Reihe von Probanden, die angaben, hauptsächlich den Text zu lesen, das Bild dagegen eher weniger zu betrachten: Mit 52 von 415 Befragten (12,53 %) gaben nahezu genauso viele Versuchspersonen an, hauptsächlich den Text zu lesen wie solche, die hauptsächlich das Bild betrachten. Auch in diesem Falle handelte es sich um eine

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 265

relativ kleine Menge an Befragten. Auch dieses Ergebnis darf als Indiz dafür gewertet werden, dass diese Wörterbuchbenutzungspraxis nicht übermäßig häufig vorzukommen scheint, und doch muss die Möglichkeit einer einseitigen, also a u s s c h l i e ß l i c h e n Rezeption, d. h. e n t w ed e r der Illustration o d e r der Paraphrase, in Betracht gezogen werden. Die Zielsetzung, die verbale und die visuelle Bedeutungserläuterung in ein symbiotisches Verhältnis zu stellen, wobei sich die darin gegebenen Angaben vielleicht teilweise wiederholen, aber vor allem auch optimal ergänzen, bleibt m. E. jedoch weiterhin wichtig, insbesondere da hier nur jeweils ein kleiner Teil der Versuchspersonen angab, nicht beide Elemente gleichermaßen zu betrachten. Allerdings ist m. E. Lew (2002: 268) zuzustimmen, der sagt: „The questionnaire is not everything.“ Die Befragungstechnik kann nur e i n e Datenerhebungsmethode darstellen und muss um weitere Untersuchungstechniken erweitert werden, weswegen im Rahmen der Forschungsarbeiten zu Illustrationen im Onlinewörterbuch mit einer Blickbewegungsstudie eine zusätzliche Untersuchungsmethode angetestet sowie ein Ausblick auf sonstige Methoden, die sich zur weiterführenden Erforschung des Untersuchungsgegenstands der „Illustrationen im Onlinewörterbuch“ eignen würden, vorgelegt wird (vgl. Kemmer in Vorb.).

5 Ergebnisse einer Blickbewegungsstudie Eine weitergehende Untersuchung und die Anwendung einer weiteren Datenerhebungsmethode sind für eine Prüfung des Ergebnisses aus der Befragung lohnend. Entspricht die mehrheitliche Aussage der Benutzer, bei der Lektüre eines illustrierten Onlinewörterbuchartikels zum Erwerb oder zur Verifizierung von Wortbedeutung sowohl Paraphrase als auch Illustration wahrzunehmen, ihrem tatsächlichen Verhalten (wenn auch wiederum in einer künstlichen Situation)? Hingegen wäre ebenso denkbar, dass sich die Probanden nicht erinnern oder sich vorstellen können, wie sie in solch einer Situation einmal verfahren sind bzw. verfahren würden, denn nur über bewusste sowie erinnerte Rezeptionsprozesse kann Auskunft erteilt werden. Ebenso ist es möglich, dass sie ihre tatsächliche Verhaltensweise (dies ist möglicherweise doch die hauptsächliche Bildbetrachtung?) verschleiern möchten, da sie befürchten, dass dieses Verhalten weniger ‚sozial erwünscht‘ sein und sie weniger gebildet wirken könnten. Bei einer Umfrage ist man also auf den Willen wie auf die Fähigkeit der Probanden, ihr Verhalten oder ihre Einstellung wahrheitsgemäß und korrekt einzuschätzen und preiszugeben, angewiesen. Demgegenüber steht die Blickbewegungsuntersuchung, die auf der Datenerhebungsmethode der Beobachtung basiert: “Since eye movements are generally thought to be involuntary, eye tracking provides objective data of users’ visual interaction with a system.” (Bruneau u. a. 2002)

266 | Katharina Kemmer

Hierbei können die Ergebnisse weit weniger stark vom Probanden beeinflusst werden, weswegen diese Datenerhebungsmethode in besonderer Weise verlässliche Daten zu erbringen verspricht, und somit die Aussagen des Wörterbuchbenutzers nochmals verifiziert werden können. Ziel der Methode ist die Aufzeichnung der Blickbewegungen der Wörterbuchbenutzer bei der einer bestimmten Fragestellung folgenden Konsultation eines Onlinewörterbuchs. Über die Aufzeichnung der Augenbewegungen können Rückschlüsse darauf gezogen werden, welche Inhalte wann, wie oft und wie lange rezipiert und welche Elemente nicht in den Blick genommen werden. Mit einer Eyetrackingstudie kann neben den vom Benutzer rezipierten Inhalten, also dem ‚Was‘ der Rezeption, ebenso das ‚Wie‘, d. h. wie die Benutzer auf bestimmte lexikografischen Daten zugreifen, untersucht werden (vgl. Simonsen 2011: 75). Es können somit auch Suchund Zugriffstechniken der Wörterbuchbenutzer aufgedeckt werden. Dabei helfen Blickbewegungsstudien auch bei der Einschätzung der Benutzerfreundlichkeit des Aufbaus, des Designs und des Zugriffs auf ein bestimmtes Onlinewörterbuch (vgl. ebd.: 79). Bei Blickregistrierungsuntersuchungen können grundsätzlich eine Vielzahl unterschiedlicher Parameter von Augen- und Blickbewegungen aufgezeichnet und analysiert werden (vgl. Übersichtsdarstellungen bei Goldstein 2011, Poole/Ball 2004). Insbesondere sind allerdings zwei Basisparameter maßgeblich: zum einen die sogenannten ‚Sakkaden‘, zum anderen die ‚Fixationen‘. “Saccades are rapid eye movements used in repositioning the fovea to a new location in the visual environment.” (Duchowski 2007: 42). Unter dem Terminus ‚Sakkaden‘ werden also die Blicksprünge verstanden, die eine Person bei der Rezeption einer Seite vollzieht, denn um das gesamte Blickfeld (auch: Reizfeld) sondieren zu können, sind Sakkaden als Neuausrichtungen des Auges zwischen zwei Fixationspunkten notwendig. Während eines solchen Blicksprungs wird die Wahrnehmung gestoppt, also keine Information aufgenommen und verarbeitet: „[…] we’re effectively blind during a saccade“ (Nielsen/Pernice 2010: 7, vgl. den Effekt der ‚saccadic supression‘). Unter ‚Fixationen‘ versteht man Zustände, in denen das Auge in Bewegungslosigkeit verweilt: „Fixations are eye movements that stabilize the retina over a stationary object of interest.“ (Duchowski 2007: 46). Die Unterscheidung von Sakkade und Fixation erfolgt aufgrund zweier Parameter: In Bezug auf den Faktor ‚Zeit‘ ist festgelegt, dass man erst ab einer festgelegten minimalen Verweildauer von einer Fixation spricht, da die visuelle Informationsaufnahme erst ab einer Fixationsdauer von 100 Millisekunden [= ms] möglich wird (‚Minimum Fixation Duration‘); der Faktor ‚Ort‘ grenzt eine Fixation insofern ein, als der Fixationsradius auf 50 Pixel begrenzt sein muss, also allenfalls räumlich limitierte Mikrokorrekturen erfolgen dürfen (‚Fixation Radius‘) (vgl. Joos u. a. 2003: 155f.). Sakkaden und Fixationen können mittels Eyetracking aufgezeigt werden und liefern erste interessante Anhaltspunkte über die Rezeption der Seitenelemente. Sowohl die Sakkadenamplitude (-länge) als auch die Fixationsdauern stehen in Abhängigkeit zur Art des visuellen Reizes bzw. des Inte-

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 267

resses und der Aufgabenstellung der Betrachtung (vgl. ebd., Richardson/Spivey 2008: 1038). – Es können somit der Fixationsort, die Fixationsdauer und -häufigkeit sowie der Blickverlauf (auch ‚Fixationsreihenfolge‘, ‚Gaze‘ bzw. ‚Gaze-Plot‘ genannt) ermittelt werden. Da Eyetracker außerdem nur den fovealen, d. h. fixierten, Bereich aufzeichnen (vgl. Nielsen/Pernice 2010: 6), können die knapp daneben liegenden Areale, also die parafovealen oder peripheren Bereiche, nicht erfasst werden. Dies ist problematisch, da insbesondere bei der Wahrnehmung von Bildern auch diese randständig liegenden Flächen perzipiert werden können. Um diese Unzulänglichkeiten bei den Messungen ausräumen zu können, können z. B. sogenannte ‚ Areas of Interest‘ (AOIs) gebildet und die entsprechenden Parameter jeweils für diese Areale (inhaltlich zusammengehörigen Blickfelder) insgesamt erhoben werden. Die Ergebnisse können dadurch besser und exakter ausgewertet werden. Bei der hier durchgeführten Eyetrackingstudie haben 38 Probanden teilgenommen, wovon 30 weibliche und 8 männliche Studienteilnehmer waren. Im Durchschnitt waren sie 22,89 Jahre alt. Das Alter des jüngsten Teilnehmers (bzw. der jüngsten Teilnehmerin) lag bei 19 Jahren, das des Ältesten bei 32 Jahren. Alle Probanden waren muttersprachliche Deutschsprecher. Dies war von entscheidender Bedeutung, da bei der Benutzung der in der Studie vorgelegten deutschsprachigen Onlinewörterbuchansichten somit Sprachbarrieren, die ein abweichendes Benutzungsverhalten nach sich ziehen könnten, ausgeschlossen werden konnten. – Es handelte sich bei der Blickbewegungsstudie nicht um eine eigene, vollwertige Untersuchung ausschließlich zum Thema der Wörterbuchillustrationen, vielmehr komplettierten zwei Fragen zu diesem Thema eine Eyetrackinguntersuchung zu einer Reihe anderer Aspekte onlinepublizierter Wörterbücher.7 Folglich handelte es sich in Bezug auf die Probandenanzahl (38 Probanden, weitere Informationen s. u.) zwar um eine vollwertige Studie, der Umfang der untersuchten Ansichten aus bebilderten Onlinewörterbuchartikeln (4 Ansichten) war allerdings begrenzt, sodass der Umfang der zu prüfenden Hypothesen begrenzt war. – Die Studie war hinsichtlich ihres Ablaufs so aufgebaut, dass nach jeder Ansicht, bei welcher die Blickbewegungen aufgezeichnet wurden, eine Frage zu den in der Wörterbuchansicht gewonnenen Informationen gestellt wurde (vgl. Koplenig/Müller-Spitzer: Eye tracking study, in diesem Band). Dieser Ablauf sollte für die vier Ansichten zu den Wörterbuchillustrationen nicht durchbrochen werden. Für die hier gestellte Forschungsfrage ist dieser Aufbau problematisch, da der Proband beim Durchgang durch die Studie gewissermaßen ‚gelernt‘ hat, dass jeweils eine Aufgabe gestellt wird und nach der Betrachtung des Wörterbuchartikels darin erworbenes Wissen abgefragt || 7 Diese Eyetrackingstudie wurde im August und September des Jahres 2011 im Rahmen des Projekts BZVelexiko am Institut für Deutsche Sprache in Mannheim durchgeführt. Auf dieses Projekt und seine empirischen Untersuchungen wurde bereits Bezug genommen, da hier insgesamt fünf Studien – vier Benutzerbefragungen und eine Eyetrackinguntersuchung – realisiert wurden (vgl. Müller-Spitzer et al., in diesem Band).

268 | Katharina Kemmer

wird, und dies mittels Multiple-Choice-Antwort in verbaler Form. Wer dies verinnerlicht hat, könnte weniger die Notwendigkeit sehen, sich neben der Paraphrase (in welcher man die für die Abfrage notwendigen Formulierungen finden könnte) ebenso die Illustrationen anzuschauen bzw. womöglich sogar auf die Textrezeption zu verzichten. Die Ergebnisse aus dieser Blickregistrierungsuntersuchung stellen einen Zusatz zur oben dargestellten Benutzerbefragung dar. Ziel der Studie war es, zu untersuchen, welche der beiden Zeichenmodalitäten (Paraphrase oder Illustration) in stärkerer Form rezipiert wird, und in welcher Reihenfolge beide wahrgenommen werden.8 Die Hypothese lautete hierbei nochmals, wie bereits bei der Benutzerbefragung: Ein Wörterbuchbenutzer wird die Illustration verwenden, um sich über die Bedeutung eines Wortes zu informieren; bei manch einem Benutzer bleibt dabei die Rezeption der Paraphrase auf der Strecke. Das Bild fungiert außerdem als sogenannter Eye-Catcher, sodass die Blickbewegungen zunächst auf dem Bild bzw. den Bildern zum Stehen kommen. Anhand verschiedener Parameter sollte eine mögliche Präferenz von Paraphrase oder Illustration gemessen werden, wie z. B. mit Hilfe der Fixationsdauer und -häufigkeit und mittels Blickpfaden. – Bei der Auswertung der gemessenen Daten musste jedoch auch beachtet werden, dass die Bildrezeption schneller erfolgen kann als die Textrezeption. Eine kürzere Verweildauer auf dem Bildmaterial war demnach wahrscheinlich und nicht als Zeichen dafür zu sehen, dass der Text stärker rezipiert würde. Den Versuchspersonen wurden Ansichten illustrierter Onlinewörterbuchartikel (zu unterschiedlichen Lemmata, Schneckengetriebe und Pfahlstich, und mit unterschiedlicher Aufgabenstellung bzw. Bildreihenfolge) vorgelegt, mit Hilfe derer sie sich jeweils über die Bedeutung eines ihnen unbekannten Lemmas informieren sollten (vgl. Abbildungen 5 und 6). Diese Ansichten von Wörterbuchartikeln enthielten zum einen eine verbale Bedeutungserläuterung (in Form einer Paraphrase) und zum anderen eine visuelle Bedeutungserläuterung (in Gestalt zweier Illustrationen). Es handelte sich insgesamt um vier Seiten: Diese den Versuchspersonen vorgelegten Ansichten waren dem Rat Goldberg/Wichanskys (2003: 508), nach denen „Extraneous peripheral information should be controlled within tasks“, zufolge sehr schlank gestaltet und von störenden, die Wahrnehmung ablenkenden Elementen

|| 8 Darüber hinaus war zweitens die Erforschung einer eventuellen Präferenz eines der beiden bildlichen Darstellungsmittel (Fotografie versus Zeichnung bzw. stilisierte Darstellung) als weiteres Untersuchungsziel anzusehen. Die dem Probanden vorgelegten Onlinewörterbuchansichten enthielten jeweils zwei Illustrationen, darunter eine Fotografie und eine Zeichnung bzw. Grafik. Die Frage war, welche der beiden Darstellungsformen vom Probanden fixiert wird. Die Ergebnisse können Erkenntnisse hinsichtlich der folgenden Fragen erbringen: Welches Darstellungsmittel ist leichter zu rezipieren? Welches enthält mehr Informationen, die für die Bedeutungserläuterung wichtig sind? Welches wird im Allgemeinen präferiert, d. h. welches wird vom Wörterbuchbenutzer als angenehmer oder auch schöner erachtet? (Vgl. Kemmer in Vorb.)

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 269

wie Browserfenstern und zugehörigen Taskleisten, Menüleisten, Werbebannern etc. bereinigt. Somit werden Blickbewegungen, welche der Suche der eigentlichen Wörterbuchangaben gewidmet sind und die bei der Auswertung fehlinterpretiert werden könnten, von vornherein ausgespart: Dies scheint m. E. legitim, da damit ohnehin nur solche Suchprozesse und die zugehörigen Blickbewegungen unterbunden werden, die nur bei erstmaliger Benutzung eines Wörterbuchs und damit vor einer Einprägung des Aufbaus eines Onlinewörterbuchs auftreten würden. Vielmehr wird durch diese vereinfachten Wörterbuchansichten die Wahrnehmung sogleich auf diese Wörterbuchinhalte gelenkt. Jede Versuchsperson bekam eine Ansicht zum Lemma Pfahlstich und eine zu Schneckengetriebe zugewiesen. Auf jede der nachfolgenden Wörterbuchdarstellungen kamen die Blickbewegungen von 19 Versuchspersonen (vgl. Abbildungen 5 und 6).

Einleitungstext 1 Sie sehen auf der folgenden Seite einen Wortartikel zu Schneckengetriebe. Bitte finden Sie heraus, was ein Schneckengetriebe ist.

Einleitungstext 2 Sie sehen auf der folgenden Seite einen Wortartikel zu Schneckengetriebe. Bitte finden Sie heraus, was ein Schneckengetriebe ist, d.h. woraus es besteht, wie es aussieht und wozu es dient.

Was versteht man unter Schneckengetriebe? ‡ Ein Zahnradgetriebe, das aus zwei Rädern besteht und das der Übertragung von Bewegung dient. ‡ Ein Zahnradgetriebe, das aus drei Rädern besteht und das der Übertragung von Bewegung dient. ‡ Ein Zahnradgetriebe, das aus vier Rädern besteht und das der Übertragung von Bewegung dient. ‡ Weiß nicht / keine Angabe

Abb. 5: Aufbau der Eyetrackingstudie für die Wörterbuchansicht zum Lemma Schneckengetriebe mit unterschiedlicher Fragestellung (Einleitungstext 1: ohne zusätzlichen Hinweis, worauf man insbesondere achten soll, um die Bedeutung des Wortes zu lernen; ~ 2: mit entsprechendem Hinweis) (1: Markus Schweiss, Wikimedia Commons, lizensiert unter CreativeCommons-Lizenz CC BY-SA 3.0, URL: http://creativecommons.org/licenses/by-sa/3.0/legalcode; 2: public domain).

Die Frage war nun, wie intensiv, also wie lange und wie oft, die beiden Elemente (Paraphrase und Illustration) jeweils rezipiert werden. Sogenannte ‚Heat Maps‘ (vgl. z. B. Abbildung 7) zeigen die totale Dauer der Betrachtung eines Bereiches an, wobei darin durch eine entsprechende Einfärbung die Fixationsdauer je Stimulus ange-

270 | Katharina Kemmer

zeigt wird: Von blau bis rot erhöht sich stufenweise die Anzahl der Millisekunden, welche für die Wahrnehmung eines Bereichs aufgewendet werden (vgl. den farbigen Balken am unteren Abbildungsrand): Eine weiße bzw. fehlende Einfärbung steht für eine fehlende Aufmerksamkeit, Blau und Grün zeigen eine flüchtige Betrachtungsdauer, während der allerdings bereits eine Bilderkennung möglich ist, an, und die gelbe bis rote Einfärbung steht schließlich für eine intensive Betrachtungsdauer. Die Paraphrase wurde von der Fixationsdauer her gemessen in allen vier Fällen insgesamt länger wahrgenommen als die Illustrationen, allerdings muss einschränkend bemerkt werden, dass Bildinhalte schneller zu erfassen sind als Textinhalte (vgl. die Wahrnehmung von Sprache als symbolischem Zeichensystem bzw. von Bildmaterial als ikonischem und damit wahrnehmungsnäherem Zeichensystem) und dass die Probanden zudem nicht unter Zeitdruck standen.

Sie sehen auf der folgenden Seite einen Wortartikel zu Pfahlstich. Bitte finden Sie heraus, was ein Pfahlstich ist, d.h. woraus es besteht, wie es aussieht und wozu es dient. 1

2

Was versteht man unter Pfahlstich? ‡ Einen Knoten, der als Zierknoten der Verzierung dient. ‡ Einen Knoten, der zum Knüpfen einer festen Schlaufe dient. ‡ Einen Knoten, der zur Vertäuung von Schiffen dient. ‡ Weiß nicht / keine Angabe

Abb. 6: Aufbau der Eyetrackingstudie für die beiden Wörterbuchansichten zum Lemma Pfahlstich (Bilder in unterschiedlichen Positionen: Position 1: mit der Reihenfolge Fotografie – Zeichnung; ~ 2 mit der Reihenfolge Zeichnung – Fotografie) (1: public domain; 2: User:Hella, Wikimedia Commons, lizensiert unter CreativeCommons-Lizenz CC BY-SA 3.0, URL: http://creativecommons.org/licenses/by-sa/3.0/legalcode).

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 271

Abb. 7: ‚Heat Map‘ als Datenansicht für die Wahrnehmung des Onlinewörterbuchartikels zu Pfahlstich – Version 1 (Fotografie an erster Position).

Auch waren zwischen den einzelnen Ansichten Unterschiede in der jeweiligen Dauer der Rezeption von Paraphrase und Illustrationen zu erkennen: Jeweils einmal schien die Wahrnehmung des einen bzw. des anderen Elements (im Vergleich zu den anderen untersuchten Wörterbuchansichten) stärker ausgeprägt zu sein (vgl. Abbildung 8). Die einmal längere Fixierung des Textes (vgl. ebd.: linke Wörterbuchansicht) ist möglicherweise eben damit zu erklären, dass die Aufnahme und Verarbeitung sprachlicher Informationen längere Zeit dauert als dies bei einer Wörterbuchillustration der Fall ist, deren Komplexitätsgrad häufig – wie auch hier – nicht sehr hoch ist. Und die in einem Falle stärkere Perzeption des Bildes (vgl. ebd.: rechte Wörterbuchansicht) könnte damit zusammenhängen, dass gerade die Zeichnung zum Lemma Pfahlstich eine relativ hohe Komplexität und Detaildichte aufweist und dem Betrachter bei eingehender Betrachtung die Knüpftechnik, mit welcher der Knoten gebunden ist, erläutert (vgl. Abbildung 9). Als Ergebnis bleibt demnach festzuhalten, dass beide Zeichenmodalitäten (Text und Bild, in Form von Paraphrase und Illustration) registriert wurden und nicht die Wahrnehmung des Bildes an sich überwog, wie es im Vorfeld der Benutzerbefragung wie auch der Blickbewegungsstudie als Hypothese formuliert wurde, sondern dass die Paraphrase von der Fixationsdauer her gemessen jeweils länger wahrgenommen wird (wobei die oben genannten Einschränkungen hinsichtlich der schnelleren Erfassung von Bildinhalten und des fehlenden Zeitdrucks zu beachten sind). Wie bereits in der Befragung kann folglich auch mit Hilfe dieser zweiten Datenerhebungsmethode keine Präferenz des bildlichen Darstellungsmittels nachgewiesen werden.

272 | Katharina Kemmer

Abb. 8: Datenansichten „Heat Maps“ für die Wahrnehmung der Onlinewörterbuchartikel zu Schneckengetriebe – Version 1 (ohne Hinweis) und Pfahlstich – Version 2 (Zeichnung zuerst).

Abb. 9: Illustrationen zu Pfahlstich.

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 273

Zudem konnte in dieser Blickbewegungsstudie nicht nachgewiesen werden, dass das Bildmaterial zeitlich vor dem Text rezipiert würde. Zwar dürften auch hier die Anzahl von nur vier Wörterbuchansichten nicht ausreichen, um zu einer gesicherten Erkenntnis zu gelangen, und doch konnte in dieser Studie die Eigenschaft des Bildes, als Eyecatcher bzw. als „Stopper“ laufender Rezeptionsprozesse zu fungieren, nicht bestätigt werden, da in drei von vier Fällen zuerst die Paraphrase in den Blick genommen wird (und nur einmal, im Falle der Wörterbuchansicht zum Lemma Schneckengetriebe – Version 2 mit Hinweis, zuerst die Illustration fixiert wird). Dies ist erstaunlich, da trotz der Platzierung der Paraphrase – hier: in Leserichtung vor der Illustration – zu erwarten wäre, dass der Blick zunächst zu dem wahrnehmungsnahen und wirkungsstarken Bildmaterial wandern würde. Eine weiterführende Datenauswertung machte zudem deutlich, dass nahezu jeder Proband den Text wahrnahm, jedoch nicht jeder Proband auch beide Illustrationen registrierte. Bei 19 Probanden auf jeder der vier Wörterbuchansichten schauten jeweils 18 bis 19 Untersuchungsteilnehmer auf den Text, aber nur 11 bis 18 Probanden jeweils auf die Bilder (vgl. Parameter ‚Hit Ratio‘ bei den sogenannten ‚Key Performance Indicators‘ [KPI]). Interessant ist außerdem ein Blick auf die Anzahl der Fixationen im Bereich des Textes bzw. des Bildes: Während im Bereich der verbalen Bedeutungserläuterung (mit der Anforderung des Textlesens) eine hohe Dichte an Fixationen verzeichnet wurde (16 bis 26 Fixationen), fand sich für den Bereich der Illustrationen eine sehr viel geringere Dichte (1 bis 3) (vgl. Parameter ‚Fixation Count‘ bei den KPI). Die Ergebnisse der Untersuchung zeigten, dass der Inhalt eines Bildes über die Fixierung von bloß einem oder zwei Punkten im Bild aufgenommen wird, wohingegen zur Erfassung des Textinhalts mehr Blicksprünge (Sakkaden) und eine größere Anzahl an Fixationen notwendig sind (vgl. auch Abbildung 10). Dies geht einher mit der Hypothese, dass Bildwahrnehmung schneller und einfacher erfolgt (vgl. auch die kürzere Fixationsdauer in oben gezeigten ‚Heat Maps‘) als die Rezeption verbalen Materials. Auch die Anzahl der wiederholten Fixierung eines bestimmten Bereiches ist unterschiedlich: So wird die Paraphrase häufiger nochmals betrachtet bzw. dieser Informationen entnommen (jeweils drei- oder viermal) als die Illustration (nie bis maximal zweimal) (vgl. die Parameter ‚Revisits‘ und ‚Revisitors‘ bei den KPI). Zum Text springt der Proband demnach häufiger nochmals zurück als zum Bild.

274 | Katharina Kemmer

Abb. 10: Datenansicht „Scan Path“ für die Blickbewegungen auf dem Onlinewörterbuchartikel zu Pfahlstich – Version 1 (Fotografie an erster Stelle).

Abschließend lässt sich sagen, dass das Darstellungsmittel Text zwar etwas länger und zudem etwas öfter (also wiederholt) betrachtet wird, dass dieses Phänomen aber in den Unterschieden zwischen beiden Zeichenmodalitäten begründet liegen könnte. Daneben kann der aus praktischen Restriktionen gewählte Versuchsaufbau – bestehend aus Aufgabenstellung, Wörterbuchansicht (~ Seite, für welche die Blickbewegungen aufgezeichnet werden) und Wissensabfrage – dazu führen, dass ein verstärkter Aufmerksamkeitsfokus auf der Paraphrase resultiert, da ein Proband weiß, dass die gesuchten Wörterbuchinhalte anschließend abgefragt werden, und zwar in verbaler Form. Es ist demnach naheliegend, sich besonders Formulierungen aus dem Text für die spätere Wissensabfrage einzuprägen. Dieser potenziell ergebnisverfälschende Effekt sollte in zukünftigen Studien ausgeschlossen werden. Trotzdem darf man m. E. schlussfolgern, dass sich hier – nach dem Ergebnis in der Benutzerbefragung (s. o.) – ein zweiter empirischer Indikator dafür zeigte, dass die These der hauptsächlichen Bildrezeption in Frage gestellt werden muss.

6 Schlussbetrachtung In der Fragebogenerhebung sagten die meisten Versuchspersonen aus, beide Formen der Bedeutungserläuterung (Paraphrase und Illustration) zu rezipieren. Nur

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 275

wenige nahmen primär eines der beiden Elemente wahr – im Übrigen waren es gleich viele, die hauptsächlich das Bild betrachteten, wie solche, die primär den Text lasen. In solchen Fällen, in denen nur die Illustration rezipiert wurde, lag dies nach Auskunft der Benutzer vor allem in der Schnelligkeit dieser Verfahrensweise begründet. Auch in der Blickbewegungsstudie konnte weder nachgewiesen werden, dass die Illustration zeitlich vor der Paraphrase noch dass die Paraphrase nicht oder kaum wahrgenommen würde. Allerdings standen die Versuchspersonen auch nicht, wie es in einer tatsächlichen Benutzungssituation der Fall sein kann, unter Zeitdruck. – Beide Studien erbrachten wertvolle Indizien u. a. zum Rezeptionsverhalten illustrierter Bedeutungsangaben im Onlinewörterbuch, und doch offenbarten beide Studien (bzw. empirische Untersuchungsmethoden) auch Schwachstellen: Darunter ist im Falle der Benutzerbefragung insbesondere das Problem der Selbsteinschätzung und Aufrichtigkeit bei der Beantwortung der Fragen zu nennen, was zu nichtwahrheitsgemäßen Aussagen führen könnte. Bei der Blickbewegungsuntersuchung sind der dreiteilige Studienaufbau (mit einer Wissensabfrage) sowie die Untersuchung von einer bloß kleinen Anzahl an Wörterbuchansichten zu nur wenigen Beispiellemmata als kritisch bzw. als unbedingt noch ausbaufähig zu beurteilen. Trotzdem lieferten beide Studien keine Indikatoren dafür, dass Wörterbuchbenutzer tatsächlich hauptsächlich die Illustration betrachten, die Paraphrase hingegen aussparen würden, denn die im Vorfeld der empirischen Untersuchungen formulierte Hypothese einer prioritären Bildbetrachtung konnte jeweils nicht nachgewiesen werden. Für eine Umsetzung der hier gewonnenen Erkenntnisse bedeutet dies, dass zumindest bei einer räumlichen Nähe zwischen visueller und verbaler Bedeutungserläuterung, die eine parallele Rezeption beider Elemente erlaubt, der Anteil der Benutzer, die nur das Bild betrachten, eventuell nur klein ist. Dabei erweist es sich allerdings als notwendig, eine Reihe von Bedingungen zu schaffen, die eine beiderseitige Lektüre von Paraphrase und Illustration unterstützen. Dazu gehört die m. E. zwingende Nähe zwischen der verbalen und visuellen Form der Bedeutungserläuterung (wie sie im Übrigen von Lexikografen häufig gefordert wird, s. o.): Dem Benutzer muss es leicht gemacht werden, beide Zeichenmodalitäten zu rezipieren und zwischen diesen zu springen. Trotz der m. E. legitimen Schlussfolgerung einer parallelen Rezeption der Paraphrase-Illustration-Kombination wäre es sinnvoll, die Ergebnisse dieser beiden Studien nochmals zu untermauern, um erstens die – wenn auch eher kleinen – Schwächen im Studiendesign in Form weiterer empirischer Untersuchungen auszuräumen und zweitens das Spektrum jeweils erhobener Fragestellungen etwas zu erweitern: So könnte in weiteren Blickbewegungsuntersuchungen etwa das Rezeptionsverhalten in Bezug auf andere Wörterbuchansichten untersucht werden – z. B. auf Ansichten aus real existierenden Onlinewörterbüchern (beispielsweise aus den Wörterbüchern ANW, Duden, elexiko oder LDOCE, bei denen wie in den bereits untersuchten Ansichten die als wichtig erachtete direkte Nähe zwischen Paraphrase und Illustration gegeben ist). Hinzukommt, dass sich anhand solcher tatsächlicher

276 | Katharina Kemmer

Onlinewörterbuchansichten auch untersuchen ließe, inwiefern sich Unterschiede in Form einer divergierenden Anordnung von Paraphrase und Illustration – z. B. untereinander oder nebeneinander – oder auch in Form einer unterschiedlichen Anzahl von Illustrationen, wie sie bei den genannten Onlinewörterbüchern vorliegen, auf die Rezeption von Text und Bild und der Bilder untereinander auswirken könnten. Daneben wäre außerdem eine Ausweitung auf weitere Beispiellemmata und illustrationen notwendig, um den Erkenntnisgewinn zu steigern. Ebenso darf auch eine Untersuchung des Rezeptionsverhaltens verschiedener Benutzertypen und in verschiedenen Benutzungssituationen als lohnend erachtet werden. Es könnten darüber hinaus bei einem Onlinewörterbuch wie elexiko, bei welchem die Illustrationen hinter einem Link verborgen sind und vom Benutzer zunächst aufgerufen werden müssen, außerdem Logfile-Untersuchungen durchgeführt werden, um über die Anzahl der Aufrufe Erkenntnisse darüber zu gewinnen, wie oft (und bei welchen Lemmata) der Angabetyp tatsächlich verwendet wird.

Literatur Algemeen Nederlands Woordenboek – ANW. (2013). Abgerufen 11. Dezember 2013, von http://anw.inl.nl/search. Barthes, R. (1964). Rhétorique de l`image. Communications, 4, 40–51. Battenburg, J. D. (1991). English monolingual learners dictionaries: a user-oriented study / John D. Battenburg. Tübingen: Niemeyer. Bruneau, D., Sasse, M. A., & McCarthy, J. (2002). The Eyes Never Lie: The use of eyetracking data in HCI research. In Proceedings of the CHI2002 Workshop on Physiological Computing. Minneapolis. Abgerufen 12. Dezember 2013 von http://hornbeam.cs.ucl.ac.uk/hcs/people/documents/ Angela%20Publications/2002/CHI_Physio.computing_Final%20(1)_revised.pdf Burke, S. M. (2003). The Design of Online Lexicons. In P. van Sterkenburg (Hrsg.), A Practical Guide to Lexicography (S. 240–249). Amsterdam/Philadelphia: John Benjamins Publishing Company. Dodd, S. W. (2003). Lexicomputing and the Dictionary of the Future. In R. R. K. Hartmann (Hrsg.), Lexicography. Critical Concepts. Volume 3. Lexicography, Metalexicography and Reference Science. (S. 351–362). London: Routledge. Dubois, J., & Dubois, C. (1971). Introduction à la Lexicographie: le Dictionnaire. Paris: Langue et Langage Larousse. Duchowski, A. (2007). Eye Tracking Methodology: Theory and Practice. London: Springer-Verlag London Limited. Abgerufen 12. Dezember 2013 von http://dx.doi.org/10.1007/978-1-84628609-4. Duden | Duden online. (2013). Abgerufen 12. Dezember 2013, von http://www.duden.de/ woerterbuch. Goldberg, J. H., & Kotval, X. P. (1999). Computer Interface Evaluation Using Eye Movements: Methods and Constructs. International Journal of Industrial Ergonomics, (24), 631–645. Goldberg, J. H., & Wichansky, A. M. (2003). Eye Tracking in Usability Evaluation. In J. Hyönä, R. Radach, & H. Deubel (Hrsg.), The mind’s eye: cognitive and applied aspects of eye movement research (S. 493–516). Amsterdam ; Boston: North-Holland.

Rezeption der Illustration, jedoch Vernachlässigung der Paraphrase? | 277

Goldstein, S. (2011). Useye – The Eyetracking Professionals: Wissensdatenbank ‘Usability. Eyetracking. Consulting’. Abgerufen 11. Dezember 2013, von http://www.useye.de/wissensdatenbank. Hancher, M. (1996). Illustrations. Dictionaries, (17), 79–115. Hupka, W. (1989). Die Bebilderung und sonstige Formen der Veranschaulichung im allgemeinen einsprachigen Wörterbuch. In F. J. Hausmann, O. Reichmann, H. E. Wiegand, & L. Zgusta (Hrsg.), Wörterbücher – Dictionaries – Dictionnaires. Ein Internationales Handbuch zur Lexikographie (Bd. 1, S. 704–726). Berlin, New York: de Gruyter. Hupka, W. (1998). Illustrationen im Fachwörterbuch. In L. Hofmann, H. Kalverkämper, & H. E. Wiegand (Hrsg.), Fachsprachen / Languages for Special Purposes. Ein internationales Handbuch zur Fachsprachenforschung und Terminologiewissenschaft (Bd. 2, S. 1833–1853). Berlin, New York: de Gruyter. Hupka, W. (2003). How Pictorial Illustrations Interact with Verbal Information in the DictionaryEntry: A Case Study. In R. R. K. Hartmann (Hrsg.), Lexicography. Critical Concepts. Volume 3. Lexicography, Metalexicography and Reference Science. (S. 363–390). London: Routledge. IDS : Lexik : Benutzungsforschung. (2013). Abgerufen 12. Dezember 2013, von www.benutzungsforschung.de. Institut für Deutsche Sprache (Hrsg.). (2003ff). elexiko : Online-Wörterbuch zur deutschen Gegenwartssprache. Abgerufen von www.elexiko.de. Jehle, G. (1990). Das englische und französische Lernerwörterbuch in der Rezension: Theorie und Praxis der Wörterbuchkritik. Tübingen: M. Niemeyer. Joos, M., Rötting, M., & Velichkovsky, B. M. (2003). Spezielle Verfahren I: Bewegungen des menschlichen Auges: Fakten, Methoden und innovative Anwendungen. In G. Rickheit, T. Herrmann, & W. Deutsch (Hrsg.), Psycholinguistik ein internationales Handbuch (S. 142–168). Berlin; New York: W. de Gruyter. Abgerufen 12. Dezember 2013 von http://public.eblib.com/EBLPublic/ PublicView.do?ptiID=453867 Kaltenbacher, M. (2006). Ein Bild sagt mehr als 1000 Worte. Text-Bild-Kombinationen in SprachlehrCD-Roms. In E. M. Eckkrammer & G. Held (Hrsg.), Textsemiotik: Studien zu multimodalen Texten (S. 129–156). Frankfurt am Main ; New York: Lang. Kammerer, M. (2002). Die Abbildungen im de Gruyter Wörterbuch Deutsch als Fremdsprache. In H. E. Wiegand (Hrsg.), Perspektiven der pädagogischen Lexikographie des Deutschen II. Untersuchungen anhand des »de Gruyter Wörterbuchs Deutsch als Fremdsprache«. (Bd. 110, S. 257– 279). Tübingen: M. Niemeyer. Kemmer, K. (forthcoming). Illustrationen im Onlinewörterbuch (Dissertation). Klosa, A. (in Vorb.). Illustrations in dictionaries, encyclopedic and cultural information in dictionaries. Klosa, A. (2004). Rezension von: Langenscheidt Taschenwörterbuch Deutsch als Fremdsprache und Duden Wörterbuch Deutsch als Fremdsprache. Lexicographica, (20), 271–303. Landau, S. I. (2001). Dictionaries: the art and craft of lexicography (2nd ed.). Cambridge ; New York: Cambridge University Press. Lew, R. (2002). Questionnaires in dictionary use research: A reexamination. In A. Braasch & C. Povlsen (Hrsg.), X EURALEX International Conference (S. 267–271). Kopenhagen. Lew, Robert. (2009). New Ways of Indicating Meaning in Electronic Dictionaries: Hope or Hype? Abgerufen 12. Dezember 2013 von http://www.staff.amu.edu.pl/~rlew/pub/Lew_New_ways_of_ indicating_meaning.pdf. Lew, Robert, & Doroszewska, J. (2009). Electronic dictionary entries with animated pictures: Lookup preferences and word retention. International Journal of Lexicography, 22(3), 239–257. Lomicka, L. (1998). To gloss or not to gloss: An investigation of reading comprehension online. Language Learning & Technology, 1(2), 41–50.

278 | Katharina Kemmer

Nesi, H. (2000). The use and abuse of EFL dictionaries: how learners of English as a foreign language read and interpret dictionary entries. Tübingen: M. Niemeyer. Nielsen, J., & Pernice, K. (2010). Eyetracking web usability. Berkeley, CA: New Riders. Nöth, W. (2000). Der Zusammenhang von Text und Bild. In K. Brinker, G. Antos, W. Heinemann, & S. F. Sager (Hrsg.), Handbücher zur Sprach- und Kommunikationswissenschaft = Handbooks of linguistics and communication science = Manuels de linguistique et des sciences de communication Bd. 16 Halbbd. 1 (S. 489–496). Berlin [u.a.]: de Gruyter. Poole, A., & Ball, L. J. (2004). Eye Tracking in Human-Computer Interaction and Usability Research: Current Status and Future Prospects. Abgerufen von http://www.alexpoole.info/blog/wpcontent/uploads/2010/02/PooleBall-EyeTracking.pdf. Porst, & Rolf. (2009). Fragebogen: ein Arbeitsbuch. Wiesbaden: VS, Verlag für Sozialwissenschaften. Rey, A. (1982). Encyclopédies et dictionnaires. Paris: Presses universitaires de France. Rey-Debove, J. (1970). Le domaine du dictionnaire. Langages, (19), 3–34. Rey-Debove, J. (1971). Étude linguistique et sémiotique des dictionnaires français contemporains. Berlin: de Gruyter. Richardson, D. C., & Spivey, M. J. (2008). In G. E. Wnek & G. L. Bowlin (Hrsg.), Encyclopedia of biomaterials and biomedical engineering, Bd. 2 (2. Aufl.) (S. 1033–1042). New York: Informa Healthcare USA. Schmitz, U. (2004). Schrift und Bild im öffentlichen Raum. Mitteilungen des Deutschen Germanistenverbandes, (52), 58–74. Simonsen, H. K. (2011). User Consultation Behaviour in Internet Dictionaries: An Eye-Tracking Study. Hermes. Journal of Language and Communication Studies, 46, 75–101. Stöckl, H. (2006). Zeichen, Text und Sinn – Theorie und Praxis der multimodalen Textanalyse. In E. M. Eckkrammer & G. Held (Hrsg.), Textsemiotik: Studien zu multimodalen Texten (S. 129–156). Frankfurt am Main ; New York: Lang. Stöckl, H. (2011). Sprache-Bild-Texte lesen. Bausteine zur Methodik einer Grundkompetenz. In H.-J. Diekmannshenke, M. Klemm, & H. Stöckl (Hrsg.), Bildlinguistik: Theorien, Methoden, Fallbeispiele (S. 45–70). Berlin: E. Schmidt Verlag. Storrer, A. (2001). Digitale Wörterbücher als Hypertexte: Zur Nutzung des Hypertextkonzepts in der Lexikographie. In I. Lemberg, B. Schröder, & A. Storrer (Hrsg.), Chancen und Perspektiven computergestützter Lexikographie: Hypertext, Internet und SGML/XML für die Produktion und Publikation digitaler Wörterbücher (S. 53–69). Tübingen: M. Niemeyer. Svensén, B. (1993). Practical lexicography: principles and methods of dictionary-making. Oxford [England] ; New York: Oxford University Press. Varantola, K. (2003). Linguistic Corpora (Databases) and the Compilation of Dictionaries. In P. G. J. van Sterkenburg (Hrsg.), A practical guide to lexicography (S. 228–239). Amsterdam ; Philadelphia: John Benjamins Pub. Wahlster, W. (1996). Text and images. In R. A. Cole, J. Mariani, H. Uszkoreit, G. B. Varile, A. Zaenen, & A. Zampolli (Hrsg.), Survey of the state of the art in human language technology (S. 302– 306). Cambridge: Cambridge University Press ; Giardini editori e stampatori. Abgerufen 12. Dezember 2013 von ftp://ftp.cs.sjtu.edu.cn:990/Yao-tf/nlu/HLT-Survey.pdf Weidenmann, B. (2002). Multicodierung und Multimodalität im Lernprozess. In L. J. Issing & P. Klimsa (Hrsg.), Information und Lernen mit Multimedia und Internet: Lehrbuch für Studium und Praxis (S. 44–62). Weinheim: Beltz PVU. Werner, R. (1983). Einige Gedanken zur Illustration spanischer Bedeutungswörterbücher. Hispanorama – Mitteilungen des Deutschen Spanischlehrerverbands, (35), 162–180. Zgusta, L. (1971). Manual of lexicography. Prague; The Hague [etc.]: Academia ; Mouton.

| Part IV: Studies on monolingual (German) online dictionaries, esp. elexiko

Annette Klosa, Alexander Koplenig, Antje Töpel

Benutzerwünsche und -meinungen zu dem monolingualen deutschen Onlinewörterbuch elexiko Abstract: In this paper, we present the concept and the results of two studies addressing (potential) users of monolingual German online dictionaries, such as www.elexiko.de. Drawing on the example of elexiko, the aim of those studies was to collect empirical data on possible extensions of the content of monolingual online dictionaries, e.g. the search function, to evaluate how users comprehend the terminology of the user interface, to find out which types of information are expected to be included in each specific lexicographic module and to investigate general questions regarding the function and reception of examples illustrating the use of a word. The design and distribution of the surveys is comparable to the studies described in the chapters 5-8 of this volume. We also explain, how the data obtained in our studies were used for further improvement of the elexiko-dictionary. Keywords: monolingual dictionary, user needs, user demands, search functions, corpus

| Annette Klosa: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)621-1581411, [email protected] Alexander Koplenig: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)6211581435, [email protected] Antje Töpel: Institut für Deutsche Sprache, R 5, 6-13, D-68161 Mannheim, +49-(0)621-1581434, [email protected]

1 Einleitung Wörterbuchbenutzungsforschung für ein neu konzipiertes, noch im Aufbau befindliches, umfangreiches Onlinewörterbuch zur deutschen Gegenwartssprache wie elexiko1 ist bislang nur in geringem Umfang durchgeführt worden (vgl. hierzu aber

|| 1 Zur Konzeption von elexiko vgl. generell Haß, Ulrike (Hg.) (2005): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. (Schriften des Instituts für Deutsche Sprache 12), Berlin/New York: de Gruyter. Zur praktischen Umsetzung dieser Konzeption vgl. Klosa, Annette (Hg.) (2011b): elexiko. Erfahrungsberichte aus der lexikografischen Praxis eines Internetwörterbuchs. Tübingen: Narr, 2011. (Studien zur deutschen Sprache 55).

282 | Annette Klosa, Alexander Koplenig, Antje Töpel

Haß 2005d und Bank 2010). Dabei ist der Bedarf an Klärung der Benutzerbedürfnisse und -meinungen zu monolingualen Wörterbüchern insgesamt groß. Solch eine Klärung kann einerseits als Bestätigung von Entscheidungen dienen, die ohne entsprechende Benutzungsstudien für Inhalt und Präsentation des Wörterbuchs getroffen wurden. Sie dient andererseits aber auch als Anregung für die mögliche Revision von Entscheidungen auf der Grundlage nicht vermeintlicher, sondern tatsächlicher Bedürfnisse und Meinungen zur Wörterbuchbenutzung. Zwei Benutzungsstudien, die zum Wörterbuch elexiko im Januar bzw. März 2011 im Projekt „Benutzeradaptive Zugänge und Vernetzungen in elexiko (BZVelexiko)“ realisiert wurden, versuchen, diese Lücke in der Wörterbuchbenutzungsforschung durch die Untersuchung von Gestaltung und Inhalt einzelner Angabebereiche zumindest teilweise zu schließen. Im vorliegenden Beitrag werden die Ergebnisse aus beiden Studien präsentiert, indem nach einer kurzen Vorstellung von elexiko erläutert wird, welche Forschungsfragen für die Studien leitend waren, wie die Benutzungsstudien aufgebaut wurden und zu welchen Ergebnissen sie geführt haben. Daneben werden auch die praktischen Konsequenzen für elexiko beschrieben, die sich aus den Resultaten der Studien ergeben. Schließlich werden in einem Ausblick weitere Forschungsfragen erwähnt, die in fortführenden Benutzungsstudien untersucht werden könnten. Für die Erarbeitung der Wortartikel in elexiko ist das Prinzip der Korpusbasiertheit entscheidend, d. h. eine starke Orientierung an den Ergebnissen der Analyse von umfangreichen elektronischen Textsammlungen. Um für die Erarbeitung der elexiko-Wortartikel eine gute empirische Basis zugrunde legen zu können, wurde nach formalen und inhaltlichen Kriterien aus dem „Deutschen Referenzkorpus (DeReKo)“ des IDS Mannheim2 ein umfangreiches digitales Wörterbuchkorpus zusammengestellt, das sogenannte elexiko-Korpus (vgl. Storjohann 2005a). In elexiko werden schwerpunktmäßig Bedeutung und Verwendung der Stichwörter beschrieben, daneben gibt es auch Angaben zur Orthografie, zur Worttrennung sowie grammatische Informationen. Als Teil des Wörterbuchportals OWID3 umfasst elexiko mit seiner vollständig neu erarbeiteten, dynamischen Stichwortliste rund 300.000 Stichwörter. elexiko ist im Internet schon benutzbar, bevor es komplett mit Informationen gefüllt ist. Der Ausbau erfolgt in sogenannten Wörterbuchmodulen, die nicht einzelne Buchstabenstrecken zum Gegenstand haben, sondern Mengen von Wörtern, die durch bestimmte Kriterien (z. B. eine ähnliche Frequenz) verbunden sind. Derzeit (2006-2013) wird das Modul „Lexikon zum öffentlichen Sprachgebrauch“ bearbeitet, in dem rund 2.000 frequenzbasiert ausgewählte Wörter (jeweils zwischen 10.000- und 500.000-mal im elexiko-Korpus) enthalten sind. Es handelt sich hierbei || Einen kurzen Einblick in das Projekt bieten auch die Internetseiten unter www.elexiko.de. Eine umfangreich angelegte Untersuchung zu weiteren Onlinewörterbüchern bietet Mann (2010). 2 Vgl. http://www.ids-mannheim.de/kl/projekte/korpora/. 3 Vgl. http://www.owid.de/.

Benutzerwünsche und -meinungen zu elexiko | 283

um einen Wortschatz, der überwiegend den zentralen politischen und gesellschaftlichen Diskursen, wie sie im rein zeitungssprachlichen Wörterbuchkorpus präsent sind, angehört. Für diesen begrenzten Wortschatzbereich werden komplexe Informationen zur Bedeutung und Verwendung der Lemmata redaktionell bearbeitet. Die Artikelstruktur umfasst dabei neben den lesartenübergreifenden Angaben (vgl. Abbildung 4) auch umfangreiche Angaben zu den einzelnen Lesarten (vgl. Abbildung 5). Die Benutzungsstudien beziehen sich vornehmlich auf Wortartikel, die in diesem Modul bearbeitet wurden. Daneben wird elexiko durch die Erarbeitung überwiegend automatisch generierter Angaben (z. B. elementare Informationen zur Orthografie und Verteilung im Korpus sowie automatisch ermittelte Belege) für den Bereich der niedriger frequenten Stichwörter ausgebaut, d. h. Wörtern, die weniger als 10.000-mal im elexiko-Korpus belegt sind. Auch zu Stichwörtern aus diesem Modul wurden einige Forschungsfragen entwickelt, die in den Benutzungsstudien untersucht wurden. elexiko wurde als Informationssystem konzipiert, in dem einfach nachgeschlagen, aber auch gezielt recherchiert werden kann, sodass die gebotene Information „auf viele verschiedene Nutzerinteressen“ antworten und „damit mehr Wörterbuchfunktionen abdecken kann, als es bei einem gedruckten Wörterbuch sinnvoll ist“ (Haß 2005, S. 3). Aus diesem breiten Informationsangebot – so die ursprüngliche Vorstellung – sollen sich die Nachschlagenden aussuchen können, welche Informationen sie je nach Situation oder Interesse rezipieren möchten. elexiko erhält somit erst bei der Rezeption eine je spezifische Funktion. Insofern konnten die an der Konzipierung Beteiligten, die lexikografisch wie linguistisch ausgebildet waren, ein breites Angebot lexikografischer Angaben und eine neuartige Onlinepräsentation entwickeln, wobei natürlich auf lexikografischen Traditionen aufgebaut wurde. Die linguistische und lexikografische Konzeption von elexiko wurde also erarbeitet (vgl. Haß 2005, S. 1f.), ohne Wörterbuchbenutzungsforschung betrieben zu haben. Andererseits galt laut Haß (2005, S. 4) während der Konzeptionsphase von elexiko aber doch: „Viele Urteile darüber, welches Wörterbuch für welche Nutzer oder Nutzungssituationen geeignet oder ungeeignet ist bzw. wie ein Wörterbuch und erst recht: ein elektronisches OnlineWörter-‚Buch’ für welche Nutzer oder Nutzungssituationen gestaltet werden sollte, sind spekulativ und von individuellen Erfahrungen und Ansichten geprägt und faktisch immer noch ungeklärt. […] Eine objektive, durch empirische Untersuchungen gestützte Wörterbuchbenutzungsforschung gibt es für elektronische, insbesondere für hypertextuelle Werke jedoch nicht […].“

Haß (2005, S. 4) vermutet allerdings, dass „sich mit der immer noch fortschreitenden Etablierung des Mediums Internet und mit den noch unfesten Rezeptionsgewohnheiten“ die Ergebnisse einer empirischen, breit und differenziert angelegten Nutzungsstudie zu den Informationen in elexiko und ihrer Präsentation ebenfalls verändern würden. Benutzungsstudien zum Zeitpunkt der Konzeption hätten somit

284 | Annette Klosa, Alexander Koplenig, Antje Töpel

nur den Status einer Momentaufnahme, eine längerfristige Gültigkeit der Ergebnisse schien angesichts der ungeheuren Dynamik des Internets unwahrscheinlich. Einige Jahre später kann dieses Argument wohl nicht mehr gelten: Das Angebot an Onlinenachschlagewerken generell, aber auch spezieller an Onlinewörterbüchern ist sehr stark angewachsen, wobei sich bestimmte Konventionen der Präsentation der Nachschlagewerke im Internet durchgesetzt haben.4 Eine Überprüfung der für elexiko konzipierten Auswahl und Präsentation der lexikografischen Angaben durch Nutzerbefragungen schien deshalb zu einem Zeitpunkt, zu dem es neben elexiko verschiedene andere, z. T. sehr viel umfassendere, aber auf gedruckten Wörterbüchern basierende Onlinewörterbücher des Gegenwartsdeutschen (z. B. www. dwds.de, www.duden.de, www.pons.de) gibt, und zu dem vergleichbare Wörterbücher anderer Sprachen online gegangen sind (z. B. „ordnet.dk“5 zum Dänischen, „Algemeen Nederlandse Woordenboek“6 zum Niederländischen), dringend angebracht. Eine empirische Überprüfung zum jetzigen Zeitpunkt ist vor allem aber auch wichtig, um den weiteren Ausbau des Wörterbuchs nun weniger anhand linguistisch-lexikografischer Kriterien als stärker an Nutzungsbedürfnissen orientiert planen zu können. Der Ausbau eines Onlinewörterbuches wie elexiko erfolgt dabei nicht nur durch das Verfassen und Freischalten neuer Wortartikel, sondern umfasst vieles mehr. So ist etwa nachzudenken über: – die Aufnahme neuer Arten von Stichwörtern (neben einzelnen Wörtern z. B. feste Wortverbindungen), – die Vervollständigung der lexikografischen Angaben, z. B. durch Einbindung multimedialer Elemente (z. B. Illustrationen) oder durch andere Ergänzungen (z. B. Herkunftsangaben), – den Ausbau von Recherchemöglichkeiten, z. B. im Bereich der erweiterten Suchen, – die Erweiterung der Vernetzung der Wortartikel untereinander, – den Ausbau der Vernetzung der Wortartikel mit den lexikografischen Umtexten, – die Verlinkung des Wörterbuchs mit anderen Onlinequellen. Ziel der Benutzungsstudien zu elexiko war vor diesem Hintergrund damit ganz generell, den Ist-Zustand sowohl bezogen auf die Inhalte des Wörterbuchs wie auch auf ihre Präsentation im Internet zu überprüfen, um auf dieser Grundlage einerseits Verbesserungen vornehmen zu können und andererseits für die weitere Arbeit im Umfeld von elexiko Anhaltspunkte gewinnen zu können.

|| 4 Vgl. beispielsweise zur Positionierung des Suchfeldes in Onlinewörterbüchern die Untersuchungen in Mann (2010). 5 Vgl. http://ordnet.dk/. 6 Vgl. http://anw.inl.nl/search.

Benutzerwünsche und -meinungen zu elexiko | 285

Im Folgenden wird erläutert, wie die beiden Benutzungsstudien konzipiert wurden. Außerdem werden Informationen zu Rahmenbedingungen und Zusammensetzungen der Stichproben gegeben. Anschließend werden die einzelnen Forschungsfragen, die in den Studien untersucht wurden, jeweils methodisch vorgestellt, zentrale Ergebnisse werden präsentiert und interpretiert. Schließlich werden Schlussfolgerungen für die lexikografische Praxis in elexiko gezogen. Ein allgemeiner Ausblick schließt die Darstellung ab.

2 Konzeption und Realisierung der Benutzungsstudien 2.1 Rahmenbedingungen Bei den beiden Studien, die im Rahmen des Projektes „Benutzeradaptive Zugänge und Vernetzungen in elexiko – BZVelexiko“7 durchgeführt wurden, handelt es sich um in der Software Unipark programmierte Onlinebefragungen. Diese Methode bietet den Vorteil, eine große Zahl möglicher Probanden gezielt anzusprechen. Zudem können neben befragenden auch experimentelle Elemente integriert werden. Die zwei Umfragen wurden ausschließlich auf Deutsch durchgeführt, da der inhaltliche Fokus auf elexiko und gegebenenfalls vergleichbaren einsprachigen deutschen Onlinewörterbüchern lag, deren Benutzung eine gute deutsche Sprachkompetenz voraussetzt. Folgende Fragen wurden neben den auf die Präsentation der lexikografischen Daten bezogenen Frageblöcken in diesen Studien untersucht: – der Bekanntheitsgrad und die Verwendungshäufigkeit von elexiko, – die Nützlichkeit der einzelnen Angabebereiche, – erwartete Einzelangaben bei den Stichwörtern und in den Bereichen, – die Funktionen und die Rezeption der Belege8 und – der Umgang mit automatisch generierten Angaben. Die Beantwortung der beiden Fragebögen war auf jeweils 10 bis 15 Minuten angelegt. Besonderer Wert wurde darauf gelegt, die Fragen auch für Laien verständlich zu formulieren, weshalb an vielen Stellen bewusst auf die Verwendung von Fachterminologie verzichtet wurde (z. B. Vor-/Nachsilbe statt Prä-/Suffix). Wichtig waren auch die einleitenden und überleitenden Seiten des Fragebogens, die für alle Teilnehmer die Führung durch die Umfrage erleichtern sollten.

|| 7 Vgl. http://www.ids-mannheim.de/lexik/BZVelexiko/. 8 Vgl. hierzu Klosa/Koplenig/Töpel (2012).

286 | Annette Klosa, Alexander Koplenig, Antje Töpel

Der Aufruf zur Teilnahme an der Befragung wurde per E-Mail, über Mailinglisten und Foren verbreitet. Angeschrieben wurden die Personen, die in früheren Befragungen dazu ihr Einverständnis gegeben hatten, Personen, die durch Sprachanfragen o. Ä. Kontakt zu elexiko aufgenommen hatten, alle Angestellten des Instituts für Deutsche Sprache, weitere Multiplikatoren wie Lehrende an Universitäten sowie die Goethe-Institute und angegliederte Organisationen (Goethe-Zentren, Sprachlernzentren, Informations- und Lernzentren, Deutschland-Treffpunkte, Dialogpunkte, Kulturgesellschaften und Verbindungsbüros) im In- und Ausland. Um bestimmte Berufsgruppen mit einer Affinität zu monolingualen deutschen Wörterbüchern gezielt anzusprechen, wurde der Aufruf zudem über Mailinglisten (für Linguisten, Übersetzer, Lehrkräfte für Deutsch, für Deutsch als Fremd- oder Zweitsprache) versandt und in Foren (wie dem Forum Deutsch als Fremdsprache) veröffentlicht. Beide Befragungen waren für jeweils einen Monat freigeschaltet – die erste Umfrage vom 4. Januar bis zum 4. Februar 2011 und die zweite Umfrage vom 4. März bis zum 4. April 2011. Insgesamt beendeten mehr als 1.100 Testpersonen die Fragebögen: An der ersten Umfrage beteiligten sich 685 Personen, an der zweiten 420 Personen. Um die Bereitschaft zu erhöhen, an der Befragung teilzunehmen, wurden Amazon-Gutscheine verlost und für die ausgefüllten Fragebögen Geld an das Programm Girls‘ Education der gemeinnützigen Organisation Room to Read gespendet.

2.2 Zusammensetzung der Stichprobe in der ersten Studie Die soziodemografischen Daten zu den 685 Testpersonen der ersten Studie zeigen, dass mit 72,26 Prozent mehr als zwei Drittel der Umfrageteilnehmer weiblich sind (vgl. hierzu und dem Folgenden Tabelle 1). 26,42 Prozent sind männlich, 1,31 Prozent geben kein Geschlecht an. Nach den Angaben zum Alter ist knapp die Hälfte der Teilnehmenden bis 35 Jahre alt: 13,24 Prozent der Befragten sind bis 25 Jahre alt, 35 Prozent sind zwischen 26 und 35 Jahren, 20,59 Prozent zwischen 36 und 45, 18,82 Prozent zwischen 46 und 55, 10,29 Prozent zwischen 56 und 65, 1,91 Prozent zwischen 66 und 75 sowie 0,15 Prozent über 75 Jahre alt. Auch die Kenntnisse der deutschen Sprache wurden abgefragt – mit 66,26 Prozent handelt es sich bei zwei Dritteln der Befragten um Personen mit Deutsch als Muttersprache. Weitere 26,17 Prozent geben an, über sehr gute Deutschkenntnisse zu verfügen, 5,85 Prozent über gute. Mittelmäßige Deutschkenntnisse besitzen nur 1,46 Prozent der Befragten, schlechte oder keine nur jeweils 0,15 Prozent. Außerdem war von Interesse, ob die Testpersonen aufgrund ihrer beruflichen Tätigkeit einen besonderen Kontakt zu Wörterbüchern haben. Hier waren Mehrfachantworten möglich. 38,1 Prozent der Befragten arbeiten in der Übersetzungsbranche, 32,26 Prozent sind sprachwissenschaftlich tätig, 24,53 sind als DaFLehrkräfte tätig, 23,21 Prozent lernen Deutsch, das nicht ihre Muttersprache ist, 21,9 Prozent studieren Sprachwissenschaften und 20,29 Prozent unterrichten Deutsch im

Benutzerwünsche und -meinungen zu elexiko | 287

muttersprachlichen Bereich (vgl. Tabelle 2). Auf 16,06 Prozent der Testpersonen trifft keine dieser Aussagen zu. Eine solche Verteilung erscheint nicht ungewöhnlich, wenn man zum einen bedenkt, wie auf die Umfrage aufmerksam gemacht wurde. Zum anderen hängt dies natürlich auch damit zusammen, dass Menschen oft aus persönlichem Interesse an Umfragen teilnehmen und dadurch häufig auch einen Bezug zum Gegenstand der Befragung besitzen.

2.3 Zusammensetzung der Stichprobe in der zweiten Studie Auch in der zweiten elexiko-Studie ist mit 70,71 Prozent die überwiegende Mehrheit der insgesamt 420 Teilnehmenden weiblichen Geschlechts (vgl. hierzu und dem Folgenden Tabelle 1). 27,38 Prozent sind männlich, 1,9 Prozent geben kein Geschlecht an. Auch die Altersstruktur der Befragten ähnelt der der ersten elexikoStudie: 19,81 Prozent der Befragten sind bis 25 Jahre alt, 32,13 Prozent zwischen 26 und 35 Jahren alt. 20,05 Prozent der Teilnehmenden sind zwischen 36 und 45 Jahren alt, 16,43 Prozent zwischen 46 und 55, 7,97 Prozent zwischen 56 und 65, 3,38 Prozent zwischen 66 und 75 und 0,24 Prozent der Befragten sind über 75 Jahre alt. Ähnlich wie in der ersten Studie sind auch die Kenntnisse der deutschen Sprache bei den Testpersonen: Knapp zwei Drittel (65,38 Prozent) sprechen Deutsch als Muttersprache. Sehr gute Deutschkenntnisse besitzen weitere 25,24 Prozent der Befragten, 7,69 Prozent verfügen über gute Kenntnisse der deutschen Sprache. Nur 1,44 Prozent der Befragten schätzen ihre Deutschkenntnisse als mittelmäßig, 0,24 Prozent als schlecht ein. Erneut wurde auch danach gefragt, ob die Testpersonen aufgrund ihrer beruflichen Tätigkeit einen besonderen Zugang zu Wörterbüchern haben (Mehrfachantworten waren möglich, vgl. Tabelle 2). 34,76 Prozent der Befragten sind sprachwissenschaftlich tätig, 28,81 Prozent in der Übersetzungsbranche. 26,9 Prozent der Befragten sind Studierende der Sprachwissenschaften, 25,48 Prozent lernen Deutsch als Fremdsprache und 22,62 Prozent arbeiten als DaF-Lehrkräfte. 17,14 Prozent unterrichten Deutsch im muttersprachlichen Bereich. 14,29 Prozent der Testpersonen verneinen jede dieser Aussagen. Wie bei der ersten Studie gilt auch hier, dass die Art, zur Umfrage aufzurufen, sowie die persönliche Motivation der Befragten die berufliche Zusammensetzung der Testpersonen beeinflussen.

288 | Annette Klosa, Alexander Koplenig, Antje Töpel

Testpersonen Geschlecht

Alter

Deutschkenntnisse

1. Umfrage (N = 685)

2. Umfrage (N = 420)

weiblich

72,26 %

60,52 %

männlich

26,42 %

39,48 %

keine Angabe

1,31 %

19,81 %

jünger als 26

13,24 %

26-35

35,00 %

32,13 %

36-45

20,59 %

20,05 %

46-55

18,82 %

16,43 %

56-65

10,29 %

7,97 %

66-75

1,91 %

3,38 %

älter als 75

0,15 %

0,24 %

Muttersprache

66,26 %

65,38 %

sehr gut

26,17 %

25,24 %

gut

5,85 %

7,69 %

mittelmäßig

1,46 %

1,44 %

schlecht

0,15 %

0,24 %

keine

0,00 %

0,00 %

Tab. 1: Geschlecht, Alter und Deutschkenntnissen der Probanden in den beiden elexiko-Studien.

Testpersonen

1. Umfrage (N = 685)

2. Umfrage (N = 420)

Ja

Nein

Ja

Nein

Sprachwissenschaftler

32,26 %

67,74 %

34,76 %

65,24 %

Übersetzer

38,10 %

61,90 %

28,81 %

71,19 %

Studierende der Sprachwissenschaften

21,90 %

78,10 %

26,90 %

73,10 %

muttersprachliche Deutschlehrer

20,29 %

79,71 %

17,14 %

82,86 %

DaF-Lehrer

24,53 %

75,47 %

22,62 %

77,38 %

nicht-muttersprachliche Deutschlerner

23,21 %

76,79 %

25,48 %

74,52 %

Tab. 2: Beruflicher Hintergrund der Probanden in den elexiko-Studien.

2.4 Bekanntheitsgrad und Verwendungshäufigkeit von elexiko Zum Einstieg in den Fragebogen gab es in der ersten Studie einige Fragen zur Bekanntheit und zur Verwendung von elexiko. 147 Befragten (21,46 Prozent) ist das Onlinewörterbuch elexiko bekannt, davon haben es 117 (79,59 Prozent) Personen bereits verwendet. Allerdings verwendet es die überwiegende Mehrzahl dieser Pro-

Benutzerwünsche und -meinungen zu elexiko | 289

banden nur selten (48,72 Prozent) oder gelegentlich (42,74 Prozent). Lediglich 5,98 Prozent dieser Teilnehmenden geben an, elexiko oft zu verwenden. Sehr oft wird es sogar nur von 2,56 Prozent benutzt. Da elexiko ein im Aufbau befindliches Wörterbuch mit wenigen, aber sehr umfangreichen Artikeln ist und damit spezieller als die gängigen Onlinewörterbücher des Deutschen, verwundern diese Zahlen nicht.

3 Ergebnisse der Studien 3.1 Forschungsfragen für die Benutzungsstudien zu elexiko Auf die Auswahl möglicher Forschungsfragen zu elexiko hatten verschiedene Faktoren Einfluss: Zum einen haben sich die am Projekt Beteiligten bei ihrer praktischen Artikelarbeit immer wieder gefragt, ob die Angaben, deren Erarbeitung nicht selten sehr zeitaufwendig ist, so verständlich formuliert sind und in geeigneter Form präsentiert werden, dass das Wörterbuch erfolgreich benutzt werden kann. Es wurde im Projekt auch (vor allem vor dem Hintergrund der relativ neuen lexikografischen Funktionslehre, vgl. die Beiträge in Bergenholtz/Nielsen/Tarp 2009) diskutiert, ob das ursprüngliche Konzept, in elexiko möglichst viele Informationen anzubieten, aus denen bei der Wörterbuchbenutzung das „Wörterbuch der Wahl“ zusammengestellt werden soll, wirklich funktionieren kann. Denn ein Wörterbuch für ganz verschiedene Nutzergruppen und Nutzungssituationen, also mit ganz verschiedenen Funktionen, anzubieten, wirkt sich nicht nur auf die Auswahl der zu beschreibenden Stichwörter (also die Makrostruktur) sowie die Arten von Angaben zu diesen Stichwörtern (also die Mikrostruktur) aus. Natürlich hat dies auch für die Wahl der Beschreibungssprache (eher an Laien adressiert, eher an Fachleute adressiert?; vgl. Haß 2005, S. 3) oder z. B. für die Auswahl von Textbelegen (welcher Art?, in welcher Menge?) Konsequenzen. Zum anderen hat sich seit der Freischaltung von elexiko im Jahr 2004 der Markt für Onlinewörterbücher stark verändert. Der Vergleich mit neuen akademischen wie verlagslexikografischen Angeboten hat dazu geführt, z. B. Entscheidungen zur Präsentation der lexikografischen Angaben in elexiko infrage zu stellen. Ebenso wichtig ist der Einfluss der metalexikografischen Forschung, die sich in den vergangenen Jahren generell verstärkt der Wörterbuchbenutzungsforschung zugewandt hat. Auch hieraus konnten Anregungen für mögliche Fragen in Benutzungsstudien zu elexiko gewonnen werden.

290 | Annette Klosa, Alexander Koplenig, Antje Töpel

Zu Beginn der Entwicklung der elexiko-Benutzungsstudien stand vor dem genannten Hintergrund eine allgemeine Ideen-/Wunschsammlung. Spontan und zunächst ungeordnet wurden hierbei Fragen wie die folgenden gesammelt:9 – Wie häufig werden bestimmte Angaben (z. B. die Worttrennung, ein Synonym) nachgeschlagen? – Für wie nützlich werden die Angaben gehalten? – Ist die gewählte Terminologie verständlich? – Werden die zahlreichen Textbelege gelesen, ist ihr Wert erkennbar? – Wird der Unterschied zwischen redaktionell erarbeiteten und automatisch ermittelten Angaben deutlich? – Werden nur Informationen, die direkt auf dem Bildschirm zu sehen sind, wahrgenommen, oder werden auch Informationen rezipiert, die man erst durch einen Klick am Bildschirm öffnen muss? – Werden platzsparende Darstellungen (z. B. Listen) oder neuartige Präsentationsformen (z. B. in Wortwolken) bevorzugt? – Werden die angebotenen Links genutzt? Anschließend wurde die Fragesammlung strukturiert und bewertet sowie mit Fragestellungen, die aus anderen Wörterbuchbenutzungsstudien bekannt waren, abgeglichen. Viele der Fragen konnten generalisiert werden, sodass sie in zwei allgemeinen Benutzungsstudien im Rahmen des Projektes BZVelexiko untersucht wurden. Andere Fragestellungen waren für die gewählte Methode der Onlinebefragung ungeeignet. Übrig geblieben sind schließlich solche Fragestellungen, die sich zwar auf das Onlinewörterbuch elexiko beziehen, aber teilweise durchaus generalisierbar sind (z. B. in Bezug auf die Funktion von Belegen, vgl. Abschnitt 3.7). Diese wurden verteilt auf mehrere Blöcke in zwei Studien untersucht. Im Folgenden werden pro Frageblock zunächst die ihn betreffenden Forschungsfragen vorgestellt, anschließend werden die Methode und zentrale Ergebnisse präsentiert. Eine Interpretation dieser Ergebnisse schließt die Darstellung zu jedem Frageblock ab.

3.2 Frageblock 1: Wichtigkeit verschiedener Arten von Stichwörtern und der einzelnen Angabebereiche

3.2.1 Forschungsfragen Mit diesem Frageblock sollte überprüft werden, ob die während der Konzeptionsphase von elexiko getroffenen Entscheidungen zur Art der Stichwörter in elexiko

|| 9 Ein vollständiger Überblick über die gesammelten Fragen findet sich im Anhang.

Benutzerwünsche und -meinungen zu elexiko | 291

und zu den Angabebereichen (z. B. Bedeutungserläuterung, Sinnverwandte Wörter, Grammatik) den Nutzererwartungen entsprechen. Zugleich wurde die Möglichkeit genutzt, einen weiteren Ausbau von elexiko mit neuen Arten von Stichwörtern oder neuen lexikografischen Angabebereichen auf der Grundlage der Ergebnisse der Nutzungsstudien planen zu können. Verschiedene Arten von Stichwörtern („normale“ [Einzel-]Wörter, Namen, Affixe, Wortverbindungen) und folgende lexikografische Angabebereiche sollten in ihrer Wichtigkeit bewertet und anschließend in eine Rangfolge gebracht werden: Orthografie, Aussprache, Bedeutungserläuterung, Semantische Umgebung und lexikalische Mitspieler (d. h. Angaben zu Kollokatoren des Stichwortes in seinen einzelnen Bedeutungen), Typische Verwendungen, Sinnverwandte Wörter, Besonderheiten des Gebrauchs, Grammatik, Wortbildung, Textbeispiele/Belege sowie Kommentare/Hinweise (d. h. lexikografische Erläuterungen oder Literaturhinweise, die zu den lexikografischen Angaben treten können).10 Nicht überprüft wurden dagegen die Angaben zum Bereich Herkunft und Wandel (d. h. Angaben zu Etymologie und Bedeutungswandel; vgl. Storjohann 2005b) und zur Angaben des Zusammenhangs der Lesarten (vgl. Haß 2005a), damit der Umfang des Onlinefragebogens nicht zu groß wurde. Während die Testpersonen der Studien Erklärungen zum Zusammenhang der Lesarten nicht vermisst haben, haben einige Probanden das Feld „Sonstiges“ in Frageblock 3 (vgl. Abschnitt 3.3.3) genutzt, um etymologische bzw. Herkunftsangaben gezielt einzufordern. In Frageblock 1 wurde die sehr große Fülle lexikografischer Angaben jeweils in einer nicht zu langen, allgemein verständlichen Formulierung zusammengefasst, um auch solche Testpersonen zu erreichen, die elexiko noch nie benutzt haben. Dies soll exemplarisch an dem Angabebereich Besonderheiten des Gebrauchs gezeigt werden: Dieser umfasst mehrere Unterangaben, u. a. zu einer mit dem Stichwort verbundenen Sprechereinstellung, zu einem bestimmten Situationsbezug, zu einer Textbindung, zu einer Sachgebietszugehörigkeit und zu bestimmten themengebundenen Verwendungen11. Jeder dieser Bereiche hätte mit den folgenden Formulierungen vorgestellt und anschließend hinsichtlich der Nützlichkeit bewertet werden können: – Sprechereinstellung: In einem Onlinewörterbuch wie elexiko wird zu einem Stichwort in einer bestimmten Bedeutung erklärt, wenn es nicht neutral verwendet werden kann, sondern immer mit einer (negativen oder positiven) Wer-

|| 10 Zu vielen dieser Angabebereiche sind Einzelpublikationen erschienen, die im Folgenden in Auswahl aufgeführt werden: Orthografie (Klosa 2005c), Aussprache (Klosa 2011b), Bedeutungserläuterung (Storjohann 2005d), Semantische Umgebung und lexikalische Mitspieler (Haß 2005c), Typische Verwendungen (Storjohann 2005e), Sinnverwandte Wörter (Storjohann 2005c), Besonderheiten des Gebrauchs (Haß 2005b), Grammatik (Klosa 2005b), Wortbildung (Klosa 2005e, 2013 und Töpel 2013), Textbeispiele/Belege (Klosa 2005a) sowie Kommentare/Hinweise (Klosa 2005d). 11 Vgl. hierzu genauer Schnörch (2011).

292 | Annette Klosa, Alexander Koplenig, Antje Töpel

–

–

–

–

tung verbunden ist (z. B. Hirsch als Bezeichnung für einen Mann, sanft als Eigenschaft von Menschen und Tieren). Situationsbezug: In einem Onlinewörterbuch wie elexiko wird zu einem Stichwort in einer bestimmten Bedeutung erklärt, wenn sein Gebrauch an eine bestimmte Situation gebunden ist (z. B. anhalten in der Bedeutung ‚anweisen’: eine hierarchisch höher gestellte Person kann eine hierarchisch niedriger stehende Person zu etwas anhalten, aber nicht umgekehrt). Sachgebietszugehörigkeit: In einem Onlinewörterbuch wie elexiko wird zu einem Stichwort in einer bestimmten Bedeutung erklärt, wenn sein Gebrauch auf ein bestimmtes Fachgebiet beschränkt ist (z. B. Vorschlag in der Bedeutung ‚musikalische Verzierung’ in der Musik). Textbindung: In einem Onlinewörterbuch wie elexiko wird zu einem Stichwort in einer bestimmten Bedeutung erklärt, wenn sein Gebrauch auf bestimmte Texte oder geschriebenes bzw. gesprochenes Deutsch beschränkt ist (z. B. Alter in der Bedeutung ‚männliche Person’ in gesprochener Sprache). Themengebundene Verwendung: In einem Onlinewörterbuch wie elexiko wird zu einem Stichwort in einer bestimmten Bedeutung erklärt, wenn es in auffälliger Weise thematisiert wird (z. B. Mann in der Bedeutung ‚erwachsene männliche Person’ im Zusammenhang mit Gewaltdelikten und kriminellen Handlungen).

Im Fragebogen stand schließlich nur die stark reduzierte Formulierung: „In einem Onlinewörterbuch wie elexiko wird zu einem Stichwort in einer bestimmten Bedeutung erklärt, wenn es bestimmte Besonderheiten im Gebrauch gibt, z. B., dass mit der Verwendung des Wortes eine negative Bewertung verbunden ist oder dass das Wort in einer bestimmten Fachsprache verwendet wird.“ Hierfür wurden genau die beiden Angaben ausgewählt (Bewertung, Fachsprache), die den Testpersonen aus traditionellen Wörterbüchern in Form von Etikettierungen wie „abwertend“ bzw. „Medizin“ vertraut sein dürften. Eine Reduzierung der Informationen zu jedem Angabebereich hat ermöglicht, fast alle Bereiche in ihrer Wichtigkeit bewerten zu lassen und nicht nur wenige sehr ausführlich zu überprüfen. Mithilfe von Filtern bei der Programmierung der Umfrage gelang es außerdem, die Menge der Angabebereiche, die jede Testperson bewerten musste, auf generell fünf zu reduzieren. So konnte darauf verzichtet werden, z. B. nur die sechs Bereiche bewerten zu lassen, die bezogen auf eine Lesart angegeben werden (Bedeutungserläuterung, Semantische Umgebung und lexikalische Mitspieler, Typische Verwendungen, Sinnverwandte Wörter, Besonderheiten des Gebrauchs, Grammatik), und es gelang, ein größeres Spektrum lexikografischer Angaben abzudecken, so auch lesartenübergreifende Angaben (z. B. Aussprache, Orthografie) oder Angaben allgemeiner Art (z. B. Belege, Kommentare).

Benutzerwünsche und -meinungen zu elexiko | 293

3.2.2 Aufbau und Ergebnisse Methode Um das Interesse an einzelnen Angabebereichen und den unterschiedlichen Arten von Stichwörtern eines Onlinewörterbuchs wie elexiko einschätzen zu können, wurden die Testpersonen gebeten, einige Angabetypen bzw. die Bandbreite an Stichwörtern in ihrer Wichtigkeit einzuschätzen. Aus den zwölf Angabebereichen12 Aussprache, Bedeutungserläuterung, Besonderheiten des Gebrauchs, Grammatik, Kommentare/Hinweise, Orthografie, Semantische Umgebung, Sinnverwandte Wörter, Textbeispiele/Belege, Typische Verwendungen und Wortbildung sowie Stichwortarten erhielten die Teilnehmenden per Zufall fünf Bereiche zur Bewertung. Gleichzeitig konnte der Fragebogen durch die Filterführung für die Probanden in einer akzeptablen Länge gehalten werden. Die Aufeinanderfolge der Angabetypen war randomisiert, um Reihenfolgeneffekte zu vermeiden. Alle Bereiche wurden inhaltlich ausführlich erläutert, damit auch weniger erfahrene Testpersonen wussten, welche Art von Informationen gemeint war. Die Einschätzung der Bereiche erfolgte auf zwei Arten: Zunächst wurden die Probanden gebeten, auf einer siebenstufigen Likert-Skala für jeden ihrer fünf Angabebereiche zu beurteilen, wie wichtig, nützlich und hilfreich er ist (die 1 entspricht dabei der Merkmalsausprägung überhaupt nicht wichtig/nützlich/hilfreich, die 7 steht für sehr wichtig/nützlich/hilfreich). Aus den drei ausgewählten Skalenwerten wurde im Zuge der Datenanalyse ein additiver Index gebildet, welcher die Bewertung der jeweiligen Einschätzung quantifiziert (αs > ,80; vgl. auch Fußnote 44). Im Anschluss an die Bewertung sollten die Teilnehmenden die fünf bereits zuvor bewerteten Angabebereiche in eine Rangfolge von 1 bis 5 bringen. Im Unterschied zur Likert-Skala konnten die Probanden beim Ranking keinen Wert mehrmals vergeben, sondern mussten sich für eine bestimmte Rangfolge entscheiden. Ergebnis S. Tabelle 3. Interpretation Wie Tabelle 3 und Abbildung 1 zeigen, stufen die Befragten die Bedeutungserläuterung und die Typischen Verwendungen als am wichtigsten13 ein. Die Bedeutungserläuterung erreicht im Ranking durchschnittlich Platz 1,78 und in der Skalenbewertung 6,37 Punkte. Die Typischen Verwendungen werden im Durchschnitt mit Platz 2,33 und 6,39 Punkten auf der Skala bewertet. Das gute Abschneiden der Bedeu|| 12 In diesem Abschnitt wird verkürzend teilweise nur von Angabebereichen gesprochen, was die verschiedenen Arten von Stichwörtern jedoch mit einschließt. 13 Im Folgenden verweist auch die Verwendung nur einer Etikette (wichtig oder nützlich oder hilfreich) auf den gesamten Index.

294 | Annette Klosa, Alexander Koplenig, Antje Töpel

tungserläuterung ist wenig überraschend, deckt es sich doch mit einer Vielzahl von Studien zur Wörterbuchbenutzung, aus denen die Bedeutungserläuterung als der am häufigsten nachgeschlagene und für die Wörterbuchbenutzung wichtigste Angabebereich hervorgeht (für einen Überblick vgl. Engelberg/Lemnitzer 2009, S. 87). Für den Angabebereich, der bei elexiko Typische Verwendungen genannt wird, gab es zum Zeitpunkt der Konzeption der Befragung keine ähnlichen Studien, die zum Vergleich herangezogen werden könnten. Das lässt sich damit erklären, dass dieser Angabetyp sowohl in den Wörterbüchern als auch in der Metalexikografie traditionell keine solche Aufmerksamkeit erfahren hat wie die Bedeutungserläuterung. Umso bemerkenswerter ist vor diesem Hintergrund die extrem positive Einschätzung dieses Angabebereichs durch die Teilnehmer zu bewerten. Angabebereich

Rang

Bewertung

Bedeutungserläuterung

1,78

6,37

Typische Verwendungen

2,33

6,39

Orthografie

2,72

6,30

Besonderheiten des Gebrauchs

2,80

6,28

Grammatik

2,85

6,14

Sinnverwandte Wörter

2,87

6,06

Semantische Umgebung

3,01

5,72

Textbeispiele/Belege

3,08

6,13

verschiedene Arten von Stichwörtern Wortbildung

3,28

6,07

3,71

5,24

Kommentare/Hinweise

3,72

5,82

Aussprache

3,96

5,63

Tab. 3: Die Wichtigkeit der Angabebereiche in elexiko (Rang und Bewertung).

Als am wenigsten nützlich werden durch die Probanden hingegen die drei Angabebereiche Wortbildung, Kommentare/Hinweise und Aussprache eingeschätzt: Die Angaben zur Wortbildung erreichen im Mittel Platz 3,71 beim Ranking (5,24 Punkte auf der Skala), die Kommentare/Hinweise Platz 3,72 (5,82 Punkte auf der Skala) und die Ausspracheangaben Platz 3,96 (5,63 Punkte auf der Skala). Die Ergebnisse zeigen, dass die Werte unbedingt auch im Zusammenhang miteinander interpretiert werden müssen. Zum einen liegen die einzelnen Werte extrem dicht beisammen: Im Ranking befinden sie sich in einer Spanne von gut zwei Plätzen zwischen 1,78 und 3,96. Bei der Bewertung auf der siebenstufigen Skala wird lediglich gut eine Stufe (zwischen 5,24 und 6,39) ausgenutzt. Zum anderen zwingt das Ranking die Teilnehmenden dazu, unterschiedliche Ränge zu vergeben. In einer solchen Situation ist es nicht verwunderlich, wenn die Probanden Angabebereiche wie Aussprache,

Benutzerwünsche und -meinungen zu elexiko | 295

Kommentare/Hinweise oder Wortbildung etwa im direkten Vergleich zur Bedeutungserläuterung als sekundär und damit weniger wichtig beurteilen. Insgesamt bestätigen die Resultate dieses Teilbereichs der Umfrage eher, dass die Testpersonen eine Vielzahl von Angaben als wichtig erachten, zumindest, wenn sie ganz allgemein und losgelöst von konkreten Benutzungssituationen gefragt werden. Dies sollte auch beim möglichen Ausbau bestimmter Angabebereiche in einem Wörterbuch beachtet werden.

5

Aussprache

4

Kommentare

Wortbildung

Stichwortarten

3

Semantische Umgebung

Belege

des Gebrauchs Sinnverwandte Grammatik Orthografie Wörter Typische Verwendungen

2 Rang (15)

Besonderheiten

Bedeutungserläuterung

1 5,2

5,4

5,6

5,8

6

6,2

6,4

Bewertung (17) Abb. 1: Die Wichtigkeit der Angabebereiche in elexiko (Bewertung und Rangfolge).

Für die Bewertung der Nützlichkeit der einzelnen Angabebereiche ist es natürlich auch von Interesse, ob spezifische Benutzergruppen (beispielsweise mit einem gemeinsamen beruflichen Hintergrund) die Wichtigkeit der Bereiche unterschiedlich bewerten. Um solche gruppenspezifischen Unterschiede berechnen zu können, wurden – wie in 2.2 beschrieben – bestimmte weitere Daten (z. B. soziodemografischer Art) erhoben. Vergleicht man jedoch die Bewertungen der einzelnen Berufsgruppen mit denen der anderen Probanden (wie Übersetzer vs. Nichtübersetzer oder sprachwissenschaftlich Gebildete vs. nicht sprachwissenschaftlich Gebildete) finden sich kaum gruppenbedingte Unterschiede.

296 | Annette Klosa, Alexander Koplenig, Antje Töpel

7 6,5 6

Bewertung

5,5 5 4,5 4

Übersetzer Nichtübersetzer

 Abb. 2: Wichtigkeit der Angabebereiche in elexiko für Übersetzer und Nichtübersetzer.

In Abbildung 2 wird dies am Beispiel der Übersetzer/Nichtübersetzer und in Abbildung 3 am Beispiel der Personen mit oder ohne sprachwissenschaftlichen Hintergrund durch die zum großen Teil völlig parallel verlaufenden Kurven ersichtlich. Allerdings bewerten die zu einer bestimmten Berufsgruppe gehörenden Probanden im Schnitt alle Angaben etwas wichtiger als die Befragten, die nicht zu dieser Berufsgruppe gehören. Umfrageteilnehmer, die durch ihren beruflichen Hintergrund vermutlich einen besonderen Zugang zu Wörterbüchern besitzen, räumen lexikografische Angaben also unabhängig von deren Art grundsätzlich eine größere Wichtigkeit ein als Probanden ohne einen solchen professionellen Hintergrund. Gleiches gilt auch für die Gruppe der Testpersonen, die elexiko bereits verwendet hat im Vergleich zu denjenigen Probanden, die elexiko noch nie benutzt haben. Die sozialpsychologische Forschung zur Informationsverarbeitung bei Befragungen belegt (vgl. Diekmann 2002, S. 375ff.), dass Einstellungs- und Meinungsfragen (auch) von der kognitiven Motivation der Testpersonen beeinflusst werden können. Es ist mit anderen Worten für die Bewertung von Bedeutung, wie intensiv die Testpersonen über die Informationen, in diesem Fall also die gestellten Fragen, nachdenken. Um zu überprüfen, ob die kognitive Motivation die Bewertung der Angabebereiche beeinflusst, wurde in der vorliegenden Studie die „Need for Cognition“ (NFC)-Skala von Cacioppo/Petty (1982) in der deutschen Adaption von Bless/ Wänke/Bohner/Fellhauer/Schwarz (1994) implementiert. So sollten die Probanden auf einer siebenstufigen Skala mit den Endpunkten +3 (trifft ganz genau zu) und -3 (völlig unzutreffend) beispielsweise auf diese Fragen antworten: „Die Aufgabe, neue Lösungen für Probleme zu finden, macht mir wirklich Spaß.“, „Ich denke lieber

Benutzerwünsche und -meinungen zu elexiko | 297

über kleine, alltägliche Vorhaben nach als über langfristige.“ oder „Ich finde wenig Befriedigung darin, angestrengt und stundenlang nachzudenken.“. Anhand der erzielten Skalenwerte wurden mittels eines Mediansplits die Testpersonen in zwei Gruppen (hohe vs. niedrige NFC) eingeteilt. Dabei zeigten sich keine nennenswerten Differenzen zwischen Testpersonen mit hoher Verarbeitungsmotivation und Testpersonen mit niedriger Verarbeitungsmotivation.

7 6,5 6

Bewertung

5,5 5 4,5

Sprachwissenschaftler

4

 Abb. 3: Wichtigkeit der Angabebereiche in elexiko für Sprachwissenschaftler und Nichtsprachwissenschaftler.

Dass die Befragten mit Erfahrungen bei der Verwendung von elexiko oder mit einem wörterbuchbezogenen Beruf im Durchschnitt alle Angabebereiche für wichtiger erachten als die Befragten ohne diese Erfahrungen, lässt sich mit dem bei diesen Personengruppen vorhandenen umfassenden Bedürfnis nach vielfältigen Informationstypen erklären. Fast identische Werte (die Berührungspunkte zwischen den beiden Gruppen in Abbildung 2 und 3) erreichen zum Beispiel Personen mit bzw. ohne sprachwissenschaftlichen Hintergrund genau in den Angabebereichen, die auch für die in Bezug auf Wörterbücher weniger erfahrenen Testpersonen bei ihren eher alltäglichen sprachbezogenen Aufgaben eine Rolle spielen – Orthografie, Typische Verwendungen, Stichwörter und Kommentare/Hinweise. Bei den eher lexikografisch fachbezogenen Angabetypen wie der Semantischen Umgebung (Kollokationen) liegen die Werte hingegen weiter auseinander.

298 | Annette Klosa, Alexander Koplenig, Antje Töpel

3.2.3 Bewertung der Ergebnisse Die Umfrageergebnisse zu diesem Frageblock, der sich mit den erwarteten Arten von Stichwörtern und der Wichtigkeit der einzelnen Angabebereiche beschäftigt, bestätigen im Grunde das Konzept, mit elexiko ein umfassendes, auf die Beschreibung von Bedeutung und Verwendung der Stichwörter konzentriertes Wörterbuch mit einer breiten Angabestruktur zu erarbeiten. Die Testpersonen scheinen, allgemein gefragt und daher unabhängig von konkreten Benutzungssituationen, zunächst einmal an allen sprachlichen Bereichen interessiert, die in einem allgemeinsprachlichen monolingualen Onlinewörterbuch vorkommen können. Besonders interessiert zeigen sie sich an der Bedeutungserläuterung und den typischen Verwendungen, wobei die Abstände zu den anderen abgefragten Angabebereichen sehr klein sind. Ähnlich stellt sich die Situation dar, wenn man sich die einzelnen Angabebereiche zu den Einzelworteinträgen ansieht. Hier fällt kein Angabebereich in der Beurteilung seiner Nützlichkeit durch die Probanden wirklich gegenüber den anderen ab. Im Gegenteil: Die wenigen Angabebereiche, die in elexiko (noch) nicht realisiert sind, die aus anderen Wörterbüchern aber bekannt sind, werden eingefordert, und zwar beispielsweise Etymologie und Ausspracheangaben. Diesem Ausbau der Wortartikel durch die Ergänzung weiterer Angabebereiche steht allerdings die enge personelle Ausstattung des Projektes elexiko14 entgegen.

3.3 Frageblock 2: Gewünschte Informationen in den Angabebereichen

3.3.1 Forschungsfragen Ähnlich wie bei Frageblock 1 bestand das Hauptinteresse für den zweiten Frageblock darin, die Erwartungen zu einzelnen Informationen (also den lexikografischen Angaben) innerhalb eines Angabebereiches abzufragen. Dabei wurde eine Kombination aus Informationen, die es schon in elexiko gibt, und solchen, die prinzipiell ergänzt werden könnten, gewählt. Auch in diesem Frageblock bestand ein Problem darin, aus der Fülle der tatsächlichen oder möglichen Angaben eine für die Umfrage geeignete Auswahl zu treffen. Der Auswahlprozess soll anhand der grammatischen Angaben illustriert werden. Denkbar wären z. B. die folgenden Angaben:

|| 14 Vgl. http://www.ids-mannheim.de/lexik/elexiko/projektteam/.

Benutzerwünsche und -meinungen zu elexiko | 299

Vorhandene grammatische Angaben in elexiko: – Wortart, – Beugung (Flexion) eines Stichwortes mit den wichtigsten Formen, – spezielle Angaben pro Wortart: bei Adjektiven: ob sie gebeugt und gesteigert werden können usw., bei Substantiven: ob sie nur im Singular oder im Plural verwendet werden, ob sie mit oder ohne Artikel gebraucht werden, wie Konstruktionen mit ihnen gebildet werden usw., bei Verben: wie man die Vergangenheitsformen und den Konjunktiv bildet, wie Sätze mit ihnen gebildet werden usw., – Angabe verschiedener Möglichkeiten, z. B. den Plural von Substantiven oder die Steigerungsformen eines Adjektivs zu bilden, – Markierung dazu, wie häufig bestimmte konkurrierende Formen verwendet werden. Möglicher Ausbau der grammatischen Angaben: – vollständige Angabe der Beugung (Flexion) eines Stichwortes in Form von Tabellen, – Zuordnung der Stichwörter, die man beugen kann, zu bestimmten Flexionsklassen, – Regeln dazu, wie man das Stichwort grammatikalisch richtig gebrauchen kann, – Hinweise dazu, wie man das Stichwort nicht gebrauchen sollte bzw. dazu, dass bestimmte Formen oder Konstruktionen als falsch gelten, – Verlinkung zu einer Onlinegrammatik des Deutschen, – Nennung anderer Wörterbücher und Grammatiken, in denen grammatische Problemfälle mit dem Stichwort beschrieben sind. Für die Studie wurden aus dieser Menge vorhandener und denkbarer Angaben für den Angabebereich Grammatik die folgenden herausgegriffen: – Wortart eines Stichwortes, – Beugung (Flexion) eines Stichwortes mit den wichtigsten Formen, – vollständige Angabe der Beugung (Flexion) eines Stichwortes in Form von Tabellen, – Angabe verschiedener Möglichkeiten, z. B. den Plural von Substantiven oder die Steigerungsformen eines Adjektivs zu bilden, – Markierung dazu, wie häufig bestimmte konkurrierende Formen (z. B. zwei unterschiedliche Pluralformen) verwendet werden. Neben vier in elexiko vorhandenen Angaben wurde damit die zukünftig mögliche Ergänzung um vollständige Flexionsparadigmen überprüft. Für die Auswahl der möglichen weiteren Angaben, die in elexiko ergänzt werden könnten, wurden folgende Kriterien herangezogen: die Angabe ist schon aus

300 | Annette Klosa, Alexander Koplenig, Antje Töpel

anderen, auch traditionellen Wörterbüchern bekannt (z. B. Rechtschreibregeln), sie ist dem Medium Internet angemessen (z. B. Wortnetz, in dem das Stichwort mit seinen sinnverwandten Wörtern gezeigt wird) oder sie ist aufgrund bestimmter Bedingungen im Projekt bzw. am IDS in näherer Zukunft realisierbar (z. B. vollständige Flexionsparadigmen). Diese Kriterien steuerten auch die Beschränkung der Informationen in den anderen Angabebereichen (Orthografie, Aussprache, Wortbildung, Bedeutungserläuterung, Semantische Umgebung und lexikalische Mitspieler, Typische Verwendungen, Sinnverwandte Wörter, Besonderheiten des Gebrauchs, Grammatik). Ergänzt wurde das Fragespektrum durch „Sonstiges“ (z. B. Verlinkung zu anderen Onlinenachschlagewerken, multimediale Elemente) und einer Frage zu verschiedenen Stichwortarten (z. B. Namen, Wortverbindungen). Aus Umfangsgründen mussten, wie schon in Frageblock 1, Fragen zu Angaben unter der Überschrift Herkunft und Wandel und Zum Zusammenhang der Lesarten wegfallen.

3.3.2 Aufbau und Ergebnisse Methode Von den elf Bereichen Aussprache, Bedeutungserläuterung, Besonderheiten des Gebrauchs, Grammatik, Orthografie, Semantische Umgebung, Sinnverwandte Wörter, Stichwortarten, Typische Verwendungen, Wortbildung und Sonstiges wurden den Befragten per Zufallsauswahl je fünf Bereiche zur Einschätzung zugewiesen. Soweit es möglich war, erhielten die Testpersonen dieselben Bereiche wie im ersten Frageblock, wo sie deren Wichtigkeit bewerten sollten (vgl. Kapitel 3.2). Die beiden Angabebereiche Kommentare/Hinweise und Textbeispiele/Belege wurden in diesem Frageblock allerdings neben anderen Antwortoptionen in der Rubrik „Sonstiges“ zusammengefasst. Probanden mit einem/zwei dieser Bereiche hatten in diesem Frageblock einen Bereich bzw. zwei Bereiche weniger zu bewerten als die anderen Teilnehmer. Die Rubrik „Sonstiges“ wurde von jedem der 685 Befragten bewertet. Jeden der anderen zehn Angabebereiche erhielten zwischen 267 und 307 Probanden. Wie bereits beim ersten Frageblock konnte so statistische Verlässlichkeit bei einer gleichzeitig akzeptablen Länge des Fragebogens für die Teilnehmenden sichergestellt werden. Auch hier sorgte die Randomisierung der Angabebereiche dafür, dass sich die Reihenfolge der Nennung nicht auf das Antwortverhalten der Probanden auswirken konnte. Für jeden der Angabebereiche wurden vier bis fünf Datentypen angeboten, welche die Befragten auswählen konnten, wobei Mehrfachantworten möglich waren. Zusätzlich gab es in jedem Angabebereich die Antwortmöglichkeiten „Sonstiges“ (mit einem Freitextfeld, dieses wird zusammenfassend in Abschnitt 3.3.3 ausgewertet) und „Keine der genannten Informationen“. Über alle Angabebereiche hinweg erwarten die Befragten meist mehrere Einzelangaben – zwischen 2,38 (Aussprache) und 3,86 (Bedeutungserläuterung). Was die Anzahl der gegebenen Antworten anbelangt, ergeben sich gruppenspezifische Un-

Benutzerwünsche und -meinungen zu elexiko | 301

terschiede: Probanden mit sprachwissenschaftlichem Hintergrund wählen im Schnitt eine Antwort mehr aus, erwarten also einen Angabetyp mehr als Personen ohne sprachwissenschaftlichen Hintergrund. Gleiches gilt für die Befragten mit einer hohen Verarbeitungsmotivation im Vergleich zu Probanden mit einer niedrigen Verarbeitungsmotivation (vgl. Kapitel 3.2.2). Im Folgenden werden die Ergebnisse aus den einzelnen Angabebereichen detailliert vorgestellt. a) Angabebereich Aussprache Ergebnis Erwartete Informationstypen im Bereich Aussprache

Häufigkeit

Prozent der Fälle

Hören des Stichwortes in der richtigen Aussprache

227

80,78

Umschreibung der richtigen Aussprache in Lautschrift

184

65,48

Hören des Stichwortes im Satzzusammenhang

108

38,43

Hören des Stichwortes in verschiedenen (regionalen) Aussprachen

86

30,60

Umschreibung verschiedener (regionaler) Aussprachen des Stichwortes in Lautschrift

55

19,57

Keine der genannten Informationen

7

2,49

Sonstiges

1

0,36

Summe

668

237,72

Tab. 4: Erwartete Informationstypen im Bereich Aussprache.

Interpretation Bei den Ausspracheangaben zeigt sich der Wunsch nach Normiertheit bei den Befragten besonders stark. So werden das Hören des Stichwortes in der richtigen Aussprache (80,78 Prozent der Fälle) und die Umschreibung der richtigen Aussprache in Lautschrift (65,48 Prozent der Fälle) mit Abstand am häufigsten genannt. Alle Antwortmöglichkeiten, in denen unterschiedliche Aussprachevarianten oder die Aussprache im Satzkontext vorkommen, werden wesentlich seltener ausgewählt: das Hören des Stichwortes im Satzzusammenhang (38,43 Prozent der Fälle), das Hören des Stichwortes in verschiedenen (regionalen) Aussprachen (30,6 Prozent der Fälle) und die Umschreibung verschiedener (regionaler) Aussprachen des Stichwortes in Lautschrift (19,57 Prozent der Fälle). Die Ausspracheangaben sind ein Bereich, in dem die Probanden die Umsetzung der technischen Möglichkeiten eines Onlinewörterbuchs offensichtlich bereits erwarten. Vor die Wahl gestellt, die Aussprache eines Stichwortes in Lautumschrift zu lesen oder sie sich über eine Audiodatei anzuhören, bevorzugen die Befragten das Anhören einer Audiodatei. Zu zahlreichen redaktionell bearbeiteten Stichwörtern bietet elexiko seinen Nutzern bereits Hörbelege an, die dem standardnahen Deutsch entstammen. Diese Hörbelege zeigen das Stichwort allerdings im Satzzusammenhang. Auch wenn die

302 | Annette Klosa, Alexander Koplenig, Antje Töpel

Präferenz der Testpersonen unserer Studie in eine andere Richtung geht, kann eine isolierte Aussprache des Stichwortes (also ohne Satzkontext) aus finanziellen Gründen derzeit nicht bereitgestellt werden. b) Angabebereich Bedeutungserläuterung Ergebnis Häufigkeit

Prozent der Fälle

Erklärung der Bedeutung eines Stichwortes durch die Angabe von Synonymen

259

85,20

Textbelege, die neben der Bedeutungserläuterung dabei helfen, die Bedeutung des Stichwortes zu verstehen

232

76,32

Ausführliche Erklärung der Bedeutung eines Stichwortes

198

65,13

Erklärung der Bedeutung eines Stichwortes durch Sachinformationen

194

63,82

Erklärung der Bedeutung eines Stichwortes durch eine oder mehrere Illustrationen

155

50,99

Sonstiges

15

4,93

Keine der genannten Informationen

0

0,00

Summe

1053

346,38

Erwartete Informationstypen im Bereich Bedeutungserläuterung

Tab. 5: Erwartete Informationstypen im Bereich Bedeutungserläuterung.

Interpretation Bei der Bedeutungserläuterung erwarten die Befragten am häufigsten eine Erklärung der Bedeutung eines Stichwortes durch die Angabe von Synonymen, wie sie auch aus bestehenden Wörterbüchern bekannt ist (85,2 Prozent der Fälle). Aber auch die Textbelege, die neben der Bedeutungserläuterung dabei helfen, die Bedeutung des Stichwortes zu verstehen (76,32 Prozent der Fälle), die ausführliche Erklärung der Bedeutung eines Stichwortes (65,13 Prozent der Fälle) und die Erklärung der Bedeutung eines Stichwortes durch Sachinformationen (63,82 Prozent der Fälle) werden von vielen Teilnehmenden erwartet. Selbst die am seltensten ausgewählte Antwortoption, die Erklärung der Bedeutung eines Stichwortes durch eine oder mehrere Illustrationen wird noch in 50,99 Prozent der Fälle ausgewählt. Bei den Bedeutungsangaben erwarten die Probanden also besonders viele unterschiedliche Informationstypen, zumindest wenn sie unabhängig von Stichwortarten und Benutzungssituationen befragt werden.

Benutzerwünsche und -meinungen zu elexiko | 303

c) Angabebereich Besonderheiten des Gebrauchs Ergebnis Erwartete Informationstypen im Bereich Besonderheiten des Gebrauchs

Häufigkeit

Prozent der Fälle

Markierungen wie „umgangssprachlich“, „abwertend“, „gehoben“ usw. für das Stichwort

280

91,21

Einordnung des Stichwortes in eine Fachsprache (z. B. „Medizin“)

256

83,39

Textbelege, die Besonderheiten des Gebrauchs zeigen

243

79,15

Einordnung des Stichwortes in einen Dialekt oder einen bestimmten größeren Sprachraum (z. B. „Sächsisch“, „Schweizerdeutsch“)

224

72,96

Zuordnung des Stichwortes zu einem bestimmten Thema

161

52,44

Sonstiges

20

6,51

Keine der genannten Informationen

3

0,98

Summe

1187

386,64

Tab. 6: Erwartete Informationstypen im Bereich Besonderheiten des Gebrauchs.

Interpretation Auch bei den Besonderheiten des Gebrauchs haben die Befragten allgemein befragt einen klar favorisierten Datentyp – die Markierungen wie „umgangssprachlich“, „abwertend“, „gehoben“ usw. für das Stichwort werden in 91,21 Prozent der Fälle erwartet. Ähnlich wie die Bedeutungserläuterung anhand von Synonymen (vgl. Tabelle 5) sind den Probanden diese Markierungen aus der Wörterbuchpraxis bekannt. Daran schließen sich folgende Angaben an: die Einordnung des Stichwortes in eine Fachsprache (z. B. „Medizin“) (83,39 Prozent der Fälle), die Textbelege, die Besonderheiten des Gebrauchs zeigen (79,15 Prozent der Fälle), die Einordnung des Stichwortes in einen Dialekt oder einen bestimmten größeren Sprachraum (z. B. „Sächsisch“, „Schweizerdeutsch“) (72,96 Prozent der Fälle). Selbst die Zuordnung des Stichwortes zu einem bestimmten Thema wird mit 52,44 Prozent der Fälle noch häufig genannt. d) Angabebereich Grammatik Ergebnis S. Tabelle 7. Interpretation Im Angabebereich Grammatik erwarten die Befragten hauptsächlich Informationstypen, welche die Varianz unterschiedlicher grammatischer Formen zeigen (in 81,91 Prozent der Fälle wird genannt: Angabe verschiedener Möglichkeiten, z. B. den Plural von Substantiven oder die Steigerungsformen eines Adjektivs zu bilden).

304 | Annette Klosa, Alexander Koplenig, Antje Töpel

Auch die Präsentation eines grammatischen Paradigmas in Auszügen kommt besser an als die erschöpfende Darstellung in tabellarischer Form: die Beugung (Flexion) eines Stichwortes mit den wichtigsten Formen wird in 74,47 Prozent der Fälle genannt, die vollständige Angabe der Beugung (Flexion) eines Stichwortes in Form von Tabellen hingegen nur in 39,72 Prozent der Fälle. Eine grundlegende Information wie die Wortart eines Stichwortes wird in 71,63 Prozent der Fälle erwartet. In 65,25 Prozent der Fälle erwarten die Probanden eine Markierung dazu, wie häufig bestimmte, konkurrierende Formen (z. B. zwei unterschiedliche Pluralformen) verwendet werden. Erwartete Informationstypen im Bereich Grammatik Angabe verschiedener Möglichkeiten, z. B. den Plural von Substantiven oder die Steigerungsformen eines Adjektivs zu bilden

Häufigkeit

Prozent der Fälle

231

81,91

Beugung (Flexion) eines Stichwortes mit den wichtigsten Formen

210

74,47

Wortart eines Stichwortes

202

71,63

Markierung dazu, wie häufig bestimmte, konkurrierende Formen (z. B. zwei unterschiedliche Pluralformen) verwendet werden

184

65,25

Vollständige Angabe der Beugung (Flexion) eines Stichwortes in Form von Tabellen

112

39,72

Sonstiges

23

8,16

Keine der genannten Informationen

4

1,42

Summe

966

342,55

Häufigkeit

Prozent der Fälle

Richtige Schreibung

258

89,27

Schreibvarianten

234

80,97

Richtige Worttrennung

233

80,62

Tab. 7: Erwartete Informationstypen im Bereich Grammatik.

e) Angabebereich Orthografie Ergebnis Erwartete Informationstypen im Bereich Orthografie

Rechtschreibregeln

149

51,56

Häufige Verschreibungen (z. B. orginal statt original)

47

16,26

Sonstiges

9

3,11

Keine der genannten Informationen

0

0,00

Summe

930

321,80

Tab. 8: Erwartete Informationstypen im Bereich Orthografie.

Benutzerwünsche und -meinungen zu elexiko | 305

Interpretation Die Ergebnisse im Angabebereich Orthografie spiegeln seine für die Wörterbuchbenutzung im deutschsprachigen Raum traditionell besonders wichtige Rolle wider: Die richtige Schreibung wird in 89,27 Prozent der gegebenen Antworten erwartet, die richtige Worttrennung in 80,62 Prozent. Doch auch Schreibvarianten werden von vielen Probanden erwartet (80,97 Prozent der Fälle). Deutlich seltener werden die zugrunde liegenden Rechtschreibregeln genannt (51,56 Prozent der Fälle), kaum erwartet wird die Angabe häufiger Verschreibungen (z. B. orginal statt original) (16,26 Prozent der Fälle). Vermutlich wünschen sich die Probanden von einem Internetwörterbuch, dass mögliche Nachschlagehandlungen, die wegen einer fehlerhaften Schreibung zu scheitern drohen, von vornherein durch eine fehlertolerante Suche verhindert werden. Eine andere Erklärung könnte der Wunsch der Testpersonen nach korrekten Angaben im Wörterbuch sein, also das Bestreben, alles Falsche aus dem Wörterbuch zu verbannen. In diese Richtung geht beispielsweise auch der Wunsch eines Befragten unter „Sonstiges“, keine fehlerhaften Quellen mehr zu übernehmen (zur Auswertung des Freitextfeldes vgl. Abschnitt 3.3.3). Eine mögliche Konsequenz für elexiko könnte sein, bisher noch aufgeführte nichtnormgerechte Varianten, d. h. häufige Verschreibungen, aus elexiko zu entfernen, und sie nur noch intern für die Verbesserung von Suchmöglichkeiten zu verwenden. f) Angabebereich Semantische Umgebung und lexikalische Mitspieler Ergebnis Erwartete Informationstypen im Bereich Semantische Umgebung und lexikalische Mitspieler

Häufigkeit

Prozent der Fälle

Wörter, die häufig mit dem Stichwort zusammen auftreten

213

79,78

Wörter, die eine ähnliche Bedeutung (Semantik) wie das Stichwort haben

207

77,53

Wörter, die man besonders gut mit dem Stichwort zusammen verwenden kann

203

76,03

Wortfeld, zu dem das Stichwort gehört

149

55,81

Sonstiges

15

5,62

Keine der genannten Informationen

1

0,37

Summe

788

295,13

Tab. 9: Erwartete Informationstypen im Bereich Semantische Umgebung und lexikalische Mitspieler.

Interpretation Drei der vier zum Bereich Semantische Umgebung und lexikalische Mitspieler zur Auswahl gestellten Datentypen erwarten die Befragten fast gleich häufig: die Wör-

306 | Annette Klosa, Alexander Koplenig, Antje Töpel

ter, die häufig mit dem Stichwort zusammen auftreten (79,78 Prozent der Fälle), die Wörter, die eine ähnliche Bedeutung (Semantik) wie das Stichwort haben (77,53 Prozent der Fälle) und die Wörter, die man besonders gut mit dem Stichwort zusammen verwenden kann (76,03 Prozent der Fälle). Dabei liegen die erste und dritte Möglichkeit inhaltlich sehr nah beieinander. Allein die Angabe des Wortfeldes, zu dem das Stichwort gehört, erwarten die Befragten weniger häufig (in 55,81 Prozent der Fälle). g) Angabebereich Sinnverwandte Wörter Ergebnis Häufigkeit

Prozent der Fälle

Wörter, die das Gleiche wie das Stichwort bedeuten (Synonyme)

264

94,62

Wörter, die das Gegenteil vom Stichwort bedeuten (Antonyme)

212

75,99

Wörter, die etwas sachlich Ähnliches wie das Stichwort bezeichnen

187

67,03

Textbelege, in denen das Stichwort z. B. mit einem Synonym zusammen auftritt

151

54,12

Grafik, die das Stichwort im Zentrum mit seinen sinnverwandten Wörtern (z. B. in einem Wortnetz) zeigt

102

36,56

Erwartete Informationstypen im Bereich Sinnverwandte Wörter

Sonstiges

12

4,30

Keine der genannten Informationen

2

0,72

Summe

930

333,33

Tab. 10: Erwartete Informationstypen im Bereich Sinnverwandte Wörter.

Interpretation Im Angabebereich der sinnverwandten Wörter erwarten so gut wie alle Probanden Wörter, die das Gleiche wie das Stichwort bedeuten (Synonyme) (94,62 Prozent der Fälle). Es folgen die Wörter, die das Gegenteil vom Stichwort bedeuten (Antonyme) (75,99 Prozent der Fälle), die Wörter, die etwas sachlich Ähnliches wie das Stichwort bezeichnen (67,03 Prozent der Fälle) und – schon deutlich weniger – Textbelege, in denen das Stichwort z. B. mit einem Synonym zusammen auftritt (54,12 Prozent der Fälle). Ähnlich wie bei den Wortbildungsangaben (vgl. Tabelle 13) fällt auch bei den sinnverwandten Wörtern die bildliche Darstellung dagegen ab: Nur in 36,56 Prozent der Fälle erwarten die Befragten eine Grafik, die das Stichwort im Zentrum mit seinen sinnverwandten Wörtern (z. B. in einem Wortnetz) zeigt. Das Belegen paradigmatischer Relationen mit entsprechenden Korpusstellen in elexiko ist mit einem hohen zeitlichen Aufwand verbunden. Obwohl nur gut die Hälfte der Befragten diese Information erwartet, gehört sie doch zum linguistischen Anspruch von elexiko, sodass die Belegungspraxis trotz des Umfrageergebnisses beibehalten wird.

Benutzerwünsche und -meinungen zu elexiko | 307

h) Arten von Stichwörtern Ergebnis Erwartete Stichwortarten

Häufigkeit

Prozent der Fälle

Wortverbindungen (blind wie ein Maulwurf, das Rad neu erfinden …)

266

88,67

„normale“ [Einzel-]Wörter (Kind, rufen, schön …)

259

86,33

Vor- und Nachsilben, d. h. Wortbildungsmittel (anti-, ver-, -ung …)

231

77,00

Namen (Wagner, Berlin, Norwegen …)

179

59,67

Sonstiges

26

8,67

Keine der genannten Informationen

2

0,67

Summe

963

321

Tab. 11: Erwartete Stichwortarten.

Interpretation Für die Stichwörter ergibt sich ein besonders interessantes Bild. Danach befragt, welche Arten von Stichwörtern die Probanden in dem Bereich erwarten, liegen die Wortverbindungen (blind wie ein Maulwurf, das Rad neu erfinden…) mit 88,67 Prozent der Fälle sogar knapp vor den „normalen“ [Einzel-]Wörtern (Kind, rufen, schön …) mit 86,33 Prozent der Fälle. Dies lässt sich mit dem oft zu beobachtenden Interesse an festeren Wortverbindungen erklären. An dritter Stelle stehen mit 77 Prozent der Fälle Vor- und Nachsilben, d. h. Wortbildungsmittel (anti-, ver-, -ung …). Etwas seltener werden Namen (Wagner, Berlin, Norwegen …) erwartet (59,67 Prozent der Fälle). Auch spezielle Arten von Einzellemmata, wie etwa Abkürzungen, werden zur Aufnahme ins Wörterbuch vorgeschlagen. Statt einer Reduzierung der in elexiko beschriebenen Arten von Stichwörtern könnte also sogar eher noch über einen Ausbau der Makrostruktur nachgedacht werden. Allerdings wäre eine solche Integration weiterer Stichwortarten durch die bereits angesprochene kleine Zahl von Mitarbeitern im Projekt elexiko15 kaum zu leisten. Zudem muss berücksichtigt werden, dass elexiko innerhalb eines Wörterbuchportals publiziert wird. Andere Wörterbücher im Portal OWID beschäftigen sich bereits mit Inhalten, die von den Probanden gefordert oder als besonders nützlich eingestuft wurden, z. B. die Beschreibung neuer Wörter (im Neologismenwörterbuch16) oder von Wortbindungen (im Angebot zu Festen Wortverbindungen17 und Sprichwörtern18), sodass das Projekt elexiko dies nicht übernehmen muss.

|| 15 Vgl. http://www.ids-mannheim.de/lexik/elexiko/projektteam/. 16 Vgl. http://www.owid.de/wb/neo/start.html. 17 Vgl. http://www.owid.de/wb/uwv/start.html. 18 Vgl. http://www.ids-mannheim.de/lexik/SprichWort/.

308 | Annette Klosa, Alexander Koplenig, Antje Töpel

i) Angabebereich Typische Verwendungen Ergebnis Erwartete Informationstypen im Bereich Typische Verwendungen

Häufigkeit

Prozent der Fälle

Kontext, in dem das Stichwort typischerweise verwendet wird

253

88,15

Redensarten und Sprichwörter, in denen das Stichwort verwendet wird

234

81,53

Konstruktionen mit dem Stichwort

199

69,34

Textbelege zur Verwendung des Stichwortes

186

64,81

Verwendung des Stichwortes in Zitaten oder Titeln von Liedern, Filmen usw.

109

37,98

Sonstiges

8

2,79

Keine der genannten Informationen

1

0,35

Summe

990

344,95

Tab. 12: Erwartete Informationstypen im Bereich Typische Verwendungen.

Interpretation Die beiden Arten von Informationen, welche die Befragten bei den Typischen Verwendungen am häufigsten erwarten, sind der Kontext, in dem das Stichwort typischerweise verwendet wird (88,15 Prozent der Fälle), was mit dem breiten Interpretationsspielraum erklärt werden kann, den diese Antwort offenhält. An zweiter Stelle werden Redensarten und Sprichwörter genannt, in denen das Stichwort verwendet wird (81,53 Prozent der Fälle). Wie bereits bei den unterschiedlichen Stichwortarten (vgl. Tabelle 11) zeigt sich hier das allgemein festzustellende Interesse an festen Wendungen. Mit jeweils rund zwei Dritteln der Fälle werden die Konstruktionen mit dem Stichwort (69,34 Prozent der Fälle) und die Textbelege zur Verwendung des Stichwortes (64,81 Prozent der Fälle) ebenfalls oft ausgewählt. Die Verwendung des Stichwortes in Zitaten oder Titeln von Liedern, Filmen usw. ist dagegen mit 37,98 Prozent der genannten Fälle in der Erwartungshaltung der Befragten weniger präsent. j) Angabebereich Wortbildung Ergebnis S. Tabelle 13. Interpretation Im Bereich der Wortbildung liegen vier mögliche Informationstypen bei den Erwartungen der Testpersonen sehr dicht beisammen: die Verlinkung zu den Bestandteilen eines Stichwortes bzw. zu den Wortbildungsprodukten (63,67 Prozent der Fälle),

Benutzerwünsche und -meinungen zu elexiko | 309

die Erfassung und Beschreibung einzelner Wortbildungsmittel (Vor- und Nachsilben wie ver- und -ung) (62,95 Prozent der Fälle), die Information dazu, welche anderen Wörter zu einem Stichwort gebildet wurden (Wortbildungsprodukte) (62,59 Prozent der Fälle) sowie die Bildung des Stichwortes (z. B. durch Zusammensetzung aus zwei anderen Wörtern) (60,43 Prozent der Fälle). Hingegen wird nur in 38,49 Prozent der Fälle eine Grafik erwartet, die das Stichwort mit allen zugehörigen Bildungen (z. B. in Form eines Wortnetzes) zeigt. Diese Ergebnisse machen deutlich, dass die Probanden bei den technischen Möglichkeiten, die sich für ein digitales Wörterbuch bieten, stark zu differenzieren wissen: Erwartet werden etablierte, für sinnvoll erachtete Vorgehensweisen wie das direkte Navigieren zu Stichwortbestandteilen oder zu Wortbildungsprodukten, wie es durch Verlinkungen möglich ist. Eher modernere Elemente wie beispielsweise eine grafische Darstellung des Stichworts mit allen dazugehörigen Bildungen, deren Mehrwert gegenüber einer Darstellung in Textform in der Praxis nicht immer gegeben ist, werden im Gegensatz dazu wesentlich seltener erwartet. Häufigkeit

Prozent der Fälle

Verlinkung zu den Bestandteilen eines Stichwortes bzw. zu den Wortbildungsprodukten

177

63,67

Erfassung und Beschreibung einzelner Wortbildungsmittel (Vor- und Nachsilben wie ver- und -ung)

175

62,95

Information dazu, welche anderen Wörter zu einem Stichwort gebildet wurden (Wortbildungsprodukte)

174

62,59

Bildung des Stichwortes (z. B. durch Zusammensetzung aus zwei anderen Wörtern)

168

60,43

Grafik, die das Stichwort mit allen zugehörigen Bildungen (z. B. in Form eines Wortnetzes) zeigt

107

38,49

Erwartete Informationstypen im Bereich Wortbildung

Sonstiges

8

2,88

Keine der genannten Informationen

6

2,16

Summe

815

293,17

Tab. 13: Erwartete Informationstypen im Bereich Wortbildung.

310 | Annette Klosa, Alexander Koplenig, Antje Töpel

k) Sonstige Angaben Ergebnis Häufigkeit

Prozent der Fälle

Mehr und aktuellere Informationen als in einem gedruckten Wörterbuch

448

65,40

Zahlreiche Textbeispiele/Belege

446

65,11

Verlinkung zu anderen (Online-)Nachschlagewerken

414

60,44

Erwartete Informationstypen unter Sonstiges

Multimediale Elemente, z. B. Bilder, Videofilme, Tonbeispiele

344

50,22

Kommentare der Lexikografen (z. B. zu Auffälligkeiten im Wörterbuchkorpus)

272

39,71

Sonstiges

43

6,28

Keine der genannten Informationen

15

2,19

Summe

1982

289,34

Tab. 14: Erwartete Informationstypen unter Sonstiges.

Interpretation In den Bereich Sonstiges fließen als einzelne Angaben unter anderem Kommentare/Hinweise und Textbeispiele/Belege ein, die im vorhergehenden Frageblock noch eine eigene Rubrik bildeten. Die Befragten erwarten als weitere Angaben vor allem mehr und aktuellere Informationen als in einem gedruckten Wörterbuch (65,4 Prozent der Fälle), zahlreiche Textbeispiele/Belege (65,11 Prozent der Fälle) und eine Verlinkung zu anderen (Online-)Nachschlagewerken (60,44 Prozent der Fälle). Seltener erwartet werden multimediale Elemente, z. B. Bilder, Videofilme, Tonbeispiele (50,22 Prozent der Fälle) sowie Kommentare der Lexikografen (z. B. zu Auffälligkeiten im Wörterbuchkorpus) (39,71 Prozent der Fälle). Diese Daten decken sich mit den Ergebnissen aus einer anderen in BZVelexiko durchgeführten, allgemeinen Umfrage, in der unter anderem nach Merkmalen guter Onlinewörterbücher gefragt wurde: Auch dort schnitt die Vernetztheit mit anderen Wörterbüchern besser ab als die Eigenschaft Multimedialität (vgl. Müller-Spitzer/ Koplenig: Expectations and demands, in diesem Band).

3.3.3 Angaben im Feld „Sonstiges“ Zu jedem Angabebereich hatten die Probanden in diesem Frageblock die Möglichkeit, in ein Freifeld „Sonstiges“ einzutragen, welche lexikografischen Angaben sie sich (noch) wünschen. Diese Möglichkeit wurde insgesamt rund 200-mal genutzt. Im Folgenden werden die hier erfassten Daten ausgewertet und interpretiert, wobei die Gesamtmenge wie die Menge einzelner Nennungen natürlich keine statistisch-

Benutzerwünsche und -meinungen zu elexiko | 311

quantitative, sondern nur eine vorsichtige qualitative Interpretation zulassen. In Tabelle 15 ist dennoch der besseren Übersichtlichkeit halber zusammengefasst, wie viele Wünsche pro Angabebereich genannt wurden. Angabebereich

Anzahl der Wünsche19

Sonstiges

48

Stichwörter

27

Grammatik

22

Besonderheiten des Gebrauchs

19

Sinnverwandte Wörter

16

Bedeutungserläuterung

14

Semantische Umgebung

14

Orthografie

12

Typische Verwendungen

9

Wortbildung

8

Aussprache

1 gesamt: 190

Tab. 15: Zahl der genannten Wünsche pro Angabebereich.

Auffällig bei den Eintragungen ist, dass viele Wünsche geäußert werden, die in elexiko schon erfüllt sind. So wurde z. B. zum Angabebereich Sinnverwandte Wörter vorgeschlagen, Hyperonyme und Hyponyme zu erfassen, wie es in elexiko bereits geschieht. In der Erläuterung zum Angabebereich im Onlinefragebogen hatte aber nur gestanden: „In einem Onlinewörterbuch wie elexiko werden zu einem Stichwort in einer bestimmten Bedeutung solche Wörter erfasst, die das Gleiche oder das Gegenteil bedeuten (z. B. Synonyme und Antonyme).“ Insofern konnten Probanden, die elexiko noch nicht kannten, nicht wissen, dass solche Angaben bereits angeboten werden; Hyperonyme/Hyponyme standen darüber hinaus bei den Angaben im zweiten Frageblock nicht zur Verfügung und mussten daher bei Bedarf in das Feld „Sonstiges“ eingetragen werden. Die Eintragungen im Feld „Sonstiges“ stellen daher oft eine Bestätigung für die Vielfalt der lexikografischen Angaben in elexiko dar, so im Bereich der Sinnverwandten Wörter. Manche Anregung der Probanden zum Bereich der sinnverwandten Wörter ist aber auch überlegenswert, z. B. der Vorschlag, die Häufigkeit der Synonyme zu beschreiben, Unterschiede zwischen einzelnen Synonymen deutlicher zu machen, Unterschiede zwischen sehr ähnlichen

|| 19 Die in der Tabelle gegebenen Werte bedeuten, dass z. B. im Freifeldeld „Sonstiges“ im Angabebereich Stichwörter 27-mal eine Eintragung vorgenommen wurde, im Angabebereich Grammatik 22-mal usw.

312 | Annette Klosa, Alexander Koplenig, Antje Töpel

Wörter herauszuarbeiten oder auf ähnliche Wörter in anderen Sprachen (d. h. Internationalismen) zu verweisen. Sehr divers waren die Wünsche, die zum Angabebereich Grammatik geäußert wurden. Hier wurden fast 20 verschiedene Angaben zu grammatischen Informationen vorgeschlagen, die ein breites Spektrum abdecken von morphologischen Informationen (Pluralbildung bei Nomen, Steigerungsformen bei Adjektiven, Stammformen bei Verben etc.) bis zu syntaktischen Informationen (präpositionale Anschlüsse bei Nomen, verlangte grammatische Strukturen bei den Verben etc.). Dies entspricht der sehr umfangreichen, nach Wortarten unterschiedenen Mikrostruktur der grammatischen Angaben in elexiko, zu der, könnten die Wünsche der Probanden alle erfüllt werden, beispielsweise noch Verlinkungen zu umfangreicheren Grammatikinformationen treten könnten. Vielfältig waren auch die Wünsche für pragmatische Angaben bzw. für den Angabebereich Besonderheiten des Gebrauchs. Offensichtlich besteht ein großer Bedarf an sprachlicher Orientierung, der zur Wörterbuchbenutzung führt. Einige zusammenfassende Schlagworte aus den Eintragungen, die thematisch zu den pragmatischen Angaben zählen, können dies illustrieren. Gewünscht wurden etwa: – Hinweise auf häufige Fehler bei der Verwendung des Stichwortes, – Erläuterungen zu Restriktionen bei der Verwendung des Stichwortes, – Angabe dazu, ob das Wort gesprochen- oder schriftsprachlich verwendet wird, – Angabe dazu, ob das Wort in Sondersprachen verwendet wird, – Angabe zu einer umgangssprachlichen Bedeutung des Wortes, – Angaben zu negativen Konnotationen, die mit der Verwendung des Wortes verbunden sind, – Anmerkungen zur politischen Korrektheit von einzelnen Stichwörtern, – Angaben zur Wirkung, die mit dem Wort erzielt wird, und zwar je nach Gruppenzugehörigkeit, – Angaben zu einer zeitlichen Einordnung bzw. Markierungen wie „veraltet“, „Neologismus“, – Angaben zu regionalen Varianten oder regionalsprachlichen Besonderheiten des Stichwortes. Genauso, wie hierzu überlegt werden muss, ob manche der Wünsche bei einem weiteren Ausbau von elexiko berücksichtigt werden können, ist auch zu prüfen, ob einige Aussagen, die zu besonderen Arten von Stichwörtern getroffen wurden, zukünftig den Fortgang der Arbeit im Umfeld von elexiko beeinflussen können bzw. sollen. Relativ oft wurde etwa gefordert, dass in elexiko Fremdwörter, Lehnwörter und Anglizismen behandelt werden sollen. Diese sind selbstverständlich bereits Teil des elexiko-Stichwortbestandes, werden aber derzeit nicht als solche markiert. Gefordert wurde auch die Behandlung von Abkürzungen, die derzeit explizit aus der elexiko-Stichwortliste ausgeschlossen sind (vgl. Schnörch 2005b, S. 87), oder die

Benutzerwünsche und -meinungen zu elexiko | 313

Behandlung von Neologismen20, Redewendungen und Sprichwörtern21 sowie Eigennamen22. Häufig wurden nicht nur lexikografische Angaben gewünscht, die die Mikrostruktur innerhalb eines Angabebereiches in elexiko ergänzen könnten, sondern es wurden auch Angaben gefordert, die bewusst nicht oder noch nicht angeboten werden. Nicht wenige Probanden wünschen sich beispielsweise Angaben zur Etymologie des Stichwortes, die in einem Wörterbuch wie elexiko, das auf ein gegenwartssprachliches Korpus gestützt eine synchrone Beschreibung des deutschen Wortschatzes liefert, aber nicht enthalten sein können (vgl. Storjohann 2005b). Oft gewünscht werden auch Angaben zur Aussprache des Stichwortes, die für elexiko bereits (zumindest in Teilen) realisiert sind (vgl. Klosa 2011b, S. 160ff.). Während bei den Ausspracheangaben dem Medium Internet angemessen auch Tondateien mit der Aussprache des Stichwortes durch die Probanden vorgeschlagen wurden, ist die Menge weiterer gewünschter multimedialer Elemente für das Wörterbuch eher gering. So werden Illustrationen oder Videofilme, die helfen könnten, die Bedeutung eines Stichwortes zu erklären, überhaupt nicht genannt. Auch Vorschläge zu stärker grafisch aufbereiteten Daten (z. B. Wortnetze) werden nicht gemacht, allerdings werden teilweise Vorschläge zu einer stärkeren Verlinkung mit externen Quellen (z. B. zu einer Onlinegrammatik) gemacht. Die Wünsche der Probanden spiegeln ganz überwiegend das aus traditionellen Bedeutungswörterbüchern oder anderen Wörterbuchtypen (z. B. Rechtschreibwörterbüchern) bekannte Angabeninventar wider. Dies wird exemplarisch am Beispiel einiger Wünsche zu Beispielen und Belegen deutlich, die im Folgenden in der genauen Formulierung im Fragebogen wiedergegeben werden. So wünschen sich die Probanden „kleine Sätze“, „aussagekräftige, KLEINE Beispielsätze“, „Textbeispiele, die aus einem aussagekräftigen Satz bestehen und nicht aus ganzen Textabschnitten“ und „ein paar wenige Textbeispiele/Belege“.

3.3.4 Bewertung der Ergebnisse Betrachtet man die Erwartungen an die einzelnen lexikografischen Angaben innerhalb eines Angabebereiches, fällt eine gemeinsame Tendenz auf: In vielen Fällen erwarten die Probanden die pro Angabebereich genannten verschiedenen Möglichkeiten in etwa gleich häufig bis auf eine Möglichkeit (vgl. beispielsweise die Auswertung zum Angabebereich Besonderheiten des Gebrauchs in Tabelle 6). || 20 Neologismen werden in einem eigenen Onlinewörterbuch des IDS behandelt, sodass sie in elexiko ausgeschlossen sind. Vgl. hierzu Abschnitt 3.3.2 unter h). 21 Redewendungen und Sprichwörter sowie allgemein Mehrwortverbindungen sind aus dem Stichwortbestand von elexiko bewusst ausgeschlossen worden (vgl. Klosa 2011, S. 168f.). 22 Zum Konzept der Behandlung von Eigennamen in elexiko vgl. Klosa/Schoolaert (2011).

314 | Annette Klosa, Alexander Koplenig, Antje Töpel

Die pro Angabebereich zur Bewertung angebotenen Möglichkeiten waren jeweils aus bereits in elexiko angebotenen und möglichen weiteren Ergänzungen zusammengestellt worden. Beim Angabebereich Grammatik wurde beispielsweise neben aus traditionellen Bedeutungswörterbüchern vertrauten Angaben wie der Wortart oder den wichtigsten Flexionsformen die Möglichkeit, das vollständige Flexionsparadigma in einer Tabelle anzuzeigen, vorgestellt. Diese Angabe haben die Testpersonen weniger häufig erwartet als die anderen Angaben (vgl. Tabelle 7). Weniger häufig erwartet wurden auch: – die Angabe häufiger Verschreibungen (z. B. orginal statt original) im Bereich der orthografischen Angaben (vgl. Tabelle 8), – grafische Darstellungen wie die Präsentation von Wortbildungsprodukten zu einem Stichwort in einem Wortnetz bei den Wortbildungsangaben (vgl. Tabelle 13), – die grafische Präsentation des Stichwortes und seiner paradigmatischen Partnerwörter im Angabebereich Sinnverwandte Wörter (vgl. Tabelle 10), – die Angabe regionaler Aussprachevarianten (als Tonbeispiel oder in Lautschriftumschreibung) bei den Ausspracheangaben (vgl. Tabelle 4), – die Erklärung der Bedeutung eines Stichwortes durch eine oder mehrere Illustrationen bei der Angabe der Bedeutungserläuterung (vgl. Tabelle 5, – eine Information zur Verwendung des Stichwortes in Zitaten oder Titeln von Liedern, Filmen usw. bei den Angaben zu typischen Verwendungen (vgl. Tabelle 12), – eine Information zur Verwendung des Stichwortes in einem bestimmten Thema bei den Angaben zu den Besonderheiten des Gebrauchs (vgl. Tabelle 6), – die Angabe eines Wortfeldes, zu dem ein Stichwort gehört, im Angabebereich Semantische Umgebung und lexikalische Mitspieler (vgl. Tabelle 9). Solche Angaben sind aus traditionellen Bedeutungswörterbüchern nicht vertraut, weil es sie entweder noch gar nicht gibt (z. B. Angabe zum Thema, in dem das Stichwort verwendet wird), weil es sie nur selten gibt (z. B. Illustrationen), weil es sie nur in Spezialwörterbüchern gibt (z. B. Verwendung des Stichwortes in Zitaten) oder weil es sie eher im elektronischen Medium geben kann (z. B. grafische Darstellungen). Generell werden also solche Angaben seltener erwartet, die seltener in (gedruckten oder elektronischen) Wörterbüchern angeboten werden. Dies trifft im Übrigen auch auf die in elexiko eingeführten expliziten Kommentare durch die Lexikografen (z. B. zu Auffälligkeiten im Wörterbuchkorpus) zu (vgl. Tabelle 14). Aus lexikografischer Sicht ist nun zu diskutieren, ob man den Benutzererwartungen folgen und keine der oben genannten Möglichkeiten anbieten soll. Oder ist es sinnvoll, mit der Umsetzung neuer Möglichkeiten einen weiteren Ausbau der elexiko-Wortartikel um neue lexikografische Angaben anzustreben, auch wenn sie von den Probanden der Studie nicht präferiert wurden? In diesem Kontext wurde für elexiko entschieden, einen Ausbau mit solchen lexikografischen Angaben voranzu-

Benutzerwünsche und -meinungen zu elexiko | 315

treiben, die besonders dem elektronischen Medium, in dem elexiko publiziert wird, gerecht werden. Deshalb ist eine Ergänzung des Angabespektrums um grafische Darstellungen der paradigmatischen Relationen23 wie der durch Wortbildung entstehenden Wortfamilien24 grundsätzlich angestrebt. Der (theoretisch uneingeschränkte) Platz im Internet ermöglicht es auch, Flexionstabellen in die Wortartikel zu integrieren bzw. diese zusätzlich in separaten Bildschirmfenstern anzeigen zu lassen. Deshalb soll auch in diesem Bereich ausgebaut werden, wozu erste Vorarbeiten im Rahmen der Kooperation mit dem Projekt TextGrid, spezieller bei den Arbeiten an der morphologischen Lexikonkomponente Morphisto25, dienen können. Illustrationen wurden bereits kontinuierlich zu redaktionell bearbeiteten Wortartikeln in elexiko gesammelt und online angezeigt (vgl. Klosa 2011b, S. 162ff.).26 Hörbeispiele, welche die Aussprache des Stichwortes im Satzzusammenhang zeigen (vgl. Klosa 2011b, S. 160ff.), sind seit einiger Zeit online aufzurufen. Diese Beispiele machen deutlich, dass die Ergebnisse aus den Umfragen zwar Anregungen für die weitere Arbeit in elexiko liefern können, dass jedoch auch viele weitere Faktoren wie personelle und technische Möglichkeiten die Entscheidungen zum weiteren Ausbau von elexiko beeinflussen. elexiko bedient als Wörterbuch mit dem Schwerpunkt der Beschreibung von Bedeutung und Verwendung der Stichwörter sehr viele Erwartungen der Testpersonen. Mit den korpusgestützt gewonnenen, z. T. ausführlichen Angaben, die mit Textbelegen und lexikografischen Kommentaren wie Hinweisen versehen sein können, erlaubt es elexiko, sich bei der Wörterbuchbenutzung – wie von den Probanden gewünscht – ein differenziertes Bild von den einzelnen Lesarten eines Stichwortes, besonders aber auch von bestimmten Verwendungsbedingungen und -besonderheiten zu machen. Es setzt somit die Tradition von Bedeutungswörterbüchern in sinnvoller Weise fort.27 Es muss allerdings weiteren Studien vorbehalten bleiben zu überprüfen, ob es tatsächlich funktioniert, dass ein so breit angelegtes Wörterbuch wie elexiko in einer Benutzungssituation quasi zu einem monofunktionalen Wörterbuch wird. Der gewählte Versuchsaufbau in den hier beschriebenen Studien mit den dargestellten Ergebnissen lässt diesen Schluss nicht zu.

|| 23 Vgl. http://www.ids-mannheim.de/lexik/BZVelexiko/vernetzung/. 24 Vgl. Meyer/Müller-Spitzer (2013). 25 Vgl. http://www.ids-mannheim.de/lexik/home/lexikprojekte/lexiktextgrid/morphisto.html 26 Zu unterschiedlich gewerteten Präsentationsmöglichkeiten von Illustrationen vgl. den Beitrag von Kemmer in diesem Band. 27 Vgl. Klosa (2011a).

316 | Annette Klosa, Alexander Koplenig, Antje Töpel

3.4 Frageblock 3: Optimale Benennung der einzelnen Angabebereiche28

3.4.1 Forschungsfragen Die Planung der Onlineartikelansichten in elexiko erfolgte im Jahr 2003. In zahlreichen Diskussionen wurde damals die Idee entwickelt, die einzelnen Angabebereiche nicht vertikal untereinander angeordnet, sondern auf verschiedene Bildschirme verteilt anzeigen zu lassen, sodass bei der Wörterbuchbenutzung alle lexikografischen Angaben unter einer Überschrift (z. B. Grammatik) auf einer Bildschirmseite rezipiert werden können. Diese einzelnen Bildschirmseiten sollten pro Lesart des Stichwortes wie Karteikarten hintereinander angeordnet sein, was in einem internen Papier folgendermaßen festgehalten wurde: „Darunter [unter der Nennung des Stichwortes in seiner jeweiligen Lesart] sind Felder etwa in der Form von ‚Karteikartenreitern’ (und zwar genannt: Paraphrase, Mitspieler, Verwendungsmuster, Paradigmatik, Verwendungsspezifik, Grammatik) anzuordnen, die durch Anklicken das Springen auf den jeweiligen Inhaltsbereich im Text der Lesart/Lesarten-spezifizierung ermöglichen.“ (Protokoll von U. Haß/A. Klosa vom 23.11.2003). Vorbilder aus anderen Onlinewörterbüchern für diese Art der Anordnung der lexikografischen Angaben gab es damals praktisch nicht29, viele andere elektronische Wörterbücher bevorzugen nach wie vor eine vertikale Anordnung der Angaben, in denen man durch Scrollen navigieren kann (vgl. beispielsweise die Onlinefassung des „Deutschen Wörterbuches“ von Jacob und Wilhelm Grimm unter www.woerterbuchnetz.de). Die Metapher der Karteikarte30 war vor allem durch andere Onlineangebote, z. B. von Banken (vgl. etwa www.commerzbank.de), bekannt und wirkte als Anregung für elexiko. Während im traditionellen Wörterbuch die einzelnen Angabebereiche als solche nur indirekt durch Typografie oder Position im Wortartikel erkennbar sind, sollten sie für die Onlinepräsentation in elexiko auf verschiedene Bildschirmseiten verteilt und damit auch hierarchisiert werden. Die einzelnen Angabebereiche werden mit Überschriften versehen angezeigt (vgl. Abbildung 4). Neben der Planung der Onlinepräsentation der Inhalte musste daher auch über die Überschriften, unter denen die einzelnen Angaben präsentiert werden sollten, nachgedacht werden (vgl. Abbildung 5, zu ersten Überlegungen hierzu vgl. Haß 2005). || 28 Die Ergebnisse aus diesem Frageblock sind online bereits in Klosa/Koplenig/Töpel (2011) publiziert. Die Darstellung hier greift diese Publikation auf. 29 Mit „Karteikarten“ für einzelne Angabebereiche arbeitet auch Eldit, das elektronische Lernerwörterbuch Deutsch – Italienisch, vgl. www.eurac.edu/eldit. 30 Im Folgenden wird statt „Karteikarte“ der Terminus „Registerkarte“ verwendet, da dieser für die Beschreibung des Aufbaus von Internetseiten inzwischen etabliert ist.

Benutzerwünsche und -meinungen zu elexiko | 317

Abb. 4: Überschriften im Wortartikel Thema zur Gliederung lesartenübergreifender und lesartenbezogener Angaben.

In früheren kleinen Benutzungsstudien zeigte sich, dass die Benennungen der Angabebereiche nicht für alle Benutzergruppen gut verständlich waren. Deshalb sollte in der vorliegenden Studie die Verständlichkeit der existierenden Benennungen auf den Registerkarten auf breiter empirischer Basis getestet werden. Mögliche Alternativen wurden den Testpersonen mit dem Ziel präsentiert, die gewählte Terminologie aufgrund der Befragungsergebnisse möglichst verbessern und dadurch die Benutzbarkeit von elexiko optimieren zu können. Aus vielen verschiedenen Möglichkeiten, eine Registerkarte zu benennen, wurden jeweils fünf für die Projektmitarbeiter besonders plausible Möglichkeiten ausgewählt, z. B. aus den Möglichkeiten Bedeutung, Bedeutung/Funktion, Bedeutungsbeschreibung, Bedeutungserläuterung, Bedeu-

318 | Annette Klosa, Alexander Koplenig, Antje Töpel

tungs-/Funktionsbeschreibung, Bedeutungs-/Funktionserläuterung, Erklärung, Definition, Inhalt, Semantische Paraphrase, Paraphrase und Semantik die letztendlich abgefragten Alternativen Bedeutungserläuterung, Bedeutung/Funktion, Erklärung, Definition, Paraphrase. Ausgewählt wurden immer die zum Befragungszeitpunkt in elexiko verwendete Benennung, daneben häufig Fachtermini, aber auch allgemein verständlichere Bezeichnungen.

Abb. 5: Onlineartikelansicht mit Registerkarten in den lesartenbezogenen Angaben im Wortartikel Medikament, Lesart ‚Arzneimittel’.

3.4.2 Aufbau und Ergebnisse In diesem Frageblock wurden die Benennungen der fünf lesartenbezogenen Angabebereiche Bedeutungserläuterung, Semantische Umgebung, Typische Verwendungen, Sinnverwandte Wörter und Besonderheiten des Gebrauchs überprüft. Der Angabebereich Grammatik wurde nicht untersucht, da seine Benennung zum einen bisher nicht als unverständlich oder problematisch aufgefallen war. Zum anderen mangelt es für diesen Angabebereich auch an sinnvollen alternativen Benennungen. Die methodische Herausforderung lag für diesen Fragekomplex darin, dass nicht nur überprüft werden sollte, welche Bezeichnungen für die Registerkarten isoliert als am besten eingeschätzt werden und am wenigsten fehlerträchtig sind. Vielmehr müssen die sechs Benennungen der Angabebereiche ja auch gemeinsam funktionieren – sie sollen einerseits in einem sinnvollen und harmonischen Zusammenhang miteinander stehen, andererseits bei der Wörterbuchbenutzung ausreichend voneinander unterscheidbar sein. Aus diesem Grund gab es in der Studie dazu zwei unterschiedliche Fragegruppen: die isolierte Betrachtung der Bezeichnungen für die Angabebereiche (vgl. Abschnitt 3.4.2.1) und die Betrachtung der Bezeichnungen für die Angabebereiche im Zusammenspiel (vgl. Abschnitt 3.4.2.2).

Benutzerwünsche und -meinungen zu elexiko | 319

Angenommen, Sie suchen ein Wort, das das Gleiche wie billig bedeutet

Unter welcher der folgenden Überschriften finden Sie am ehesten die passende Antwort? Bitte kreuzen Sie in jeder Zeile an, wie sicher Sie glauben, unter der entsprechenden Option die Antwort auf die obige Frage zu erhalten.

1 = Nein

2 = EHER NEIN

3 = TEILS-

4 = EHER JA

5 = JA

TEILS

Paradigmatik

○

○

○

○

○

Wortbeziehungen

○

○

○

○

○

Sinnverwandte Wörter

○

○

○

○

○

Synonyme und mehr

○

○

○

○

○

Abb. 6: Die isolierte Überprüfung der Registerkartenbezeichnungen in elexiko am Beispiel der Sinnverwandten Wörter.

3.4.2.1 Isolierte Betrachtung der Bezeichnungen für die Angabebereiche Im ersten Teil dieses Fragekomplexes wurden die Bezeichnungen für die fünf Angabebereiche isoliert betrachtet. Die Testpersonen wurden durch gestellte Fragen in die Situation versetzt, in einem Onlinewörterbuch einen bestimmten Angabebereich konsultieren zu müssen. Anschließend sollten sie für unterschiedliche Benennungen desselben Angabebereiches einschätzen, wie sicher sie unter der jeweiligen Überschrift die passende Antwort finden (vgl. Abbildung 6). Zur Auswahl standen jeweils fünf Bezeichnungen, darunter die aktuelle Bezeichnung des Angabebereiches in elexiko. Die einzige Ausnahme bildete der Angabebereich Sinverwandte Wörter, für den nur vier Antwortoptionen angeboten wurden. Die Einschätzung erfolgte auf einer verbalisierten, fünfstufigen Likert-Skala (nein – eher nein – teilsteils – eher ja – ja). Insgesamt gab es 15 Einzelsituationen (zwei bis vier pro Angabebereich), von denen die Testpersonen per Zufallsauswahl drei Situationen aus unterschiedlichen Angabebereichen zur Beantwortung erhielten. Im Vorfeld wurden die Befragten darauf hingewiesen, dass es nicht um richtige oder falsche Antworten geht, sondern um die Verständlichkeit der Sprache der Benutzeroberfläche.

320 | Annette Klosa, Alexander Koplenig, Antje Töpel

a) Bedeutungserläuterung Methode Für den Angabebereich Bedeutungserläuterung gab es insgesamt zwei Situationen, die in der folgenden Auswertung zusammengefasst werden: – Angenommen, Sie möchten erfahren, was das Wort Mobilisator meint. – Angenommen, Sie möchten erfahren, was man unter dem Wort Mobilität versteht. Als alternative Bezeichnungen wurden neben der aktuell in elexiko realisierten Benennung Bedeutungserläuterung die Bezeichnungen Bedeutung/Funktion, Definition, Erklärung und Paraphrase angeboten (vgl. Abbildung 7). Ergebnis

Definition Bedeutungserläuterung Erklärung Bedeutung / Funktion Paraphrase 0% Ja

20% Eher ja

40%

60%

Teils-teils

80%

100%

Eher nein

Nein

Abb. 7: Einschätzung der Wahrscheinlichkeit, unter der Überschrift Bedeutungserläuterung oder den Alternativen die gesuchte Information zu finden.

Interpretation Vier dieser insgesamt fünf Benennungen schneiden bei den Befragten gut ab: 86,65 Prozent sind sich sicher oder eher sicher, unter der Überschrift Definition eine Antwort auf die Frage zu finden. Für die Bezeichnungen Bedeutungserläuterung (84,38 Prozent), Erklärung (83,12 Prozent) und Bedeutung/Funktion (78,59 Prozent) sind die Werte nur unwesentlich schlechter. Allein die Bezeichnung Paraphrase löst bei den Testpersonen überwiegend Unsicherheit aus – mit 46,35 Prozent ist sich hier weniger als die Hälfte der Befragten sicher oder eher sicher, unter dieser Überschrift die gesuchten Informationen zu finden. Rein aus der Benutzersicht wären für den An-

Benutzerwünsche und -meinungen zu elexiko | 321

gabebereich also die vier Bezeichnungen Definition, Bedeutungserläuterung, Erklärung oder Bedeutung/Funktion empfehlenswert (zum Zusammenspiel mit den Benennungen der anderen Angabebereiche vgl. Abschnitt 3.4.2.2). Allerdings wird der Terminus Definition in der metalexikografischen Forschung zum Teil kritisch gesehen.31 b) Semantische Umgebung Methode Folgende drei Situationen sollten sich die Befragten für den Bereich Semantische Umgebung vorstellen: – Angenommen, Sie möchten erfahren, welche anderen Wörter zusammen mit dem Wort widersprechen gebraucht werden. – Angenommen, Sie möchten erfahren, welche Wörter häufig zusammen mit Aids vorkommen. – Angenommen, Sie möchten erfahren, welche Wörter typischerweise zusammen mit Aids vorkommen. Außer der momentan in elexiko verwendeten Bezeichnung Semantische Umgebung und lexikalische Mitspieler wurden die vier Überschriften Kollokationen, Wörter im Kontext, Wortumgebung sowie Zwei-Wort-Verbindungen getestet (vgl. Abbildung 8) Ergebnis S. Abbildung 8. Interpretation Im Vergleich zur Bedeutungserläuterung können die Befragten mit weniger Sicherheit sagen, dass sich unter mindestens einer dieser Überschriften die gesuchte Information verbirgt. Die Bezeichnung Wörter im Kontext schneidet mit 75,87 Prozent sicheren oder eher sicheren Befragten am besten ab, es folgen die Bezeichnungen Semantische Umgebung und lexikalische Mitspieler (64,01 Prozent), Wortumgebung (61,68 Prozent) und Kollokationen (53,52 Prozent), bei der sich noch gut die Hälfte der Befragten sicher oder eher sicher ist. Bei der Überschrift Zwei-Wort-Verbindungen gilt das lediglich für 40,79 Prozent der Teilnehmenden, weshalb auf eine solche Bezeichnung in der Benutzeroberfläche verzichtet werden sollte.

|| 31 Vgl. stellvertretend für die Diskussion Wiegand (1989).

322 | Annette Klosa, Alexander Koplenig, Antje Töpel

Wörter im Kontext Semantische Umgebung … Wortumgebung Kollokationen Zwei-Wort-Verbindungen 0% Ja

20%

Eher ja

40% Teils-teils

60%

80%

100%

Eher nein

Nein

Abb. 8: Einschätzung der Wahrscheinlichkeit, unter der Überschrift Semantische Umgebung oder den Alternativen die Information zu finden.

c) Typische Verwendungen Methode Für den nächsten Angabebereich, die Typischen Verwendungen, waren als Situationen diese beiden gegeben: – Angenommen, Sie möchten erfahren, wie man das Wort Affäre im Satz benutzt. – Angenommen, Sie möchten erfahren, wie man das Wort Arbeitskraft üblicherweise benutzt. Außer der Überschrift Typische Verwendungen standen die vier Benennungen Gebrauchsmuster, Komplexere Konstruktionen, Konstruktionen und Wortgruppen zur Auswahl (vgl. Abbildung 9). Ergebnis S. Abbildung 9. Interpretation In diesem Bereich votieren die Testpersonen bei der Frage nach der isolierten Benennung eindeutig für die Bezeichnung Typische Verwendungen – 93,49 Prozent sind sich sicher oder eher sicher, unter dieser Überschrift das Gesuchte zu finden. Bei der Bezeichnung Gebrauchsmuster sind es mit 68,07 Prozent immerhin noch gut zwei Drittel der Befragten. Mehr Unsicherheit als Sicherheit erzeugen hingegen die Benennungen Konstruktionen (47,52 Prozent der Befragten sind sich sicher oder eher sicher), Komplexere Konstruktionen (33,42 Prozent) sowie Wortgruppen (32,18 Pro-

Benutzerwünsche und -meinungen zu elexiko | 323

zent). Die Wahl einer der letzten drei Bezeichnungen für diesen Angabebereich müsste daher gut begründet werden.

Typische Verwendungen Gebrauchsmuster Konstruktionen Komplexere Konstruktionen Wortgruppen 0% Ja

Eher ja

20%

40%

Teils-teils

60%

80% 100%

Eher nein

Nein

Abb. 9: Einschätzung der Wahrscheinlichkeit, unter der Überschrift Typische Verwendungen oder den Alternativen die Information zu finden.

d) Sinnverwandte Wörter Methode Für den Bereich Sinnverwandte Wörter waren diese vier verschiedenen Situationen gegeben (vgl. auch Abbildung 6): – Angenommen, Sie suchen ein Wort, das das Gleiche wie billig bedeutet. – Angenommen, Sie suchen ein Wort, das das Gegenteil von billig bedeutet. – Angenommen, Sie möchten etwas darüber erfahren, ob es Unter- oder Überbegriffe zu Angestellter gibt. – Angenommen, Sie möchten etwas darüber erfahren, mit welchen anderen Wörtern das Wort Chef in Beziehung steht. In diesem Angabebereich wurden zu der in elexiko verwendeten Bezeichnung Sinnverwandte Wörter die drei Alternativen Paradigmatik, Synonyme und mehr sowie Wortbeziehungen angeboten (vgl. Abbildung 10). Ergebnis

324 | Annette Klosa, Alexander Koplenig, Antje Töpel

Synonyme und mehr Sinnverwandte Wörter Wortbeziehungen Paradigmatik 0%

20%

Ja

Eher ja

40%

60%

Teils-teils

80% Eher nein

100% Nein

Abb. 10: Einschätzung der Wahrscheinlichkeit, unter der Überschrift Sinnverwandte Wörter oder den Alternativen die Information zu finden.

Interpretation Am besten schneiden bei den Testpersonen die Überschriften Synonyme und mehr sowie Sinnverwandte Wörter ab: 70,36 Prozent bzw. 65,78 Prozent der Befragten geben an, unter diesen Benennungen sicher oder eher sicher die gewünschte Information zu finden. Für die Bezeichnung Wortbeziehungen sind das nur 57,11 Prozent. Die größte Unsicherheit verursacht jedoch die Überschrift Paradigmatik, unter der lediglich 31,33 Prozent der Befragten sicher oder eher sicher eine Antwort auf die gestellte Frage vermuten. Diese fachsprachliche Benennung sollte in der Benutzeroberfläche eines Onlinewörterbuchs wie elexiko folglich vermieden werden. e) Besonderheiten des Gebrauchs Methode Der fünfte und letzte Angabebereich, dessen Benennung in der Umfrage untersucht wurde, sind die Besonderheiten des Gebrauchs. Auch hier gab es insgesamt vier mögliche Situationen: – Angenommen, Sie möchten erfahren, ob das Wort Behinderter neutral benutzt werden kann. – Angenommen, Sie möchten erfahren, ob Sie beim Benutzen des Wortes Behinderter etwas beachten müssen. – Angenommen, Sie möchten erfahren, ob das Wort Mobilität in bestimmten Kontexten verwendet wird. – Angenommen, Sie möchten erfahren, ob das Wort Arzt in bestimmter Weise thematisiert wird.

Benutzerwünsche und -meinungen zu elexiko | 325

Als vier mögliche Alternativen für die jetzige Bezeichnung Besonderheiten des Gebrauchs wurden die Überschriften Gebrauch, Pragmatik, Verwendung und Verwendungsbesonderheiten gewählt (vgl. Abbildung 11). Ergebnis

Verwendung Gebrauch Besonderheiten des Gebrauchs Verwendungsbesonderheiten Pragmatik 0% Ja

20%

Eher ja

40% Teils-teils

60%

80%

Eher nein

100% Nein

Abb. 11: Einschätzung der Wahrscheinlichkeit, unter der Überschrift Besonderheiten des Gebrauchs oder den Alternativen die Information zu finden.

Interpretation Gleich gut kommen die Überschriften Verwendung und Gebrauch bei den Befragten an: 79,53 Prozent bzw. 79,3 Prozent der Befragten geben an, unter dieser Überschrift sicher oder eher sicher die vorgegebene Frage klären zu können. Ebenfalls sehr dicht beieinander liegen die Benennungen Besonderheiten des Gebrauchs (71,82 Prozent) und Verwendungsbesonderheiten (69,53 Prozent). Am schlechtesten schneidet die Bezeichnung Pragmatik mit lediglich 48,84 Prozent sicheren und eher sicheren Befragten ab. Wiederum ist es die fachsprachliche Bezeichnung, die zur Wahrung der Verständlichkeit an der Benutzeroberfläche nicht gewählt werden sollte. f) Zwischenfazit Würde man die Bezeichnungen für die einzelnen lesartenbezogenen Angabebereiche in elexiko nicht im Zusammenhang, sondern isoliert voneinander betrachten und allein von der Verständlichkeit der Benennung für die Testpersonen abhängig machen, sollten für die Registerkarten die Überschriften Definition, Wörter im

326 | Annette Klosa, Alexander Koplenig, Antje Töpel

Kontext, Typische Verwendungen, Synonyme und mehr und Verwendung gewählt werden. Allerdings liegen in einigen Angabebereichen mehrere Benennungen in der Bewertung fast gleichauf: Definition mit Bedeutungserläuterung, Erklärung und Bedeutung/Funktion, Synonyme und mehr mit Sinnverwandte Wörter sowie Verwendung mit Gebrauch. Zudem sollte die Benennung eines Angabebereiches nicht allein von einer solchen isolierten Bewertung abhängig gemacht werden, denn die sechs Bezeichnungen müssen auch gut im gemeinsamen Zusammenspiel funktionieren.

3.4.2.2 Betrachtung der Bezeichnungen für die Angabebereiche im Zusammenspiel Da die Bezeichnungen für die einzelnen Angabebereiche miteinander auch in einem sinnvollen Zusammenhang stehen müssen, beinhaltete der Fragekomplex zur Benennung der Registerkarten in der Studie noch einen zweiten Teil. In diesem wurden die Befragten in die Situation eines bestimmten Nachschlagebedürfnisses versetzt, wobei die entsprechende Information in elexiko genau hinter einer der fünf getesteten lesartenbezogenen Registerkarten (Bedeutungserläuterung, Semantische Umgebung, Typische Verwendungen, Sinnverwandte Wörter, Besonderheiten des Gebrauchs) zu finden war. Methode In folgende fünf Situationen sollten sich die Testpersonen für die einzelnen Angabebereiche künstlich hineinversetzen. (Nach der Situationsbezeichnung steht der entsprechende Angabebereich in Klammern, die Klammer fehlte in der Umfrage natürlich.): – Angenommen, Sie verstehen das Wort Automobilität beim Lesen eines Textes nicht. (Bedeutungserläuterung) – Angenommen, Sie schreiben einen Text und suchen daher nach Wörtern, die Sie zusammen mit Arbeit benutzen können. (Semantische Umgebung) – Angenommen, Sie schreiben einen Text und möchten daher wissen, wie man das Wort befreien im Satz benutzen kann. (Typische Verwendungen) – Angenommen, Sie schreiben einen Text und möchten eine Alternative zu Adresse finden, weil Sie nicht immer das gleiche Wort benutzen wollen. (Sinnverwandte Wörter) – Angenommen, Sie schreiben einen Text und möchten überprüfen, ob das Wort Regime einen negativen Beiklang hat. (Besonderheiten des Gebrauchs) Der Angabebereich Grammatik blieb aus den erwähnten Gründen auch in diesem Teil des Fragekomplexes unberücksichtigt. Nach der Situationsbeschreibung wurden die Testpersonen aufgefordert, aus den präsentierten Bezeichnungen die Überschrift auszuwählen, unter der sie am ehesten die passende Antwort vermuten (für ein Beispiel vgl. Abbildung 12).

Benutzerwünsche und -meinungen zu elexiko | 327

Die ausgewählten, möglichen Benennungen für die einzelnen Registerkarten wurden in vier Alternativen zur bis dato existierenden Benennungsreihe zusammengefasst, wobei versucht wurde, z. B. eine eher fachsprachliche wie eine eher allgemeinsprachliche Variante zu finden. Wichtig war außerdem, die Angabebereiche Semantische Umgebung und Typische Verwendungen deutlich und verständlich voneinander abzugrenzen. Als Alternativen zur bisherigen Benennungsreihe wurden in der Studie schließlich die folgenden Bezeichnungen angeboten: – Erklärung – Wortumgebung – Wortgruppen – Wortbeziehungen – Gebrauch – Grammatik, – Bedeutung/Funktion – Zwei-Wort-Verbindungen – Gebrauchsmuster – Sinnverwandte Wörter – Verwendung – Grammatik, – Definition – Wörter im Kontext – Komplexere Konstruktionen – Synonyme und mehr – Verwendungsbesonderheiten – Grammatik, – Paraphrase – Kollokationen – Konstruktionen – Paradigmatik – Pragmatik – Grammatik. Angenommen, Sie schreiben einen Text und möchten überprüfen, ob das Wort Regime einen negativen Beiklang hat.

Unter welcher der folgenden Überschriften finden Sie am ehesten die passende Antwort? Bitte klicken Sie die Überschrift an, von der Sie glauben, dass sich dort die Antwort auf die obige Frage findet.

DEFINITION

○

WÖRTER IM

KOMPLEXERE KON-

SYNONYME

VERWENDUNGSBESONDER-

GRAMMA-

KONTEXT

STRUKTIONEN

UND MEHR

HEITEN

TIK

○

○

○

○

○

Abb. 12: Die zusammenhängende Überprüfung der Registerkartenbezeichnungen in elexiko.

Da jede der fünf Situationen mit jeder der fünf Möglichkeiten für die Bezeichnung der Registerkarten kombiniert wurde, ergaben sich insgesamt 25 Fälle. Von diesen erhielt jeder Proband per Zufallsauswahl zwei Fälle aus unterschiedlichen Angabebereichen. Um anhand dieser Daten herauszufinden, ob die Sprache der Benutzeroberfläche, genauer gesagt, die Benennung der Registerkarten in elexiko, eine bedeutsame Wirkung auf die Durchführung verschiedener Nachschlagehandlungen ausübt und das Auffinden der gesuchten Daten beeinflusst, wurde die Richtigkeit der zwei gegebenen Antworten betrachtet: Wählt der Proband für seine Situation den korrekten Angabebereich aus, wird die Angabe als richtig bewertet, wählt er die Überschrift eines anderen Angabebereiches, gilt die Antwort als falsch.

328 | Annette Klosa, Alexander Koplenig, Antje Töpel

a) Bedeutungserläuterung Ergebnis

Erklärung Bedeutungserläuterung

83,67 % 75,86 %

16,33 % 24,14 %

Bedeutung/Funktion

70,18 %

29,82 %

Definition

70,00 %

30,00 %

Paraphrase

64,91 %

35,09 %

Richtige Antworten Abb. 13: Richtige und falsche Antworten in Abhängigkeit von der Überschrift im Bereich Bedeutungserläuterung.

Interpretation Für den Angabebereich Bedeutungserläuterung liegen die unterschiedlichen Benennungen bei den richtigen Antworten so dicht beisammen, dass die Unterschiede zwischen ihnen nicht signifikant sind (vgl. Abbildung 13). Sowohl die bisherige Bezeichnung Bedeutungserläuterung als auch die vier Alternativen führen in der Mehrzahl zu richtigen Antworten. Am schlechtesten schneidet die Bezeichnung Paraphrase ab (64,91 Prozent richtige Antworten), am besten die Bezeichnung Erklärung (83,67 Prozent richtige Antworten). Bei der bisherigen Bezeichnung Bedeutungserläuterung gibt es 75,86 Prozent richtige Antworten. Da sich diese Unterschiede jedoch außerhalb der statistischen Signifikanz bewegen (p = ,2332), spielt es für diesen Angabebereich insgesamt keine Rolle, welche der fünf Beschriftungen gewählt wird.

|| 32 Um zu überprüfen, ob sich, je nach Bezeichnung, die Fehlerquote ändert, wurden separate logistische Regressionsmodelle an die Daten angepasst. Bei dem im Folgenden ausgewiesenen ρWert handelt es sich um die Irrtumswahrscheinlichkeit in Form des genannten „empirischen Signifikanzniveaus“. Je kleiner die Irrtumswahrscheinlichkeit, umso eher kann man von einem statistisch bedeutsamen Ergebnis sprechen. Eine häufig verwendete Grenze ist dabei ein ρ-Wert, der kleiner als ,05 bzw. 5% ist (vgl. Jann 2002, S. 141ff.).

Benutzerwünsche und -meinungen zu elexiko | 329

b) Semantische Umgebung Ergebnis

Wörter im Kontext Kollokationen Semantische Umgebung Wortumgebung Zwei-Wort-Verbindungen

40,00 %

60,00 %

43,90 %

56,10 % 48,21 % 43,40 % 23,21 %

51,79 % 56,60 % 76,79 %

Richtige Antworten Abb. 14: Richtige und falsche Antworten in Abhängigkeit von der Überschrift im Bereich Semantische Umgebung und lexikalische Mitspieler.

Interpretation Für den Bereich Semantische Umgebung führt die bisherige Benennung zu weniger als 50 Prozent richtigen Antworten (48,21 Prozent), ähnlich wie die Alternative Wortumgebung (43,4 Prozent richtige Antworten) (vgl. Abbildung 14). Signifikant weniger richtige Antworten als bei allen anderen Alternativen werden bei der Alternative Zwei-Wort-Verbindungen gegeben (23,21 Prozent; ps < ,05). Die besten Ergebnisse erzielen die Benennungen Kollokationen (56,1 Prozent richtige Antworten) und Wörter im Kontext (60 Prozent richtige Antworten). Dabei sind die Unterschiede zwischen den drei „erfolgreichsten“ alternativen Benennungen der Registerkarten (Wörter im Kontext, Kollokationen und Semantische Umgebung) nicht signifikant (ps > ,21).

330 | Annette Klosa, Alexander Koplenig, Antje Töpel

c) Typische Verwendungen Ergebnis

Typische Verwendungen

63,27 %

Konstruktionen Gebrauchsmuster

36,73 %

55,32 %

44,68 %

37,78 %

62,22 %

Komplexere Konstruktionen 14,29 % Wortgruppen 4,44 %

85,71 % 95,56 %

Richtige Antworten Abb. 15: Richtige und falsche Antworten in Abhängigkeit von der Überschrift im Bereich Typische Verwendungen.

Interpretation Auch im Angabebereich Typische Verwendungen fallen die Ergebnisse für die einzelnen Alternativen sehr unterschiedlich aus. Ein Handlungsbedarf für eine benutzeroptimierte Benennung besteht dennoch nicht unbedingt, da die bisherige Bezeichnung Typische Verwendungen mit 63,27 Prozent richtigen Antworten am besten abschneidet (vgl. Abbildung 15). Mehr als die Hälfte richtige Antworten erzielt noch die Alternative Konstruktionen (55,32 Prozent). Der Unterschied zwischen diesen beiden Alternativen ist dabei nicht signifikant (p = ,43), während, verglichen mit der bisherigen Version, sich bei den anderen drei getesteten Möglichkeiten signifikante Unterscheide ergeben (ps < ,01). So liegen die korrekten Antworten zum Teil weit unter der 50-Prozent-Marke: Gebrauchsmuster (37,78 Prozent richtige Antworten), Komplexere Konstruktionen (14,29 Prozent richtige Antworten) und Wortgruppen (4,44 Prozent richtige Antworten).

Benutzerwünsche und -meinungen zu elexiko | 331

d) Sinnverwandte Wörter Ergebnis

Synonyme und mehr

100,00 %

Sinnverwandte Wörter Wortbeziehungen

6,38 %

92,59 % 75,47 %

24,53 %

Paradigmatik 8,33 %

91,67 %

Richtige Antworten Abb. 16: Richtige und falsche Antworten in Abhängigkeit von der Überschrift im Bereich Sinnverwandte Wörter.

Interpretation Bei den Sinnverwandten Wörtern ergibt sich für alle Bereiche ein relativ klares Bild, mit welchen Bezeichnungen die Testpersonen gute oder schlechte Ergebnisse erzielen: Die Testpersonen erreichen mit den Bezeichnungen Paradigmatik bzw. Wortbeziehungen nur 8,33 bzw. 24,53 Prozent richtige Antworten (vgl. Abbildung 16). Wird die Registerkarte hingegen anders bezeichnet, dreht sich dieses Verhältnis um: Die Benennung Sinnverwandte Wörter führt im Durchschnitt zu 92,59 Prozent richtigen Antworten, bei der Bezeichnung Synonyme und mehr sind es sogar 100 Prozent richtige Antworten. Während der Unterschied zwischen den nicht erfolgreichen Benennungen (Paradigmatik, Wortbeziehungen) und den erfolgreichen Benennungen (Sinnverwandte Wörter, Synonyme und mehr) hochsignifikant ist (ps < ,00), ergeben sich zwischen den beiden erfolgreichen Bezeichnungen keine signifikanten Unterschiede (p = .16). Eine Umbenennung dieses Angabebereiches ist demzufolge nicht notwendig.

332 | Annette Klosa, Alexander Koplenig, Antje Töpel

e) Besonderheiten des Gebrauchs Ergebnis

Gebrauch

62,50%

37,50 %

Pragmatik

49,15 %

50,85 %

Verwendungsbesonderheiten

47,22 %

52,78 %

Verwendung

38,18 %

61,82 %

Besonderheiten des Gebrauchs

35,56 %

64,44 %

Richtige Antworten Abb. 17: Richtige und falsche Antworten in Abhängigkeit von der Überschrift im Bereich Besonderheiten des Gebrauchs.

Interpretation Die wenigsten richtigen Antworten erreichen die Testpersonen mit der aktuellen Bezeichnung Besonderheiten des Gebrauchs (35,56 Prozent) (vgl. Abbildung 17). Nur wenig darüber liegt die Benennung Verwendung mit 38,18 Prozent richtigen Antworten. Knapp 50 Prozent richtige Antworten ergeben sich jeweils mit der Bezeichnung Verwendungsbesonderheiten (47,22 Prozent) oder Pragmatik (49,15 Prozent). Als einzige der getesteten Möglichkeiten liegt die Benennung Gebrauch über der 50Prozent-Marke (62,5 Prozent richtige Antworten). Verglichen mit der erfolgreichsten Bezeichnung (Gebrauch) schneiden aus statistischer Sicht lediglich die Bezeichnungen Besonderheiten des Gebrauchs und Verwendung signifikant schlechter ab (ps < ,05). Die Unterschiede zu den anderen beiden Bezeichnungen Verwendungsbesonderheiten und Pragmatik sind statistisch jedoch nicht bedeutsam (ps > ,09). In diesem Angabebereich sollte also eine Umbenennung in Betracht gezogen werden, wobei wiederum das Zusammenspiel mit den Bezeichnungen der anderen Registerkarten und der lexikografische Inhalt dieses Angabebereiches eine Rolle spielen.

Benutzerwünsche und -meinungen zu elexiko | 333

f) Zwischenfazit Wie anhand der Ergebnisse deutlich wird, kann die Umbenennung einzelner Angabebereiche nicht unabhängig voneinander erfolgen, da alle sechs lesartenbezogenen Bereiche hinreichend terminologisch voneinander abgegrenzt sein und trotzdem miteinander harmonieren müssen. Betrachtet man das Antwortverhalten für bestimmte Testpersonengruppen über alle fünf getesteten Angabebereiche hinweg, ergeben sich zwar gruppenspezifische Unterschiede, diese überraschen jedoch kaum: Sowohl die sprachwissenschaftliche Berufsgruppe als auch die muttersprachlichen Testpersonen kommen mit der Terminologie der Registerkarten in elexiko grundsätzlich besser zurecht als Testpersonen ohne sprachwissenschaftlichen Hintergrund oder Testpersonen, die nicht Deutsch als Muttersprache haben. Im Durchschnitt gaben nur 18,1 Prozent der sprachwissenschaftlichen Testpersonen bzw. 22,52 Prozent der muttersprachlichen Testpersonen zwei falsche Antworten (im Vergleich dazu gaben 31,03 Prozent der nichtmuttersprachlichen Testpersonen und 28,88 Prozent der nichtsprachwissenschaftlichen Testpersonen zwei falsche Antworten).

3.4.3 Bewertung der Ergebnisse In Konsequenz aus den Benutzerbefragungen wurden die Registerkarten in elexiko wie folgt umbenannt33: Bedeutungserläuterung – Kollokationen – Konstruktionen – Sinnverwandte Wörter – Gebrauchsbesonderheiten – Grammatik (statt bislang: Bedeutungserläuterung – Semantische Umgebung – Typische Verwendungen – Sinnverwandte Wörter – Besonderheiten des Gebrauchs – Grammatik) (vgl. Tabelle 16). Von der Benennung her ist der Angabebereich, der bisher Semantische Umgebung genannt wurde, am problematischsten. Mehr als die Hälfte der Testpersonen hat Schwierigkeiten mit der alten Bezeichnung. Allerdings zeigt sich bei einer genaueren Untersuchung, dass auch die beiden anderen alternativen Bezeichnungen, die zwar zu mehr richtigen Antworten bei den Probanden führen, im direkten Vergleich zur alten Benennung nicht signifikant besser abschneiden (vgl. Abbildung 14). Trotzdem wurde dieser Angabebereich in der Hoffnung umbenannt, damit eher den Benutzererwartungen zu entsprechen. Mit der neuen Benennung dieses Angabebereiches mit der Überschrift Kollokationen fällt die Entscheidung bewusst nicht für die von den meisten Befragten favorisierte Alternative Wörter im Kontext (vgl. Abbildung 8 und 14), da es wichtiger erscheint, eine Benennung zu finden, die

|| 33 In dieser Darstellung wird dagegen durchgehend mit den ursprünglichen Bezeichnungen für die Registerkarten gearbeitet, da dies auch in den Onlinestudien so geschah.

334 | Annette Klosa, Alexander Koplenig, Antje Töpel

gegenüber der Benennung für den Angabebereich der typischen Verwendungen besonders deutlich abgegrenzt ist. Die bei den Probanden beliebteste Variante Wörter im Kontext wird allerdings in der ausführlichen Version der Überschrift direkt über den einzelnen Angaben aufgegriffen (vgl. Tabelle 16). Bei der Wahl der Benennung für den Angabebereich Typische Verwendungen ist die Tatsache entscheidend, dass die meisten Versuchspersonen bei der entsprechenden Entscheidungsaufgabe sowohl hinsichtlich der Überschrift Typische Verwendungen wie Konstruktionen am wenigsten Fehler machen (vgl. Abbildungen 9 und 15). So wird für die Registerkarte die Benennung Konstruktionen ausgewählt, obwohl diese an sich schlechter bewertet wurde als Typische Verwendungen, um ein mit den neuen Benennungen der Registerkarten auch linguistisch gut zu vertretendes Paar Kollokationen bzw. Konstruktionen einführen zu können. Auf diese Weise wird elexiko einerseits seinem wissenschaftlichen Anspruch gerecht, andererseits funktionieren die beiden Benennungen Kollokationen und Konstruktionen gut im Zusammenspiel, sind jedoch trotzdem hinreichend voneinander zu unterscheiden. Wie bereits im vorherigen Angabebereich ist die von den Befragten favorisierte Version Typische Verwendungen in der detaillierten Überschrift enthalten (vgl. Tabelle 16). Bei den Benennungen für die Angabebereiche Bedeutungserläuterung und Sinnverwandte Wörter ist aufgrund der Umfrageergebnisse kein Anlass zur Änderung gegeben (vgl. Abbildungen 7 und 13 bzw. 10 und 16). Bei der Registerkarte Besonderheiten des Gebrauchs erfolgt dagegen eine Orientierung an der favorisierten Benennung Gebrauch (vgl. Abbildungen 11 und 17), sodass es zu einer Umbenennung kommt. Allerdings wird jetzt die Benennung Gebrauchsbesonderheiten eingeführt, die selbst in der Umfrage nicht getestet wurde, die aber einerseits den von den Testpersonen favorisierten Terminus Gebrauch aufnimmt und andererseits im Zusammenspiel mit den anderen Benennungen der Registerkarten auch aus linguistischer wie lexikografischer Sicht gut zu vertreten ist (vgl. Tabelle 16). Benennung der Registerkarte

Überschrift

Bedeutungserläuterung

Erläuterung der Bedeutung / Funktion

Kollokationen

Kollokationen: Wörter im Kontext

Konstruktionen

Konstruktionen: Typische Verwendungen

Sinnverwandte Wörter

Sinnverwandte Wörter

Gebrauchsbesonderheiten

Besonderheiten des Gebrauchs

Grammatik

Grammatik

Tab. 16: Geänderte Benennungen und Überschriften der Angabebereiche in elexiko.

Benutzerwünsche und -meinungen zu elexiko | 335

Ins Glossar innerhalb der Wörterbuchumtexte von elexiko wurden die neuen Benennungen aufgenommen. Die alten Registerkartenbenennungen, die in bereits bearbeiteten Wortartikeln z. B. innerhalb lexikografischer Kommentare noch vereinzelt vorkommen können, dienen dann nur noch als Verweise auf die neuen Bezeichnungen. Diese Ausführungen machen deutlich, wie die durchgeführten Studien einerseits Anregung und Anlass für einzelne Veränderungen in der Sprache der Benutzeroberfläche in elexiko gaben. Andererseits wird an dieser Stelle auch klar, dass dabei ebenso andere Faktoren wie lexikografische Expertenmeinungen oder das gemeinsame Funktionieren von Benennungen der Angabebereiche eine Rolle spielen.

3.5 Frageblock 4: Unterschiedliche Ansichten für lexikografische Angaben34

3.5.1 Forschungsfragen Lexikografische Angaben sind in elexiko generell in verschiedenen Formen enthalten: als narrativer Fließtext in ganzen Sätzen (z. B. die Bedeutungserläuterung, Erläuterungen im Bereich Besonderheiten des Gebrauchs, Kommentar- und Hinweistexte), als Aufzählungen (z. B. lexikalische Mitspieler, sinnverwandte Wörter) und als tabellarisch angeordnete Nennung einzelner Formen oder Phrasen nach Überschriften (z. B. Formangaben in der Orthografie, in der Grammatik).35 Für die Lexikografen stellt sich bei der Konzeption eines Onlinewörterbuchs oder auch beim Verfassen von Wortartikeln die Frage, welche Art der Anordnung für welchen Angabebereich am sinnvollsten ist. Die Benutzungsstudie konzentrierte sich auf die Aufzählungen bzw. Listen in den Angabebereichen Semantische Umgebung, Typische Verwendungen und Wortbildungsprodukte36, die jeweils in Gruppen unterteilt sind. So stehen etwa im Angabebereich Semantische Umgebung alle Mitspielerwörter als separate Listen unter den einzelnen Fragen (vgl. Abbildung 18). Diese Listen sind derzeit alphabetisch geordnet, grundsätzlich wäre bei den lexikalischen Mitspielern und bei den Wortbildungsprodukten aber auch eine Sortierung nach der Frequenz im elexiko-Korpus denkbar. Zum Teil sind die Listen so umfang|| 34 Die Ergebnisse aus diesem Frageblock sind online bereits in Klosa/Koplenig/Töpel (2011) publiziert. Die Darstellung hier greift diese Publikation auf. 35 Vgl. zu Fließtext die Bedeutungserläuterungen in den Abbildungen 4 und 5, zu einer Auflistung der lexikalischen Mitspieler vgl. Abbildung 18, zu einer tabellarischen Anordnung vgl. die orthografischen Angaben in Abbildung 4. 36 Vgl. http://www.ids-mannheim.de/lexik/BZVelexiko/wortbildungsprodukte/.

336 | Annette Klosa, Alexander Koplenig, Antje Töpel

reich, dass sie nur durch Scrollen vollständig rezipiert werden können. Die Angaben sprengen also nicht selten den Rahmen einer Bildschirmseite, weshalb eine horizontale, beispielsweise durch Kommata voneinander getrennte Aufzählung platzsparender und möglicherweise angemessener wäre. Alle Listen z. B. innerhalb der lexikalischen Mitspieler stehen nach bestimmten redaktionellen Richtlinien geordnet untereinander (vgl. Abbildung 18). Alternativ wäre es mit dem Ziel der Platzersparnis möglich, die Gruppen beispielsweise um das Stichwort herum oder in Blöcken anzuordnen, wodurch eine vertikale und horizontale Anordnung kombiniert werden könnte.

Abb. 18: Gruppen von lexikalischen Mitspielern im Stichwort Mittag, Lesart ‚Zeit des Sonnenhöchststandes’.

Schließlich war zu überprüfen, was bei der Wörterbuchbenutzung angenehmer ist: alle Listen sofort geöffnet anzuzeigen (wie früher bei den Typischen Verwendungen und den Sinnverwandten Wörtern der Fall), nur die erste Gruppe geöffnet, die anderen aber zunächst geschlossen zu zeigen (wie früher bei den lexikalischen Mitspielern, vgl. Abbildung 18) oder sie alle zunächst geschlossen zu präsentieren (dies wäre die platzsparendste Variante, die es in elexiko nicht gibt).

Benutzerwünsche und -meinungen zu elexiko | 337

Für die Benutzungsstudie wurde schließlich pro Fragestellung nur ein Angabebereich ausgewählt. Hinsichtlich der Frage der alphabetischen bzw. frequenzgesteuerten Sortierung waren dies die Wortbildungsprodukte, weil hierfür aus dem elexiko-Korpus mit der Ermittlung der Produkte deren Frequenz schon erhoben wurde. Für die Frage der horizontalen bzw. der vertikalen Anordnung waren es die lexikalischen Mitspieler, weil in diesem Angabebereich die Listen oft besonders umfangreich sind und teilweise mehr als 30 Einträge enthalten, sodass eine platzsparendere Präsentation sich anzubieten scheint. Für die Frage der (teilweise) geöffneten bzw. geschlossenen Präsentation der Gruppen waren es die typischen Verwendungen, da es hier pro Wortart bis zu vier Gruppen gibt, die oft alle in den einzelnen Lesarten der Stichwörter vorhanden sind. Für die Benutzungsstudie galt die Hypothese, dass die Befragungsergebnisse auch auf die anderen Angabebereiche übertragen werden können.

3.5.2 Aufbau und Ergebnisse Im Frageblock zu den unterschiedlichen Ansichten für lexikografische Angaben erhielt jeder Proband zufällig eine Art von Angabe aus einem der drei Bereiche Wortbildungsprodukte, Semantische Umgebung oder Typische Verwendungen.

3.5.2.1 Alphabetische oder frequenzorientierte Sortierung Methode Am Beispiel der Wortbildungsprodukte wurde zunächst die Präferenz der Testpersonen für eine alphabetische oder eine frequenzorientierte Sortierung getestet. Hierfür wurden den Befragten die Wortbildungsprodukte zum Stichwort Zug (am Beispiel der Komposita) nacheinander nach Alphabet und Häufigkeit geordnet präsentiert, wobei die Reihenfolge randomisiert war (vgl. Abbildung 19). Anschließend sollten die Testpersonen angeben, welche Art der Sortierung ihnen am besten gefällt, wobei auch die Antwortoption Keine Präferenz zur Auswahl stand.

338 | Annette Klosa, Alexander Koplenig, Antje Töpel

Abb. 19: Alphabetische und frequenzorientierte Sortierung der Komposita am Beispiel Zug.

Ergebnis bevorzugte Sortierung alphabetisch

Testpersonen

frequenzorientiert keine Präferenz

Summe

Gesamt

50,00 %

36,62 %

13,38 %

100,00 %

Studierende der Sprachwis- Ja senschaften

62,50 %

32,50 %

5,00 %

100,00 %

45,10 %

38,24 %

16,67 %

100,00 %

Nein Sprachwissenschaftler

Ja

38,00 %

44,00 %

18,00 %

100,00 %

Nein

56,52 %

32,61 %

10,87 %

100,00 %

Tab. 17: Die bevorzugte Sortierung der Wortbildungsprodukte in elexiko.

Benutzerwünsche und -meinungen zu elexiko | 339

Interpretation Genau die Hälfte der Teilnehmenden bevorzugt die alphabetische Sortierung der Wortbildungsprodukte, 36,62 Prozent sprechen sich für die frequenzorientierte Sortierung aus. Die verbleibenden 13,38 Prozent äußern keine Präferenz. Noch deutlicher votieren die Studierenden der Sprachwissenschaften für die Sortierung nach dem Alphabet: 62,5 Prozent ziehen diese Darstellung vor. Nur 32,5 Prozent geben hier der Sortierung nach der Frequenz den Vorrang, 5 Prozent haben keine bevorzugte Sortierung. Bei der sprachwissenschaftlichen Berufsgruppe kehrt sich diese Präferenz um: Mit 44 Prozent bevorzugt hier der größte Teil eine Sortierung nach der Häufigkeit. 38 Prozent sprechen sich für die alphabetische Sortierung aus, 18 Prozent äußern keine Präferenz. An dieser Stelle treten gruppenspezifische Unterschiede zwischen den Testpersonen auf, die jedoch nur schwach signifikant sind (ps < .10). Im Zuge einer benutzeroptimierten Darstellung werden die unterschiedlichen Präferenzen in elexiko umgesetzt, indem grundsätzlich beide Arten der Präsentation der Wortbildungsprodukte angeboten werden. Als Standard wurde dabei die alphabetische Sortierung gewählt, weil die allgemeine Mehrzahl sie präferiert, auf Klick hin kann die Sortierung jedoch in eine frequenzorientierte geändert werden.

3.5.2.2 Verschiedene Anordnungsmöglichkeiten von Angabeblöcken Methode Für den Angabebereich Semantische Umgebung konnten die Teilnehmenden zwischen insgesamt vier unterschiedlichen Darstellungen wählen: der aktuellen Anordnung in elexiko (alphabetisch untereinander geordnete Mitspieler in Listenform, vgl. Abbildung 18), den alphabetisch geordneten und nebeneinander durch Kommata getrennten Mitspielern (vgl. Abbildung 20), einer Sortierung in Blöcken rund um das Stichwort (vgl. Abbildung 21) oder einer Sortierung in je nach semantischer Nähe unterschiedlich stark eingefärbten Blöcken (vgl. Abbildung22). Wie bei den Wortbildungsprodukten wurde den Teilnehmenden der Ausschnitt aus einem Beispielartikel (Stichwort Mittag) in den vier unterschiedlichen Darstellungsformen präsentiert (in einer zufälligen Reihenfolge). Die Probanden sollten dann die von ihnen präferierte Darstellung bzw. die Option Keine Präferenz wählen.

340 | Annette Klosa, Alexander Koplenig, Antje Töpel

Abb. 20: Durch Kommata getrennte Mitspieler am Beispiel Mittag, Lesart ‚Zeit des Sonnenhöchststandes’.

Ergebnis bevorzugte Sortierung Testpersonen

alphabetisch alphabetisch rund um eingefärbte keine untereinandermit Komma- das Stich- Blöcke Präferenz Summe ta wort

Gesamt

7,35 %

SprachwissenschaftlerJa

6,67 %

Nein7,69 %

20,59 %

44,85 %

24,26 %

2,94 %

100,00 %

11,11 %

66,67 %

15,56 %

0,00 %

100,00 %

25,27 %

34,07 %

28,57 %

4,40 %

100,00 %

Tab. 18: Die bevorzugte Sortierung der Mitspielerangaben in elexiko.

Interpretation Die mit 44,85 Prozent größte Gruppe der Testpersonen spricht sich für die Sortierung der Mitspieler rund um das Stichwort aus. Knapp ein Viertel (24,26 Prozent) bevorzugt die eingefärbten Blöcke, gut ein Fünftel (20,59 Prozent) die alphabetische Sortierung mit Kommata. Nur 7,35 Prozent gefällt die aktuelle Sortierung (alphabetisch untereinander) am besten, 2,94 Prozent äußern keine Präferenz. In der sprachwissenschaftlichen Berufsgruppe präferieren sogar zwei Drittel der Befragten (66,67 Prozent) die Sortierung der Mitspieler rund um das Stichwort, die Rangfolge der verschiedenen Sortierungen bleibt davon allerdings unberührt. Dieser Unterschied ist hoch signifikant (p < ,00). Da die aktuelle Präsentation der Mitspielerangaben in elexiko (alphabetisch untereinander) unabhängig von der Berufsgruppe von allen vier Darstellungsmöglichkeiten am schlechtesten abschneidet, wäre eine entsprechende Änderung bei der Realisierung einer optimierten Wörterbuchoberfläche besonders wünschenswert.

Benutzerwünsche und -meinungen zu elexiko | 341

Abb. 21: Sortierung der Mitspieler rund um das Stichwort am Beispiel Mittag, Lesart ‚Zeit des Sonnenhöchststandes’.

Abb. 22: Sortierung der Mitspieler in farbigen Blöcken am Beispiel Mittag, Lesart ‚Zeit des Sonnenhöchststandes’.

342 | Annette Klosa, Alexander Koplenig, Antje Töpel

3.5.2.3 Geöffnete oder geschlossene Angabeblöcke Methode Als dritte und letzte Darstellungsalternative wurde in diesem Fragekomplex am Beispiel des Angabebereiches Typische Verwendungen überprüft, mit welcher Menge an Informationen die Testpersonen am liebsten umgehen. Hierfür wurden die bei elexiko in Gruppen sortierten Typischen Verwendungen in einer zufälligen Reihenfolge auf drei verschiedene Arten präsentiert: alle Gruppen sind geschlossen (nur die Überschriften sind sichtbar, vgl. Abbildung 23), alle Gruppen sind geöffnet (Überschriften und Inhalte sind sichtbar, vgl. Abbildung 24), nur die erste Gruppe ist geöffnet (vgl. Abbildung 25). Ergebnis Ansicht alle Gruppen geöffnet alle Gruppen geschlossen erste Gruppe geöffnet keine Präferenz Summe

relative Häufigkeit 62,68 % 5,63 % 19,01 % 12,68 % 100,00 %

Tab. 19: Die bevorzugte Ansicht bei den Typischen Verwendungen in elexiko.

Interpretation Wie Tabelle 19 zeigt, kommt die Darstellung, in der alle Gruppen der Typischen Verwendungen geöffnet sind, bei den Testpersonen am besten an – 62,68 Prozent bevorzugen diese Art der Darstellung. Knapp ein Fünftel (19,01 Prozent) spricht sich dafür aus, die erste Gruppe bei den Typischen Verwendungen zu öffnen, 12,68 Prozent der Testpersonen hat keine Präferenz. Nur 5,63 Prozent sind dafür, zunächst alle Gruppen geschlossen zu zeigen. Signifikante Unterschiede zwischen den einzelnen Berufsgruppen bestehen hier nicht. An dieser Stelle sind in elexiko keine Änderungen in der Darstellung notwendig, da die allgemein präferierte Präsentation (alle Gruppen sind geöffnet) bei den Typischen Verwendungen bereits der aktuellen Darstellung entspricht.

Benutzerwünsche und -meinungen zu elexiko | 343

Abb. 23: Geschlossene Gruppen bei den Typischen Verwendungen am Beispiel Saison, Lesart ‚Zeitraum im Jahresverlauf’.

Abb. 24: Geöffnete Gruppen bei den Typischen Verwendungen am Beispiel Saison, Lesart ‚Zeitraum im Jahresverlauf’.

Abb. 25: Erste Gruppe bei den Typischen Verwendungen ist geöffnet (Beispiel Saison, Lesart ‚Zeitraum im Jahresverlauf’).

344 | Annette Klosa, Alexander Koplenig, Antje Töpel

3.5.3 Bewertung der Ergebnisse Die technologische Grundlage für eine benutzeroptimierte Präsentation bestimmter lexikografischer Daten in elexiko bietet die Artikelstruktur, die in Form einer XMLDokumenttypdefinition (= DTD) festgelegt ist (vgl. Müller-Spitzer 2005 und 2011). Für die Onlinedarstellung wird aus den einzelnen XML-Instanzen mithilfe von XSLT-Stylesheets HTML generiert, das in verschiedenen Internetbrowsern angezeigt werden kann. Für die Optimierung der Präsentation bestimmter lexikografischer Angaben liefern die Ergebnisse aus dem zweiten Frageblock wichtige Anhaltspunkte. So präferieren die Befragten eine alphabetische Sortierung deutlich gegenüber einer frequenzorientierten Sortierung (vgl. Tabelle 17), wie sie beispielsweise bei der Präsentation der lexikalischen Mitspieler im Bereich Semantische Umgebung bereits praktiziert wird. In dieser Hinsicht muss die Sortierung der Mitspielerangaben also nicht unbedingt verändert werden, was auch für die Auflistung der sinnverwandten Wörter gilt. Für die Anzeige der Wortbildungsprodukte zu einem Stichwort werden standardmäßig die alphabetisch sortierten Listen angeboten, aber auch die nach der Frequenz sortierten Listen, z. B. für interessierte Fachleute. Da platzsparende, horizontal angelegte Auflistungen von den Befragten besser bewertet wurden als einfache vertikale Listen (vgl. Tabelle 18), sollen die Listen der lexikalischen Mitspieler in der optimierten Darstellung durch Kommata voneinander getrennt hintereinander angeordnet werden. Belege, Hinweise oder Kommentare zu einzelnen Mitspielerwörtern können mithilfe von Mouse-over-Effekten in kleinen, separaten Bildschirmfenstern angezeigt werden. Bei den Wortbildungsprodukten zu einem Stichwort wird die vertikale Auflistung jedoch beibehalten, weil hierdurch die Rezeption der jeweils unterschiedlichen Bestimmungs- bzw. Grundwörter bei Komposita erleichtert wird. Es bleibt auch bei der vertikalen Anordnung der sinnverwandten Wörter, die sowieso in die einzelnen Arten der paradigmatischen Relationen (Synonymie, Antonymie etc.) gruppiert sind, sodass keine übermäßig langen Listen entstehen. In einer vertikalen Anordnung der Partner sind außerdem die Querverweise zum gleichen Partnerwort in einer anderen paradigmatischen Relation leichter zu rezipieren. Perspektivisch wäre eine Anzeige der Sets von lexikalischen Mitspielern mit der jeweiligen Frage „rund um das Stichwort“ sehr wünschenswert, die von den Testpersonen (und zwar sowohl von Fachleuten wie von Nichtfachleuten) am besten bewertet wurde (vgl. Tabelle 18). Hierzu müssten allerdings zunächst noch redaktionelle Vorarbeiten geleistet werden, z. B. eine Entscheidung darüber getroffen werden, wie die derzeit weitgehend festgelegte Reihenfolge der Sets aus Frage und darauf antwortenden lexikalischen Mitspielern in eine nicht mehr lineare, sondern zirkuläre Anordnung umgesetzt werden könnte. Zu klären ist auch, wie mit solchen Fällen umgegangen werden soll, bei denen es so viele Frage-Antwort-Sets gibt, dass

Benutzerwünsche und -meinungen zu elexiko | 345

sie nicht mehr alle um das Stichwort in seiner jeweiligen Lesart im Zentrum angeordnet werden können. Sehr leicht kann die Anzeige von Gruppen in den typischen Verwendungen, von Sets von lexikalischen Mitspielern mit der jeweiligen Frage, von Arten sinnverwandter Wörter und von Gruppen bei den Wortbildungsprodukten (z. B. alle Komposita, alle Derivate zu einem Stichwort) verbessert werden. Hier war überprüft worden, ob alle Gruppen zunächst geöffnet oder zunächst geschlossen erscheinen sollten oder ob zunächst nur die erste Gruppe geöffnet, die anderen aber geschlossen sein sollen. Das eindeutige Ergebnis der Befragung (vgl. Tabelle 19) wurde umgesetzt, sodass alle Gruppen in den typischen Verwendungen, alle Sets von lexikalischen Mitspielern mit der jeweiligen Frage und alle Gruppen bei den Wortbildungsprodukten sofort geöffnet angezeigt werden.

3.6 Frageblock 5: Gewünschter Ausbau der Suchfunktion37

3.6.1 Forschungsfragen Um den Ausbau der erweiterten Suchmöglichkeiten in elexiko auf Benutzerwünschen basierend planen zu können, wurden in einem letzten Frageblock die in elexiko vorhandenen erweiterten Suchmöglichkeiten (vgl. Abbildung 26) und denkbare Ergänzungen vorgestellt. Ein Ausbau dieser Suchfunktionen ist zu redaktionell bearbeiteten Wortartikeln grundsätzlich möglich, da die in elexiko gewählte granulare, inhaltsorientierte Modellierung Recherchen nach allen Stichwörtern mit einem bestimmten gleichen Merkmal ermöglicht (vgl. Müller-Spitzer 2005, S. 51 und 2007, 243ff.). Neue Recherchen können sich beispielsweise beziehen auf: – alle Stichwörter mit nur einer Bedeutung (d. h. monoseme Stichwörter), – alle Stichwörter mit mehr als einer Einzelbedeutung (d. h. polyseme Stichwörter), – alle Stichwörter, die auch als Name vorkommen, – alle Stichwörter, die z. B. negativ wertend verwendet werden (z. B. Alter als Bezeichnung für einen Mann), – alle Stichwörter, die in bestimmten Fachsprachen (z. B. der Medizin) verwendet werden, – alle Stichwörter, die z. B. nur in bestimmten Situationen oder Texten verwendet werden (z. B. Gesundheit! als mündlicher Ausspruch),

|| 37 Die Ergebnisse aus diesem Frageblock sind online bereits in Klosa/Koplenig/Töpel (2011) publiziert. Die Darstellung hier greift diese Publikation auf.

346 | Annette Klosa, Alexander Koplenig, Antje Töpel – – – – – –

alle Stichwörter, die zu einem bestimmten Themengebiet gehören (z. B. umweltschonend zum Thema Ökologie), alle Stichwörter, zu denen Wortbildungsprodukte verzeichnet sind, also Wörter, die mit dem Stichwort gebildet wurden, alle Stichwörter, die als Teil eines mehrteiligen Namens vorkommen (z. B. Ministerium in Ministerium für Staatssicherheit), alle Stichwörter, zu denen auch Sachinformationen gegeben werden, alle Stichwörter, die z. B. Wort des Jahres waren, alle Stichwörter, deren Einzelbedeutungen z. B. durch Übertragung entstanden sind.

Um die Suchmöglichkeiten auszubauen ist dennoch ein gewisser Entwicklungs- und Testaufwand nötig, sodass der Ausbau nur sukzessive erfolgen kann. Die Reihenfolge von Erweiterungen sollte sich dabei möglichst an den Umfrageergebnissen orientieren.

Abb. 26: Benutzeroberfläche der erweiterten Stichwortsuche in elexiko.

3.6.2 Aufbau und Ergebnisse In diesem Frageblock war von Interesse, welche Bedeutung die Befragten einem solchen Ausbau zumessen und welche speziellen Suchen für die Testpersonen be-

Benutzerwünsche und -meinungen zu elexiko | 347

sonders relevant sind. Aus den Ausbaumöglichkeiten für die erweiterte Suche in elexiko wurden acht ausgewählt, um dem Umfang des Testes nicht zu groß werden zu lassen. Methode In einer ersten Frage konnten die Probanden auf einer siebenstelligen Likert-Skala angeben, für wie wichtig/wünschenswert sie die Möglichkeit einer erweiterten Stichwortsuche in einem Onlinewörterbuch wie elexiko grundsätzlich halten. Anschließend sollten die Befragten für einzelne erweiterte Suchen (vgl. Tabelle 20) abstufen, wie wichtig ihnen eine Abfragemöglichkeit für diese Angabe wäre (wiederum auf einer siebenstufigen Skala von überhaupt nicht wichtig bis sehr wichtig). Ergebnis Angabebereich Mittelwert Ausbau der erweiterten Suche für … … alle Stichwörter, die zu einem bestimmten Themengebiet gehören (z. B. Umwelt, umweltschonend, umweltverträglich, Bio-Gemüse, Überfischung zum Thema Ökologie)

5,48

… alle Stichwörter, die in bestimmten Fachsprachen (z. B. der Medizin) verwendet werden

5,36

… alle Stichwörter, die z. B. nur in bestimmten Situationen oder Texten verwendet werden (z. B. Gesundheit! als mündlicher Ausspruch)

5,36

… alle Stichwörter, zu denen Wortbildungsprodukte verzeichnet sind, also Wörter, die mit dem Stichwort gebildet wurden

5,28

… alle Stichwörter mit mehr als einer Einzelbedeutung

5,08

… alle Stichwörter, die z. B. negativ wertend verwendet werden(z. B. Alter als Bezeichnung für einen Mann)

4,99

… alle Stichwörter mit nur einer Einzelbedeutung

4,07

… alle Stichwörter, die auch als Name vorkommen

3,95

Tab. 20: Die Wichtigkeit des Ausbaus einzelner erweiterter Suchmöglichkeiten in elexiko.

Interpretation Mehr erweiterte Suchmöglichkeiten in einem Onlinewörterbuch wie elexiko sind für die an der Umfrage Teilnehmenden wichtig und wünschenswert: Auf einer siebenstufigen Skala von überhaupt nicht wichtig/wünschenswert bis sehr wichtig/wünschenswert liegt der Mittelwert der Antworten bei 5,86. Für alle der acht vorgestellten erweiterten Suchmöglichkeiten ist den Testpersonen ein künftiger Ausbau eher wichtig als unwichtig. Insgesamt liegen die präsentierten Möglichkeiten in ihrer Wichtigkeit eng beieinander – auf der Skala von 1 bis 7 wird nur der Bereich von 3,95 bis 5,48 ausgenutzt (rund 1,5 Skalenpunkte).

348 | Annette Klosa, Alexander Koplenig, Antje Töpel

Statistisch signifikante Unterschiede (ps < ,05) in der Wichtigkeit bestehen nur zwischen Suchmöglichkeiten, die in Tabelle 20 jeweils weiter auseinanderliegen. Die drei als am wichtigsten bewerteten Suchmöglichkeiten (alle Stichwörter, die zu einem bestimmten Themengebiet gehören, alle Stichwörter, die in bestimmten Fachsprachen verwendet werden und alle Stichwörter, die z. B. nur in bestimmten Situationen oder Texten verwendet werden) lassen darauf schließen, dass für die Testpersonen ein Ausbau der erweiterten Suchen im Bereich der Pragmatik am relevantesten ist. Hingegen stoßen die erweiterten Suchen zu allen Stichwörtern mit nur einer Einzelbedeutung oder zu allen Stichwörtern, die auch als Name vorkommen, auf vergleichsweise weniger Interesse.

3.6.3 Bewertung der Ergebnisse Generell sollte die erweiterte Suche für elexiko ausgebaut werden, da die Befragungsergebnisse hierfür sprechen. Nachdem keine klare Präferenz der Befragten für bestimmte Suchmöglichkeiten festzustellen ist (vgl. Tabelle 20), wird der Ausbau sukzessive vorgenommen. Zunächst werden solche Abfragemöglichkeiten angeboten, mit denen ein aufgrund der weiteren Befragungsergebnisse anzunehmendes Informationsinteresse befriedigt werden kann. So kann beispielsweise das Bedürfnis der Testpersonen an Informationen zu Verwendungsbesonderheiten zumindest zum Teil dadurch befriedigt werden, dass Recherchen zu allen Stichwörtern führen, die in einer bestimmten Fachsprache verwendet werden, oder allen, die negativ wertend verwendet werden, usw. Ein wichtiges Kriterium für den Ausbau der Suchmöglichkeiten wird daneben sein, ob die jeweilige Suche zufriedenstellende Treffermengen erzielen kann, insbesondere da elexiko als Ausbauwörterbuch über eine viel kleinere Anzahl an ausgearbeiteten Artikeln verfügt als andere allgemeine einsprachige Wörterbücher.

3.7 Frageblock 6: Funktionen und Rezeption von Belegen38

3.7.1 Forschungsfragen Belege in elexiko haben grundsätzlich verschiedene Zwecke: „Sie veranschaulichen, belegen, sind Ausgangspunkt der Bedeutungsbeschreibung und dienen zum wissenschaftlichen Nachweis der lexikologischen Aussagen, und zwar verteilt auf die verschiedenen Angaben im Wortartikel.“ (Klosa 2005a, S. 97). Belege in elexiko

|| 38 Vgl. hierzu die ausführlichere Darstellung in Klosa/Töpel/Koplenig (2011).

Benutzerwünsche und -meinungen zu elexiko | 349

veranschaulichen auch die im Wortartikel festgehaltenen Gebrauchsregeln für ein Stichwort anhand konkreter sprachlicher Ausschnitte. Belege gibt es darüber hinaus nicht nur zu lexikografischen Angaben, sondern auch in lexikografischen Kommentaren oder Hinweisen, in denen sie vor allem eine nachweisende Funktion haben.39 Alle Belege in elexiko-Wortartikeln stammen aus den Texten des elexiko-Korpus. In elexiko gibt es keine Belegreihen bzw. keinen Belegblock40, sondern alle Belege werden genau einer lexikografischen Angabe zugeordnet. Häufig enthalten lexikografisch bearbeitete Wortartikel eine insgesamt große Zahl an Belegen (im Wortartikel Thema mit den Lesarten ‚Grundgedanke‘, ,Grundmelodie‘ und ,semantische Einheit‘ sind z. B. 38 Belege enthalten). Bei manchen Angaben können durchaus mehrere Belege hintereinander erscheinen (z. B. bei der Bedeutungserläuterung, vgl. Abbildung 27), sie dienen hier aber nur zum Nachweis oder zur Veranschaulichung dieser einen Angabe. In elexiko ist die Relation zwischen Beschreibungstext und Belege daher immer evident (vgl. Klosa 2005a, S. 99), und Belege sind nicht multifunktional. Eine Präsentation aller Belege innerhalb eines elexikoWortartikels als Belegblock in der Online-Artikelansicht wäre technisch realisierbar, doch spricht hiergegen, dass die Belege in elexiko jeweils spezifische Funktionen erfüllen und genau für diese ausgewählt werden. Würde man sie in einer Reihe ohne Zuordnung zur jeweiligen lexikografischen Angabe anbieten, wäre ihre Auswahl nicht mehr nachvollziehbar. Redaktionell festgelegt ist, zu welchen Angaben im Artikel Belege erscheinen müssen oder erscheinen können sowie zu welchen Angaben im Artikel keine Belege erscheinen (vgl. Klosa 2005a, S. 99ff.). Die theoretisch wegen der Onlinepublikation des Wörterbuchs mögliche Aufnahme nahezu unbegrenzter Belegmengen wird also sinnvoll eingeschränkt. Angaben, die belegt werden müssen, sind beispielsweise die Bedeutungserläuterung, alle paradigmatischen Partner wie Synonyme und Antonyme und die Angaben zu Besonderheiten des Gebrauchs. Angaben, die belegt werden können, sind z. B. die zur Gebildetheit des Stichwortes. Schließlich gibt es Angaben, die aus lexikografischen Gründen generell nicht belegt werden, beispielsweise die typischen Verwendungen. Im Fragekomplex zum Thema der Belege sollte in der Studie geklärt werden, ob die verschiedenen Funktionen, die Belege in elexiko haben, den Probanden bekannt sind, und ob die Entscheidung darüber, welche lexikografischen Angaben belegt werden und welche nicht, bestätigt werden.

|| 39 Vgl. genauer Klosa (2005b). 40 Zu Funktionen eines Belegblocks bzw. einer Belegreihe vgl. Schlaefer (2009, S. 93).

350 | Annette Klosa, Alexander Koplenig, Antje Töpel

Abb. 27: Mehrere Belege an der Bedeutungserläuterung im Wortartikel Thema in der Lesart ‚Grundgedanke‘.

Die Belege eines elexiko-Wortartikels sind in der Onlineansicht nicht direkt zu sehen. Bei der Konzipierung der Präsentation der Angaben am Bildschirm wurde entschieden, einen Beleg nur durch Klicken auf eine entsprechende Schaltfläche anzeigen zu lassen, sodass bei der Wörterbuchbenutzung entschieden werden kann, ob die Informationen, die ein Beleg bietet, in der jeweiligen Benutzungssituation rezipiert werden sollen. Ein weiterer, praktischer Grund ist, dass die Onlineansicht ansonsten zu unübersichtlich würde. Sofort geöffnet erscheinen nur ganz besondere

Benutzerwünsche und -meinungen zu elexiko | 351

Belege, und zwar sogenannte Definitionsbelege bei der Bedeutungserläuterung (vgl. Storjohann 2005d, S. 195).

Abb. 28: Ausschnitt aus dem Wortartikel Thema, Lesart ‚Grundgedanke’ mit Belegesymbol und Text „Belege anzeigen“ an der Bedeutungserläuterung.

Alle anderen Belege können erst sekundär geöffnet werden, wobei hierauf entweder durch den Text „Belege anzeigen“ neben dem Belegesymbol (vgl. Abbildung 2841) oder auch nur durch das Belegesymbol (vgl. Abbildung 29) hingewiesen wird.

Abb. 29: Ausschnitt aus dem Wortartikel Thema, Lesart ‚Grundgedanke’, Angabebereich Sinnverwandte Wörter mit Belege-Symbol (rechts) an den einzelnen Synonymen.

Bei der Konzeption der Benutzungsstudie hat vor diesem Hintergrund auch interessiert, ob die Nützlichkeit der Belege in elexiko unterschiedlich beurteilt wird, wenn die Belege sofort sichtbar bzw. geöffnet erscheinen oder wenn sie, wie derzeit in den meisten Fällen, zunächst geschlossen präsentiert werden. Für die Beantwortung

|| 41 Vgl. Abbildung 27 für eine geöffnete Ansicht der Belege zur Bedeutungserläuterung von Thema in der Lesart ‚Grundgedanke‘.

352 | Annette Klosa, Alexander Koplenig, Antje Töpel

dieser Frage wurden Belege in vier Angabebereichen ausgewählt, die für elexiko zentral sind: Bedeutungserläuterung, Sinnverwandte Wörter, Besonderheiten des Gebrauchs und Grammatik. Die grundlegenden Forschungsfragen für diesen ersten Frageblock lauteten also in zusammengefasster Form: – Kennen die Versuchspersonen die Funktionen von Belegen in einem Wörterbuch? – Macht es für die Versuchspersonen einen Unterschied, ob die in elexiko angezeigten Belege in der Grundeinstellung geöffnet oder geschlossen sind? – Für welchen Angabebereich schätzen die Versuchspersonen Belege als am wichtigsten ein? – Inwieweit haben Belege Einfluss auf die Verlässlichkeit von Wörterbuchangaben?

3.7.2 Aufbau und Ergebnisse

3.7.2.1 Funktionen von Belegen Methode Für die Beantwortung der ersten Forschungsfrage – danach, ob die Versuchspersonen die Funktionen von Belegen kennen – wurden aus den vielen (tatsächlichen oder möglichen) Belegfunktionen die folgenden ausgewählt (vgl. hierzu auch Tabelle 21): – Belege zeigen, dass das Wörterbuch auf wissenschaftlicher Grundlage erarbeitet ist, – Belege zeigen, dass das Stichwort im tatsächlichen Sprachgebrauch vorkommt, – Belege zeigen, wie ein Stichwort im größeren Kontext verwendet wird, – Belege zeigen, in welchen Quellen ein Stichwort verwendet wird, – Belege zeigen, in welchem deutschen Sprachraum (z. B. Ostdeutschland, Österreich) ein Stichwort verwendet wird, – Belege zeigen, in welchem Themenbereich ein Stichwort verwendet wird, – Belege zeigen, wie lange ein Stichwort schon verwendet wird, – Belege lassen erkennen, ob ein Stichwort erst seit Kurzem im Deutschen verwendet wird, – Belege lassen erkennen, welche sprachlichen Stereotype es gibt, – Belege lassen erkennen, mit welchen anderen Wörtern ein Stichwort in Beziehung steht, – Belege lassen erkennen, wenn sich die Bedeutung eines Stichwortes im Laufe der Zeit geändert hat, – Belege lassen erkennen, wie ein Stichwort gebeugt (flektiert) wird, – Belege helfen dabei, die Bedeutung eines Stichwortes zu verstehen.

Benutzerwünsche und -meinungen zu elexiko | 353

– – – – – – –

Belege enthalten viele Sachinformationen (z. B. über Personen, Orte, Zeitpunkte), Belege dienen dazu, dass die Nutzer(innen) besser nachvollziehen können, was im Wörterbuch beschrieben wird, Belege machen das im Wörterbuch Beschriebene verständlicher, Belege machen das im Wörterbuch Beschriebene verlässlicher, Belege machen das im Wörterbuch Beschriebene deutlicher, Belege beweisen, dass das im Wörter Beschriebene richtig ist, Belege sagen mehr aus, als es die einzelne Angabe im Wörterbuch kann.

Per Zufallsauswahl wurde jeder Teilnehmende einer von zwei Gruppen zugeordnet. Die erste Gruppe wurde gebeten, in einem Freitextfeld stichpunktartig drei Funktionen zu notieren, die Belege in Wörterbüchern erfüllen können. Die Frage war also offen gestellt.42 Die zweite Gruppe erhielt die geschlossene Variante der Frage. Diese Gruppe sollte aus einer Liste mit vorformulierten Antworten drei wichtige Funktionen von Belegen auswählen. Die Ausgangsliste enthielt insgesamt 20 mögliche Funktionen von Belegen (vgl. Tabelle 21). Damit die Befragung für den einzelnen Probanden nicht zu lang wurde, wurde diese Liste in drei Unterlisten aufgeteilt, von denen den Versuchspersonen per Zufallsauswahl jeweils eine präsentiert wurde. Zusätzlich zu den sechs oder sieben vorgegebenen, untereinander randomisierten Antworten gab es die Antwortmöglichkeit „Weiß nicht/keine Angabe“. Für die vergleichende Auswertung wurden die Antworten der offenen Variante den vorgegebenen Antworten der geschlossenen Variante manuell zugeordnet. Im Zweifelsfall zählten mehrere der geschlossenen Antwortmöglichkeiten. War eine Zuordnung zu den vorgegebenen Antworten nicht möglich, wurde die Antwort einer Kategorie „Sonstiges“ zugewiesen.43 Im Vergleich zur geschlossenen Variante war das eigenständige Notieren der Belegfunktionen in der offenen Variante natürlich schwieriger, dennoch war die Bereitschaft der Versuchspersonen groß, ernsthaft auf die offene Frage zu antworten. Für die Auswertung galt die Überlegung: Wenn den Versuchspersonen die Funktionen von Belegen bekannt sind, sollten sich die Antworten der geschlossenen und der offenen Fragevariante laut der zugrunde gelegten Hypothese ähneln.

|| 42 Der genaue Wortlaut war: „Im folgenden Teil geht es um die Funktionen von Belegen in einem Onlinewörterbuch: Belegbeispiele bzw. Textbelege haben in einem Wörterbuch wie elexiko verschiedene Zwecke. Uns interessiert, ob und inwieweit diese den Benutzern bekannt sind. Bitte nennen Sie deshalb – wenn möglich – stichpunktartig drei Funktionen, die ein Beleg in einem Onlinewörterbuch erfüllt bzw. Ihrer Meinung nach erfüllen könnte.“ 43 Zur Auswertung dieser zusätzlichen Funktionen von Belegen vgl. ausführlicher Abschnitt 3.7.3.

354 | Annette Klosa, Alexander Koplenig, Antje Töpel

Ergebnis Belegfunktion: Belege … … zeigen, wie ein Stichwort im größeren Kontext verwendet wird. … lassen erkennen, mit welchen anderen Wörtern ein Stichwort in Beziehung steht. … machen das im Wörterbuch Beschriebene verständlicher. … dienen dazu, dass die Nutzer(innen) besser nachvollziehen können, was im Wörterbuch beschrieben wird. … zeigen, in welchem Themenbereich ein Stichwort verwendet wird. … zeigen, dass das Stichwort im tatsächlichen Sprachgebrauch vorkommt. … zeigen, in welchen Quellen ein Stichwort verwendet wird. … machen das im Wörterbuch Beschriebene deutlicher. … helfen dabei, die Bedeutung eines Stichwortes zu verstehen. … machen das im Wörterbuch Beschriebene verlässlicher. … lassen erkennen, wie ein Stichwort gebeugt (flektiert) wird. … zeigen, in welchem deutschen Sprachraum (z. B. Ostdt, Österr.) ein Stichwort verwendet wird. … sagen mehr aus, als es die einzelne Angabe im Wörterbuch kann. … lassen erkennen, welche sprachlichen Stereotype es gibt. … enthalten viele Sachinformationen (z. B. über Personen, Orte, Zeitpunkte). … beweisen, dass das im Wörterbuch Beschriebene richtig ist. … lassen erkennen, wenn sich die Bedeutung eines Stichwortes im Laufe der Zeit geändert hat. … zeigen, dass das Wörterbuch auf wissenschaftlicher Grundlage erarbeitet ist. … lassen erkennen, ob ein Stichwort erst seit Kurzem im Deutschen verwendet wird. … zeigen, wie lange ein Stichwort schon verwendet wird.

geschlossene Variante Prozent 81,25

Rang 1

offene Variante Prozent Rang 87,97 1

80,72

2

61,06

2

72,50

3

8,27

13

71,19

4

14,94

10

71,08

5

4,42

16

70,00

6

27,07

6

55,93

7

16,09

9

55,42 50,60

8 9

24,78 9,73

7 11

49,15

10

27,59

5

42,37

11

45,98

3

39,98

12

5,75

14

37,35

13

20,35

8

25,00

14

0,00

20

22,50

15

1,50

18

18,64

16

32,18

4

18,07

17

4,42

15

15,00

18

2,26

17

12,50

19

0,75

19

7,23

20

8,80

12

Tab. 21: Genannte Funktionen von Belegen in der geschlossenen und offenen Variante im Vergleich.

Benutzerwünsche und -meinungen zu elexiko | 355

Interpretation Eine vollständige Auflistung aller Antworten beider Varianten (vgl. Tabelle 21) zeigt, ob und wie stark sich die beiden Varianten unterscheiden. Mit einem Blick auf die Zahlen wird sichtbar, dass es bei einigen Funktionen (wie „Belege zeigen, wie ein Stichwort im größeren Kontext verwendet wird.“ oder „Belege zeigen, wie lange ein Stichwort schon verwendet wird.“) große Übereinstimmungen zwischen den beiden Varianten gibt. Bei manchen Funktionen der Belege (wie „Belege machen das im Wörterbuch Beschriebene verständlicher.“ oder „Belege beweisen, dass das im Wörterbuch Beschriebene richtig ist.“) scheinen hingegen die Unterschiede zwischen den beiden Varianten zu dominieren. In Tabelle 21 wird außerdem sichtbar, dass bis auf eine Ausnahme („Belege lassen erkennen, welche sprachlichen Stereotype es gibt.“) alle in der geschlossenen Variante vorgegebenen Belegfunktionen auch in der offenen Fragevariante genannt werden. Um statistisch verlässlich herauszufinden, wie stark die Korrelation zwischen beiden Fragevarianten ist, bietet sich die Berechnung des Koeffizienten Spearmans Rho (ρ) an. Dafür werden alle Antwortoptionen nach ihrer relativen Häufigkeit geordnet (für die geschlossene Variante ist dies in Tabelle 21 bereits sichtbar). Anschließend werden für die Antworten Ränge vergeben (die häufigste Antwort erhält Rang 1, die zweithäufigste Rang 2 usw.). Auf Basis der Rangdaten kann dann die Korrelation beider Varianten berechnet werden, wobei nicht die absoluten oder relativen Häufigkeiten betrachtet werden, sondern die Rangfolge der Antworten. Je nach Art des Zusammenhangs kann ρ Werte zwischen -1 und +1 annehmen. Ein ρWert über 0 bedeutet dabei einen gleichsinnigen Zusammenhang (eine Antwortoption erhält in beiden Varianten einen niedrigen oder hohen Rang). Ein ρ-Wert um 0 zeigt an, dass zwischen beiden Varianten kein Zusammenhang besteht. Ist der ρWert kleiner als 0, steht dies für einen gegensinnigen Zusammenhang beider Varianten (eine Antwortoption erhält in einer Variante einen niedrigen, in der anderen jedoch einen hohen Rang). Im vorliegenden Fall ist ρ = 0,46, es besteht eine mittlere gleichsinnige Rangkorrelation. Die durchschnittlichen Rangfolgen der offenen und der geschlossenen Fragevariante ähneln sich also. Die Versuchspersonen beider Gruppen schätzen die Funktionen von Belegen demzufolge ähnlich ein, woraus sich schließen lässt, dass ihnen bekannt ist, welche Funktionen Belege in einem Wörterbuch erfüllen können. Sprachwissenschaftler bewerten die Funktionen von Belegen dabei im Übrigen nicht nennenswert anders als Nichtsprachwissenschaftler: Ein Vergleich der Rangdaten der beiden Gruppen ergibt in beiden Varianten (offen/geschlossen) eine Korrelation (ρ = 0,90). Vollkommen unabhängig von der Fragevariante werden die Kontextualisierung des Stichwortes („Belege zeigen, wie ein Stichwort im größeren Kontext verwendet wird.“) und seine Relationen zu anderen Wörtern („Belege lassen erkennen, mit welchen anderen Wörtern ein Stichwort in Beziehung steht.“) am häufigsten als Belegfunktionen genannt (vgl. Tabelle 21). Andere Funktionen werden bei der Auswahl aus einer Liste zwar häufig gewählt, spielen in der aktiven Nennung durch die

356 | Annette Klosa, Alexander Koplenig, Antje Töpel

Versuchspersonen jedoch nur eine untergeordnete Rolle: „Belege machen das im Wörterbuch Beschriebene verständlicher.“, „Belege dienen dazu, dass die Nutzer(innen) besser nachvollziehen können, was im Wörterbuch beschrieben wird.“ oder „Belege zeigen, in welchem Themenbereich ein Stichwort verwendet wird.“ Es gibt auch Funktionen, die in der offenen Variante präsenter sind als in der geschlossenen, wie beispielsweise „Belege beweisen, dass das im Wörterbuch Beschriebene richtig ist.“

3.7.2.2 Anzeige von Belegen (geöffnet oder geschlossen) Methode Die zweite Forschungsfrage setzt sich damit auseinander, ob es für die Versuchspersonen einen Unterschied macht, ob die in elexiko angezeigten Belege in der Grundeinstellung geöffnet oder geschlossen sind (vgl. Abbildungen 27 und 28). Auch hierfür wurde im Fragebogen ein Test konstruiert: Die Versuchspersonen wurden wiederum zufällig in zwei Gruppen eingeteilt. Diese Gruppen erhielten zwei Versionen des gleichen Wörterbuchartikels zur Ansicht – entweder mit standardmäßig geöffneten oder mit grundsätzlich geschlossenen Belegen in den vier Angabebereichen Bedeutungserläuterung, Sinnverwandte Wörter, Besonderheiten des Gebrauchs und Grammatik – und wurden aufgefordert, den Artikel in Ruhe zu rezipieren. Anschließend sollten sie seine Verlässlichkeit, Aussagekraft und Nützlichkeit auf einer siebenstufigen Skala (von überhaupt nicht verlässlich/aussagekräftig/ nützlich bis sehr verlässlich/aussagekräftig/nützlich) bewerten. Im Anschluss an die Frage nach der Verlässlickeit/Aussagekraft/Nützlichkeit sollten die Teilnehmenden noch beantworten, ob sie die Belege in dem Beispielartikel gelesen haben (ja/nein) und – wenn ja – ob der Inhalt der Belege in dem Wörterbuchartikel ihre Einschätzung bezüglich der Verlässlichkeit/Aussagekraft/Nützlichkeit der Angaben beeinflusst hat (ja/nein). Ergebnis und Interpretationen Für die Auswertung der Einschätzung der Verlässlichkeit/Aussagekraft/Nützlichkeit wurde aus den drei Variablen ein reliabler Verlässlichkeitsindex gebildet (Cronbachs α = ,8644). Die Analyse zeigt, dass die Angaben in dem präsentierten elexikoArtikel mit 5,73 von sieben möglichen Punkten von den Versuchspersonen im Durchschnitt als sehr verlässlich eingeschätzt werden (vgl. Abbildung 30). Diesen || 44 Bei der Indexbildung werden die von den Testpersonen ausgewählten drei Skalenwerte zur Verlässlichkeit, Aussagekraft und Nützlichkeit der Angaben im Wörterbuchartikel durch Addition zusammengefasst. Cronbachs α misst dabei, ob sich Angaben für eine Indexbildung hinreichend genug ähneln (vgl. Diekmann 2002, S. 220ff.). Ab einem Wert von 0.70 gilt eine Indexbildung als angemessen.

Benutzerwünsche und -meinungen zu elexiko | 357

hohen Indexwert vergeben die Befragten vollkommen unabhängig davon, ob die Belege in der Grundeinstellung geöffnet oder geschlossen sind, was eine einfaktorielle Varianzanalyse mit der Art der Grundeinstellung (geschlossen vs. geöffnet) als unabhängige Variable und dem Verlässlichkeitsindex als abhängige Variable zeigt (F = 0,08; p = 7845).

7 6

5,75

5,72

Belege geöffnet

Belege geschlossen

5 4 3 2 1

Abb. 30: Bewertung der Verlässlichkeit der Angaben im Wörterbuchartikel in elexiko (Index) in Abhängigkeit von der Grundeinstellung (Belege geschlossen/geöffnet).

Bei der Analyse der Frage nach der Einschätzung der Verlässlichkeit der Angaben in Abhängigkeit von der Standardeinstellung (Belege geöffnet oder geschlossen) durch die Versuchspersonen, die die Belege gelesen haben, zeigen sich ebenfalls keine signifikanten Unterschiede wie ein Chi²-Test zeigt (χ² = 0,1146, p = ,74; vgl. Tabelle 22): 76,79 Prozent der Versuchspersonen mit der geschlossenen Variante bejahen die Frage, bei den Teilnehmenden mit der Variante mit standardmäßig geöffneten

|| 45 Ein niedriger F-Wert deutet generell daraufhin, dass zwischen den Gruppen kein Unterschied besteht. Bei dem ρ-Wert handelt es sich um die Irrtumswahrscheinlichkeit in Form des sogenannten empirischen Signifikanzniveaus. Je kleiner die Irrtumswahrscheinlichkeit, umso eher kann man von einem statistisch bedeutsamen Ergebnis sprechen. Eine häufig verwendete Grenze ist dabei ein ρWert, der kleiner als ,05 bzw. 5 Prozent ist (vgl. Jann 2002, S. 141ff.). 46 Beim Chi²-Test handelt es sich um einen weit verbreiteten Signifikanztest. Wie beim F-Wert (vgl. Fußnote 45) gilt: Je kleiner der Wert ist, desto eher besteht statistische Unabhängigkeit, also kein Zusammenhang (vgl. Jann 2002, S. 160f.).

358 | Annette Klosa, Alexander Koplenig, Antje Töpel

Belegen sind es mit 75,27 Prozent nur geringfügig weniger, sodass sich dieser Unterschied außerhalb der statistischen Signifikanz bewegt. Variante Hat der Inhalt der Belege in dem Belege geschlossen Wörterbuchartikel Ihre Einschätzung bezüglich der Verlässlichkeit der Angaben beeinflusst?

Belege geöffnet

Mittelwert

Ja

76,79 %

75,27 %

75,99 %

Nein

23,21 %

24,73 %

24,01 %

Summe

100,00 %

100,00 %

100,00 %

Tab. 22: Einschätzung der Verlässlichkeit der Angaben in elexiko in Abhängigkeit von der Grundeinstellung (Belege geschlossen/geöffnet).

Wie aus Tabelle 23 ersichtlich wird, werden die Belege unabhängig davon, ob sie in ihrer Standardeinstellung geöffnet oder geschlossen sind, von der überwiegenden Mehrheit der Versuchspersonen in der Studie gelesen (im Durchschnitt von 84,29 Prozent). Ein Vergleich zwischen den beiden Varianten des Wörterbuchartikels (geschlossene/geöffnete Belege in der Grundeinstellung) zeigt jedoch, dass Belege häufiger gelesen werden, wenn diese standardmäßig geöffnet sind: 78,87 Prozent der Befragten mit der geschlossenen Variante lesen die Belege, bei der Variante mit den geöffneten Belege sind es hingegen 89,86 Prozent. Dieser Unterschied ist hochsignifikant (χ² = 9,56, p < ,00). Geöffnete Belege animieren die Versuchspersonen also noch stärker dazu, die Belege zu rezipieren. Variante Belege geschlossen

Belege geöffnet

Mittelwert

Ja

78,87 %

89,86 %

84,29 %

Nein

21,13 %

10,14 %

15,17 %

Summe

100,00 %

100,00 %

100,00 %

Haben Sie die Belege in dem Wörterbuchartikel gelesen?

Tab. 23: Rezeption der Belege in elexiko in Abhängigkeit von der Grundeinstellung (Belege geschlossen/geöffnet).

Zusammenfassend lässt sich für diesen Fragekomplex festhalten, dass die Befragten die Verlässlichkeit/Aussagekraft/Nützlichkeit der Angaben in dem präsentierten elexiko-Artikel als sehr hoch einschätzen, unabhängig davon, ob die Belege in der Grundeinstellung geöffnet sind oder nicht. Die Einschätzung der Verlässlichkeit/Aussagekraft/Nützlichkeit der Angaben im Wörterbuchartikel erfolgt bei den Versuchspersonen also unabhängig von der Art, wie die Belege präsentiert werden

Benutzerwünsche und -meinungen zu elexiko | 359

(geöffnet oder geschlossen). Jedoch lesen mehr Versuchspersonen die Belege, wenn diese in der Standardeinstellung grundsätzlich geöffnet sind. Aus diesen Ergebnissen lässt sich für die weitere Arbeit an elexiko festhalten, dass die bisherige Praxis, wie die Belege angezeigt werden (geöffnet oder geschlossen), beibehalten werden kann, da die Einschätzung der Verlässlichkeit der Wörterbuchangaben dadurch nicht beeinflusst wird. Die grundsätzlich geöffnete oder geschlossene Darstellung der Belege kann also auch zukünftig von Faktoren wie der Übersichtlichkeit abhängig gemacht werden. Da jedoch die geöffneten Belege häufiger rezipiert werden als die zunächst geschlossen angezeigten Belege, bietet sich eine geöffnete Präsentation an den dafür geeigneten Stellen an.

3.7.2.3 Wichtigkeit von Belegen für einzelne Angabebereiche Methode Die dritte Forschungsfrage beschäftigt sich mit der Überlegung, für welchen Angabebereich die Versuchspersonen Belege als am wichtigsten einschätzen. Von den einzelnen Angaben, die in elexiko belegt werden, wurden die folgenden 15 in der Benutzungsstudie abgefragt (vgl. hierzu auch Tabelle 24): – Belege zeigen die verschiedenen Schreibweisen des Stichwortes, – Belege veranschaulichen den Bedeutungswandel des Stichwortes, – Belege stehen bei der Abkürzung zu einem Stichwort, – Belege zeigen, wenn das Stichwort auch als Name vorkommt, – Belege veranschaulichen die Bedeutungserläuterung, – Belege stehen, wenn Sachinformationen zu dem Stichwort gegeben werden, – Belege veranschaulichen die einzelnen Mitspielerwörter (solche Wörter, die auffallend häufig in gemeinsamen Kontexten mit dem Stichwort vorkommen), – Belege veranschaulichen die sinnverwandten Wörter (z. B. Synonyme) und deren Verwendungsbedingungen, – Belege veranschaulichen, dass das Stichwort an eine bestimmte Einstellung des Sprechers gebunden ist, – Belege veranschaulichen, dass das Stichwort nur in bestimmten Situationen oder in bestimmten Texten verwendet wird, – Belege veranschaulichen, dass das Stichwort in einem bestimmten fachlichen Kontext verwendet wird, – Belege veranschaulichen, dass das Stichwort an ein bestimmtes Thema gebunden ist, – Belege zeigen die Beugungsformen (Flexionsformen) des Stichwortes, – Belege zeigen die schwankende Formenbildung des Stichwortes (z. B. des Buchs – des Buches), – Belege veranschaulichen, in welchen Sätzen und Konstruktionen das Stichwort (besonders ein Verb oder Substantiv) typischerweise vorkommt.

360 | Annette Klosa, Alexander Koplenig, Antje Töpel

Von allen Stellen erhielt jeder Teilnehmende vier zufällig ausgewählte Bereiche, die er danach bewerten sollte, für wie wichtig, nützlich und hilfreich er Belege dort einschätzt. Dafür stand eine siebenstufige Likert-Skala zur Verfügung (von überhaupt nicht wichtig/nützlich/hilfreich bis sehr wichtig/nützlich/hilfreich). Aus den jeweiligen Variablen wurden im Anschluss wiederum reliable Indizes gebildet (αs > .92). Außerdem sollten die Versuchspersonen noch angeben, an welcher Stelle im Wortartikel sie die Belege als am wichtigsten einschätzen. Ergebnis Angabebereich

Bewertung Anteil in (Index) Prozent

Belege können … … veranschaulichen, in welchen Sätzen und Konstruktionen das Stichwort 6,51 (besonders ein Verb oder Substantiv) typischerweise vorkommt

15,48

… die Bedeutungserläuterung veranschaulichen

6,39

15,48

… veranschaulichen, dass das Stichwort nur in bestimmten Situationen oder Texten verwendet wird

6,14

11,90

… veranschaulichen, dass das Stichwort an ein bestimmtes Thema gebun- 5,99 den ist

9,29

… die einzelnen Mitspielerwörter veranschaulichen

6,05

8,33

… die sinnverwandten Wörtern und deren Verwendungsbedingungen veranschaulichen

6,13

7,14

… den Bedeutungswandel des Stichwortes veranschaulichen

5,48

6,67

… veranschaulichen, dass das Stichwort an eine bestimmte Einstellung des Sprechers gebunden ist

5,58

5,95

… veranschaulichen, dass das Stichwort in einem bestimmten fachlichen Kontext verwendet wird

5,98

4,52

… stehen, wenn Sachinformationen zu dem Stichwort gegeben werden

5,47

4,05

… die Beugungsformen (Flexionsformen) des Stichwortes zeigen

5,46

4,05

… die schwankende Formenbildung des Stichwortes zeigen

5,44

3,33

… die verschiedenen Schreibweisen des Stichwortes zeigen

5,05

1,19

… bei der Abkürzung zu einem Stichwort stehen

5,06

0,48

… zeigen, wenn das Stichwort auch als Name vorkommt

4,89

0,48

Summe

98,34

… in keinem der genannten Bereiche

1,67

Tab. 24: Die Wichtigkeit der Belege in verschiedenen Bereichen in elexiko (Bewertung und Index).

Interpretation In der mittleren Spalte von Tabelle 24 ist die Bewertung (mit Indexbildung) aufgeführt, in der Spalte rechts daneben sind die Anteile an der Nennung des Bereichs, in

Benutzerwünsche und -meinungen zu elexiko | 361

dem Belege am wichtigsten sind, aufgelistet. Alle 15 ausgewählten Stellen, die in elexiko Belege erhalten, werden von den Versuchspersonen als überwiegend bis sehr wichtig/nützlich/hilfreich eingeschätzt, da selbst die im Vergleich zu den anderen als am unwichtigsten eingestuften Angabebereiche noch knapp fünf von sieben möglichen Punkten erhalten (in Tabelle 24 ganz unten). Bei dieser Art der Messung streuen die Werte nur wenig. Aussagekräftiger ist deshalb die Analyse der Frage nach dem Angabebereich, in dem die Belege die wichtigste Rolle spielen. Hier schneiden mit jeweils 15,48 Prozent der Nennungen die Sätze und Konstruktionen, in denen das Stichwort typischerweise vorkommt sowie die Bedeutungserläuterung am besten ab. Dass die für das Stichwort typischen Sätze und Konstruktionen so weit vorn liegen, deckt sich mit den Ergebnissen zu den Funktionen von Belegen. Dort gaben die Versuchspersonen als Belegfunktion am häufigsten an, ein Belege zeige, wie ein Stichwort im größeren Kontext verwendet wird (vgl. Tabelle 21). Die Umfrageergebnisse zu dieser Forschungsfrage lassen nicht erkennen, dass die Versuchspersonen für bestimmte Angabebereiche grundsätzlich auf Belege verzichten wollen (vgl. auch 3.3.3). Gleichzeitig ergeben sich gute Hinweise darauf, an welchen Stellen die Belege als besonders wichtig erachtet werden und wo sie demzufolge unter keinen Umständen weggelassen werden sollten – nämlich zur Veranschaulichung, in welchen Sätzen und Konstruktionen (besonders bei einem Verb oder Substantiv) das Stichwort typischerweise vorkommt, und bei der Bedeutungserläuterung. Diese beide Funktionen werden zum einen durch die Belege, die in den elexiko-Wortartikeln bei der Paraphrase der einzelnen Lesarten gegeben werden, erfüllt, zum anderen durch die Belege, welche in den grammatischen Angaben bei den dort gegebenen Satzbauplänen (bei Verben) oder den Präpositionalanschlüssen (bei Substantiven) aufgeführt sind.

3.7.3 Funktionen von Belegen – Freie Angaben Wie oben erläutert, wurde knapp die Hälfte der Testpersonen in der elexiko-Studie gebeten, in einem Freitextfeld stichpunktartig drei mögliche Funktionen von Belegen zu nennen, also freie Angaben zu machen. Die Eintragungen wurden folgendermaßen ausgewertet: Jede Eintragung wurde mithilfe einer Kennzahl einer oder mehreren Belegfunktionen, die in Tabelle 21 zusammengefasst sind, zugeordnet, z. B.: – die Eintragung „leisten durch ihren Praxisbezug einen Beitrag zum Verständnis (manche Leute lernen besser aus Beispielen)“ wurde der Funktion „Belege machen das im Wörterbuch Beschriebene verständlicher“ zugerechnet, – die Eintragung „erläutern, wie ein Wort in einem bestimmten Kontext verwendet wird“ wurde der Funktion „Belege zeigen, wie ein Stichwort im größeren Kontext verwendet wird“ zugerechnet,

362 | Annette Klosa, Alexander Koplenig, Antje Töpel –

die Eintragung „bestätigen, dass das Wort im aktuellen Sprachgebrauch enthalten ist“ wurde den Funktionen „Belege zeigen, dass das Stichwort im tatsächlichen Sprachgebrauch vorkommt“ sowie „Belege beweisen, dass das im Wörterbuch Beschriebene richtig ist“ zugerechnet.

Nur eine Funktion wurde von den Versuchspersonen in der offenen Fragevariante gar nicht angesprochen, und zwar: „Belege lassen erkennen, welche sprachlichen Stereotype es gibt“. Bei den anderen Funktionen sind deutliche Schwerpunkte zu erkennen (vgl. Tabelle 25). Am häufigsten waren die Eintragungen der Versuchspersonen der Funktion „Belege zeigen, wie ein Stichwort im größeren Kontext verwendet wird“ zuzuordnen (117-mal), gefolgt von der Funktion „Belege helfen dabei, die Bedeutung eines Stichwortes zu verstehen“ (69-mal), was zumindest teilweise mit den Ergebnissen der anderen Fragevarianten in diesem Block (vgl. im Einzelnen Abschnitt 3.7.2.1 und Tabelle 21) korreliert. Daneben gab es die Möglichkeit, die Kodierung „Sonstiges“ vorzunehmen, falls die Eintragung der Versuchspersonen nicht einer der für die Belege in elexiko angenommenen Funktionen zugeordnet werden konnte. Hierunter sind etwa folgende Nennungen (im Wortlaut) zu finden: – Darstellung der Nutzung in Redewendungen47, – Etymologie, – Wort kontextualisieren, somit Wahrscheinlichkeit für korrekten Gebrauch erhöhen/Wahrscheinlichkeit für fehlerhaften Gebrauch senken, 48 – Hinweis auf Stilebene, – Anregung für die eigenen Nutzung, – statistische Zwecke, – er sollte bekannt machen, wo Schriftsteller/-innen das Wort benutzt haben, – die Verbindung bzw. das Scharnier zu einem evtl. daran hängenden Korpus bilden. Die Eintragungen der Versuchspersonen, die als „Sonstiges“ kodiert wurden, sind also sehr unterschiedlich. Es lassen sich aber bei näherer Betrachtung durchaus einzelne Schwerpunkte erkennen, und zwar eine Reihe von Angaben dazu, was der Beleg illustriert, wozu er dient, was er ermöglicht und in welcher besonderen Form er erscheint (nämlich als Definitions- oder Erstbeleg).

|| 47 Diese Äußerung wurde zusätzlich auch der Funktion „Belege zeigen, wie ein Stichwort im größeren Kontext verwendet wird“ zugeordnet. 48 Diese Äußerung wurde zusätzlich auch der Funktion „Belege zeigen, wie ein Stichwort im größeren Kontext verwendet wird“ zugeordnet.

Benutzerwünsche und -meinungen zu elexiko | 363

Belegfunktion Belege …

… zeigen, wie ein Stichwort im größeren Kontext verwendet wird. … helfen dabei, die Bedeutung eines Stichwortes zu verstehen. … lassen erkennen, wie ein Stichwort gebeugt (flektiert) wird. … zeigen, dass das Stichwort im tatsächlichen Sprachgebrauch vorkommt. … beweisen, dass das im Wörterbuch Beschriebene richtig ist. … machen das im Wörterbuch Beschriebene deutlicher. … machen das im Wörterbuch Beschriebene verlässlicher. … sagen mehr aus, als es die einzelne Angabe im Wörterbuch kann. … zeigen, in welchen Quellen ein Stichwort verwendet wird. … dienen dazu, dass die Nutzer(innen) besser nachvollziehen können, was im Wörterbuch beschrieben wird. … lassen erkennen, mit welchen anderen Wörtern ein Stichwort in Beziehung steht. … machen das im Wörterbuch Beschriebene verständlicher. … zeigen, wie lange ein Stichwort schon verwendet wird. … lassen erkennen, wenn sich die Bedeutung eines Stichwortes im Laufe der Zeit geändert hat. … zeigen, in welchem Themenbereich ein Stichwort verwendet wird. … zeigen, in welchem deutschen Sprachraum (z. B. Ostdeutschland, Österreich) ein Stichwort verwendet wird. … zeigen, dass das Wörterbuch auf wissenschaftlicher Grundlage erarbeitet ist. … enthalten viele Sachinformationen (z. B. über Personen, Orte, Zeitpunkte). … lassen erkennen, ob ein Stichwort erst seit Kurzem im Deutschen verwendet wird. … lassen erkennen, welche sprachlichen Stereotype es gibt.

Zahl der Nennungen 117 69 40 36 28 28 24 23 14 13 11 11 10 5 5 5 3 2 1 0

Tab. 25: Häufigkeit der Zuordnung freier Angaben zu einer angenommenen Belegfunktion.

Bei den freien Angaben der Versuchspersonen dazu, was ein Beleg illustrieren kann, sind allgemeine Vorstellungen von solchen zu lexikografischen Angaben zu unterscheiden. Im Einzelnen werden hier genannt: Belege illustrieren die Aktualität des Stichwortes, Ausnahmen, Variation, die Benutzung durch Schriftsteller und die Verwendung in verlässlichen Quellen. Belege können nach Meinung der Versuchspersonen auch eine Wortfamilie, ein Wortfeld oder den Wortstamm illustrieren. Schließlich nennen die Versuchspersonen das ganze Spektrum lexikografischer Angaben, die mit Belegen illustriert werden können49: – Aussprache, – Bedeutungsnuancen, verschiedene Bedeutungen bzw. Lesarten, Grundbedeutung, Zusammenhang der Lesarten, Lesartendisambiguierung, unterschiedliche || 49 Die Eintragungen werden hier z. T. im Wortlaut wiedergegeben, teilweise aber auch in vereinfachter und verkürzter Form, um eine bessere Übersicht zu ermöglichen.

364 | Annette Klosa, Alexander Koplenig, Antje Töpel

– – – – – – – –

Assoziationen, Bedeutungsabweichungen, Differenzierung der Paraphrase, Differenzierung von Bedeutung und Verwendung, Etymologie, Frequenz, Statistik, Gebrauch in Redewendungen und Redensarten, grammatische Struktur, Grammatik, grammatische Präferenzen; Kasus, Numerus, Satzbau, Syntax, Valenz, Wortart, Kollokationen, Pragmatik; Register; Situation; Textsorte; stilistische Unterschiede, Stilistik, Stil, Rechtschreibung, typische Verwendung, typischer Gebrauch, Verwendungsmöglichkeiten, Verwendungsunterschiede, korrekte Verwendung, Verwendungsbreite, üblicher Kontext, umgangssprachlicher Gebrauch, Wortkombinationen.

Belege können nach Meinung der Versuchspersonen Anregung für die eigene Nutzung sein und als Beispiel, Erklärung, Formulierungshilfe/Formulierungsmuster, Nachweis für Korrektheit, weiterführende Quelle/Information/Informationsquelle und als Vorbild dienen. Auch das, was Belege ermöglichen können, schätzen die Versuchspersonen sehr vielfältig ein: Sie ermöglichen das Einprägen von Ausdrücken und die Wortschatzerweiterung, das Fremdsprachen- bzw. Sprachlernen, die Übersetzung bzw. das Übersetzen. Belege sind eine Hilfe bei der Textproduktion, bei der Auswahl des Wortes für den gewünschten Kontext und für effizienteres Textarbeiten. Belege sind aber auch bei der Textrezeption eine Hilfe und dienen als Dechiffrierungshilfe. Außerdem helfen sie dabei, von der Theorie in die Praxis (einer Wortverwendung) zu verweisen. Schließlich ermöglichen Belege eine Verbindung zum Korpus und stellen Querverbindungen zu anderen Belegen her. Es ist festzuhalten, dass die Versuchspersonen in der Befragung sehr viele verschiedene, auch von den Wörterbüchern im Allgemeinen intendierte Funktionen von Belegen erkannt und beschrieben haben. Dies sollen abschließend noch einige beispielhafte Eintragungen in dem Freifeld illustrieren (vgl. Tabelle 26).

3.7.4 Bewertung der Ergebnisse Als wissenschaftlich fundiertes Wörterbuch bietet elexiko an vielen Stellen im Wortartikel aus dem Wörterbuchkorpus gewonnene Textbelege, deren generelle Funktionen den Probanden bekannt sind. Textbelege bei der Bedeutungserläuterung scheinen besonders wichtig zu sein, aber auch, um zu zeigen, wie das Stichwort im Satzzusammenhang vorkommt, oder um zu verdeutlichen, wenn das Stichwort nur in bestimmten Situationen, in bestimmten Texten oder an ein bestimmtes Thema gebunden verwendet wird. Die Befragungsergebnisse lassen schließlich

Benutzerwünsche und -meinungen zu elexiko | 365

erkennen, dass die Versuchspersonen meinen, durch die Belege werde elexiko insgesamt verlässlicher, wobei es keine Rolle spielt, ob die Belege sofort oder nur durch Aufklicken rezipiert werden können. Allerdings werden Belege häufiger gelesen, wenn sie direkt geöffnet erscheinen. Diese Ergebnisse sind eine Bestätigung für die Belegungspraxis in lexikografisch bearbeiteten Stichwörtern in elexiko, sodass ein genereller oder partieller Verzicht auf Textbelege nicht angeraten erscheint, auch wenn aus den Studienergebnissen nicht abgeleitet werden kann, dass sich die Benutzer von elexiko oder anderen Wörterbüchern auch in realen Benutzungssituationen die Zeit nehmen, viele Belege zu lesen. 1. Funktion Gibt es das Wort überhaupt? beweisen, dass es diese Bedeutung wirklich gibt

2. Funktion Wie lange wird es schon benutzt? Erläutern der Bedeutung

3. Funktion In welchen Kontexten wird es benutzt? deutlicher machen, was mit der Bedeutungsbeschreibung gemeint wird

Illustration der syntaktischen Einbindung des Lexems

Illustration der semantischen Einbindung des Lexems / Kollokationen Macht das Wörterbuch verlässlicher

Illustration der pragmatischen Einbindung des Lexems

Rechtschreibung

grammatische Informationen (Genus, Numerus, ...)

Bedeutung

Weitererklärung des Wortes

Verschiedene Bedeutungen zeigen

wie man das Wort in Sätzen mit sprachwissenschaftlibenutzen kann chem Hintergrund (Studierender), Deutsch als Muttersprache

Zeigt, wie ein Stichwort benutzt wird

Proband Übersetzer, Deutsch als Muttersprache mit sprachwissenschaftlichem Hintergrund, Deutsch als Muttersprache mit sprachwissenschaftlichem Hintergrund, Deutsch als Muttersprache ohne sprachwissenschaftlichen Hintergrund, Deutsch nicht Muttersprache mit sprachwissenschaftlichem Hintergrund, Deutsch als Muttersprache

Tab. 26: Einige Angaben von Versuchspersonen in den Freifeldern zur Belegfunktion.

3.8 Frageblock 7: Umgang mit automatisch generierten Angaben

3.8.1 Forschungsfragen Die Verfügbarkeit großer elektronischer Textkorpora mit entsprechenden Recherche- und Analysewerkzeugen hat die lexikografische Arbeit in den vergangenen Jahrzehnten stark verändert. Hinzu kommen diverse computerlinguistische Ent-

366 | Annette Klosa, Alexander Koplenig, Antje Töpel

wicklungen bzw. Angebote der Sprachtechnologie, die verstärkt Einfluss auf das Erstellen von Wörterbüchern haben. Es liegt auf der Hand, in diesem Kontext über Möglichkeiten der teilweise automatisierten Erstellung von Wörterbüchern nachzudenken, z. B. in Bezug auf eine automatische Auswahl von Belegen oder auf eine automatische Generierung grammatischer Angaben (Wortart, Flexion) (vgl. detaillierter Klosa 2010). Im Projekt elexiko werden solche Möglichkeiten geprüft und teilweise schon genutzt. So gibt es in elexiko neben lexikografisch erarbeiteten Informationen eine Reihe automatisch erstellter Informationen, die vor der Veröffentlichung allerdings teilweise redaktionell überprüft werden. Generell wird zwischen automatisch und lexikografisch erzeugten Daten strikt getrennt (vgl. Schnörch 2005a, S. 108f.). Automatisch ermittelt sind in elexiko die Angabe der Wortschreibung, der Worttrennung, der morphologischen Varianten und bei zahlreichen, noch nicht redaktionell bearbeiteten Wortartikeln jeweils drei Belege mit Angaben zur Frequenz im elexikoKorpus. Zusätzlich wird auf andere Onlineangebote verlinkt, in denen weitere automatisch generierte Informationen zum Stichwort zu finden sind (z. B. Flexionstabellen, Informationen zur Wortbildung, Informationen zu Kollokationen). Abbildung 31 zeigt (in gekürzter Form) einen Wortartikel mit solchen Angaben und Hyperlinks. An einem weiteren Ausbau dieser Angaben wird gearbeitet (vgl. Klosa 2011b, 18ff.). In diesem Kontext stellen sich verschiedene Fragen: Wird der Unterschied zwischen automatisch generierten und lexikografisch erarbeiteten Angaben bei der Wörterbuchbenutzung wahrgenommen? Für wie verlässlich werden automatisch generierte Angaben gegenüber redaktionell erarbeiteten Informationen eingeschätzt? Die Antworten auf diese Fragen sollten Hinweise dafür liefern, ob die Unterscheidung zwischen automatisch und lexikografisch erstellten Angaben optimiert werden kann. Wichtiger war aber noch, für den weiteren Ausbau von elexiko dahingehend Anhaltspunkte zu gewinnen, ob der Ausbau um weitere automatisch erstellte Angaben forciert werden sollte. Es wäre darüber hinaus auch interessant herauszufinden, ob der Unterschied zwischen redaktionell erarbeiteten und automatisch generierten Angaben im Wortartikel deutlich gemacht werden sollte und automatisch generierte Angaben also als solche zu präsentieren wären (in elexiko werden etwa automatisch ermittelte Belege in der Überschrift entsprechend bezeichnet, vgl. Abbildung 31). Die hier vorgestellte Studie konnte diese letzte Fragestellung allerdings nichts untersuchen. Zur Überprüfung der Frage nach der Einschätzung der Verlässlichkeit der unterschiedlich erstellten Angaben (und indirekt danach, ob der Unterschied zwischen automatisch generierten und lexikografisch erarbeiteten Angaben bei der Wörterbuchbenutzung wahrgenommen wird) wurden für die Studie drei Angabebereiche in elexiko ausgewählt, bei denen sich aufgrund vorhandener korpus- und computerlinguistischer Möglichkeiten ein Ausbau mit automatisch ermittelten Angaben unterschiedlich leicht realisieren ließe. So könnten zum einen die grammatischen

Benutzerwünsche und -meinungen zu elexiko | 367

Angaben mithilfe entsprechender morphologischer Tools erstellt werden (bei den Nomen etwa Angaben zu Wortart, Genus, Flexionsklasse, Nennung von Genitiv Singular und Nominativ Plural oder des vollständigen Deklinationsparadigmas). Da die automatische Gewinnung von Belegen in elexiko bereits praktiziert wird, könnte dieses Vorgehen zum anderen auf die automatische Auswahl von Belegen zur Bedeutungserläuterung ausgeweitet werden, wobei eine auf einzelne Lesarten bezogene, automatisierte Auswahl von Belegen korpuslinguistisch ziemlich anspruchsvoll wäre. Schließlich könnten sinnverwandte Wörter (insbesondere Synonyme und Hyperonyme) nicht redaktionell, sondern mithilfe korpuslinguistischer Methoden ermittelt werden, allerdings nicht auf einzelne Lesarten bezogen.

Abb. 31: Wortartikel vierblättrig mit automatisch generierten Angaben.

368 | Annette Klosa, Alexander Koplenig, Antje Töpel

3.8.2 Aufbau und Ergebnisse Methode Zur Beantwortung der genannten Forschungsfragen wurde im Rahmen der Benutzungsstudie ein komplexes Testszenario mit einer ausdifferenzierten Filterführung im Fragebogen entwickelt. Die Schwierigkeit bei diesem Fragebereich lag vor allem in der Formulierung der verschiedenen Versionen: Weder sollten diese so ausfallen, dass die Befragten sofort meinen, erwartungskonform antworten zu müssen, noch durften sie so formuliert sein, dass sie nicht zu aussagekräftigen Ergebnissen führen würden. Die automatisch generierten Angaben sollten also in realistischer Weise präsentiert werden, zum einen inhaltlich nicht übertrieben fehlerträchtig in den Bereichen, wo sie bereits gut anwendbar sind, zum anderen vom Äußerlichen her nicht zu stark von der Gestaltung der redaktionellen Angaben unterschieden. Für insgesamt zwei Angabebereiche wurde der Umgang mit automatischen Angaben bei der Wörterbuchbenutzung getestet – Grammatik und Sinnverwandte Wörter. Für jeden Bereich wurden drei alternative Ansichten eines Artikelausschnitts vorbereitet: mit ausschließlich automatisch generierten Angaben, mit ausschließlich redaktionell erarbeiteten Angaben und mit einer Kombination aus automatisch generierten und redaktionell erarbeiteten Angaben. Im Bereich Grammatik wurde für das Beispielwort Umwelt die automatisch generierte Anzeige des vollständigen Flexionsparadigmas eines Substantivs in Tabellenform (vgl. Abbildung 32) mit der redaktionell erarbeiteten Angabe der wichtigsten Flexionsformen (mit Beleg) (vgl. Abbildung 33) und einer aus beiden Angaben kombinierten Variante (vgl. Abbildung 34) verglichen.

Abb. 32: Automatische Angaben im Bereich Grammatik im Wortartikel Umwelt, Lesart ‚Lebensraum‘.

Benutzerwünsche und -meinungen zu elexiko | 369

Abb. 33: Redaktionell erarbeitete Angaben im Bereich Grammatik im Wortartikel Umwelt, Lesart ‚Lebensraum‘.

Abb. 34: Kombinierte Angaben im Bereich Grammatik im Wortartikel Umwelt in der Lesart ‚Lebensraum‘.

Bei den Sinnverwandten Wörtern standen sich die automatisch generierte Angabe von Synonymen (vgl. Abbildung 35), die Variante mit redaktionell erarbeiteten und belegten Synonymen (vgl. Abbildung 36) und wiederum eine aus beiden kombinierte Variante (vgl. Abbildung 37) gegenüber (Beispielwort Vorhaben).

370 | Annette Klosa, Alexander Koplenig, Antje Töpel

Abb. 35: Automatische Angaben im Bereich Sinnverwandte Wörter im Wortartikel Vorhaben50.

Schließlich waren die Belege zu einem Stichwort als weiterer Testfall vorgesehen. In diesem Angabebereich macht elexiko für die nicht redaktionell ausgearbeiteten Wörter bereits Gebrauch von automatisch generierten Angaben (vgl. Abbildung 31). Für den Test wurde das Beispielwort Zeitschrift entweder mit händisch ausgewählten, mit automatisch ausgewählten oder mit beiden Arten von Belegen versehen. Die Wahl fiel auf die Testfälle der grammatischen Angaben, der sinnverwandten Wörter und der Belege, da bei ihnen die Qualität der automatisch generierten Angaben unterschiedlich gut ist: Für die grammatischen Flexionsparadigmen und die automatisch ausgewählten Belege zu einem Stichwort funktionieren die automatisierten Verfahren in den meisten Fällen bereits akzeptabel, bei den sinnverwandten Wörtern hingegen liefert der Einsatz automatischer Methoden häufig fragwürdige Ergebnisse. Für die Probanden war es laut Hypothese also unterschiedlich schwierig, die automatisch generierten von den redaktionell erstellten Angaben zu unterscheiden.

|| 50 In der Umfrage waren die Links aus technischen Gründen nicht funktional.

Benutzerwünsche und -meinungen zu elexiko | 371

Abb. 36: Redaktionell erarbeitete Angaben im Bereich Sinnverwandte Wörter im Wortartikel Vorhaben51.

Abb. 37: Kombinierte Angaben im Bereich Sinnverwandte Wörter im Wortartikel Vorhaben52.

|| 51 In der Umfrage konnten die Belege geöffnet und gelesen werden, die Links waren jedoch aus technischen Gründen nicht funktional.

372 | Annette Klosa, Alexander Koplenig, Antje Töpel

Im Fragebogen erhielt jede Testperson per Zufall zunächst eine Version (automatisch, redaktionell oder kombiniert) aus einem der beiden Angabebereiche Grammatik oder Paradigmatik. Der Test zu den Belegen wäre erst dann hinzugekommen, wenn eine genügend große Anzahl an Probanden erreicht worden wäre.53 Hinzu kam eine unterschiedliche Einführung des Befragten in die Thematik. Die einleitende Seite gab es in vier Versionen mit unterschiedlich starken Hinweisen auf die Problematik der automatisch generierten Angaben und ihre Verlässlichkeit: Version 1 enthielt keinerlei Hinweise und bat die Testperson lediglich um die genaue Betrachtung des präsentierten Wörterbuchartikelausschnittes: „Auf der nächsten Seite präsentieren wir Ihnen einen Ausschnitt aus einem Wörterbuchartikel. Stellen Sie sich bitte vor, Sie hätten in einem Onlinewörterbuch das folgende Wort nachgeschlagen. Bitte nehmen Sie sich kurz Zeit und betrachten Sie den Artikel in aller Ruhe. Wenn Sie fertig sind, klicken Sie bitte auf den Weiter-Button und beantworten die Fragen auf der darauffolgenden Seite.“ Version 2 beinhaltete zusätzlich einen Hinweis darauf, dass es in Onlinewörterbüchern an einigen Stellen automatisch generierte Angaben gibt: „Bitte beachten Sie, dass es in einem Onlinewörterbuch an manchen Stellen automatisch ausgewählte Angaben gibt. Auf der nächsten Seite präsentieren wir Ihnen einen Ausschnitt aus einem Wörterbuchartikel. Stellen Sie sich bitte vor, Sie hätten in einem Onlinewörterbuch das folgende Wort nachgeschlagen. Bitte nehmen Sie sich kurz Zeit und betrachten Sie den Artikel in aller Ruhe. Wenn Sie fertig sind, klicken Sie bitte auf den Weiter-Button und beantworten die Fragen auf der darauffolgenden Seite.“, Version 3 umfasste statt dieses Hinweises die Erklärung, dass im Anschluss Fragen zur Verlässlichkeit der präsentierten Angaben beantwortet werden sollen: „Auf der nächsten Seite präsentieren wir Ihnen einen Ausschnitt aus einem Wörterbuchartikel. Stellen Sie sich bitte vor, Sie hätten in einem Onlinewörterbuch das folgende Wort nachgeschlagen. Bitte nehmen Sie sich kurz Zeit und betrachten Sie den Artikel in aller Ruhe. Wenn Sie fertig sind, klicken Sie bitte auf den WeiterButton und beantworten auf der darauffolgenden Seite, als wie verlässlich Sie die gemachten Angaben einstufen.“, Version 4 beinhaltete sowohl den Hinweis auf potenziell enthaltene automatische Angaben und die Erklärung zur Art der folgenden Fragen: „Im folgenden Teil geht es um eine konkrete Situation, in der ein Onlinewörterbuch verwendet wird. Bitte beachten Sie, dass es in einem Onlinewörterbuch an manchen Stellen automatisch ausgewählte Angaben gibt. Auf der nächsten Seite präsentieren wir Ihnen einen Ausschnitt aus einem Wörterbuchartikel. Stellen Sie sich bitte vor, Sie hätten || 52 In der Umfrage konnten die Belege geöffnet und gelesen werden, die Links waren jedoch aus technischen Gründen nicht funktional. 53 Hierzu kam es allerdings nicht mehr, da die Ergebnisse zu den ersten beiden Angabebereichen deutlich zeigten, dass keine signifikanten Effekte erreicht wurden (vgl. unter „Interpretation“).

Benutzerwünsche und -meinungen zu elexiko | 373

in einem Onlinewörterbuch das folgende Wort nachgeschlagen. Bitte nehmen Sie sich kurz Zeit und betrachten Sie den Artikel in aller Ruhe. Wenn Sie fertig sind, klicken Sie bitte auf den Weiter-Button und beantworten auf der darauffolgenden Seite, als wie verlässlich Sie die gemachten Angaben einstufen.“ Auf diese Weise sollte überprüft werden, wie umfangreich bei der Wörterbuchbenutzung auf die Verwendung automatisch generierter Angaben in einem Onlinewörterbuch hingewiesen werden sollten. Das methodische Vorgehen beruht dabei auf der psychologischen Logik des Primings (vgl. Bless/Fiedler/Strack 2004, S. 60ff.). Versuchspersonen, die einen Hinweis auf potenziell enthaltene automatische Angaben und/oder die anschließend abgefragte Verlässlichkeit der Angaben erhalten, sollten, verglichen mit Versuchspersonen, die keinen solchen Hinweis bekommen haben, den Artikelausschnitt eher auf automatisch generierte Angaben und die damit verbundene Verlässlichkeit der Angaben prüfen, weil die entsprechenden impliziten Gedächtnisinhalte aktiv sind. Im Umkehrschluss würde dies bedeuten, dass es sinnvoll sein könnte, automatisch generierte Angaben explizit als solche zu kennzeichnen, um zu gewährleisten, dass der Unterschied zwischen lexikografisch erarbeiteten Angaben und automatisch generierten Angaben bei der Wörterbuchbenutzung hinsichtlich ihrer Verlässlichkeit wahrgenommen wird. Auf die einleitende Seite mit den unterschiedlich stark ausgeprägten Hinweisen und die Präsentation eines Wörterbuchartikelausschnittes folgte die Frage, als wie verlässlich, aussagekräftig und nützlich die Probanden die Angaben des Ausschnittes einschätzen (auf einer siebenstufigen Likert-Skala von überhaupt nicht verlässlich/aussagekräftig/nützlich bis sehr verlässlich/aussagekräftig/nützlich). Aus den drei ausgewählten Skalenwerten wurde im Zuge der Datenanalyse ein additiver Index gebildet, welcher die Bewertung der jeweiligen Einschätzung quantifiziert (α = ,88; siehe auch Fußnote 44). Anschließend sollten die Testpersonen noch einschätzen, wie groß der Anteil an automatisch generierten Angaben in dem eben gesehenen Artikelausschnitt war: ausschließlich redaktionell erstellte Angaben, hauptsächlich redaktionell erstellte Angaben, teils/teils, hauptsächlich automatisch erstellte Angaben oder ausschließlich automatisch erstellte Angaben. Diese Abfrage fungierte als sogenannter Manipulationscheck. Damit sollte überprüft werden, dass die vorbereiteten Artikelausschnitte so wahrgenommen wurden wie beabsichtigt. Zum Beispiel sollte der Anteil an automatisch generierten Angaben in Abbildung 35 höher eingestuft werden als in Abbildung 36, während in Abbildung 37 der Anteil als „teils/teils“ eingeschätzt werden sollte.

374 | Annette Klosa, Alexander Koplenig, Antje Töpel

Ergebnis Faktor V1: Angabebereich V2: Anteil an redaktionell bearbeiteter Information V3:Hinweis auf automatisch ausgewählte Angaben V4: Hinweis auf Verlässlichkeit V3 x V4 V2 x V3 V2 x V3 x V4

Modell 1 F= 15,72 0,19 1,11 0,12

Modell 2 F= 15,64 0,20 1,16 0,14 0,09

Modell 3 F= 14,22 0,34 0,70 0,18 0,04 1,31 0,39

Tab. 27: Einfluss der Experimentalbedingungen auf die wahrgenommene Verlässlichkeit: Ergebnisse einer Varianzanalyse (signifikante F-Werte fettgedruckt [p < .00]). Geschätzter Anteil

1 = ausschließlich redaktionell 2 =hauptsächlich redaktionell 3 = teils/teils 4 =hauptsächlich automatisch 5 = ausschließlich automatisch

Variante redaktionell erarbeitete Angaben 2,33

kombinierte Angaben 2,76

automatisch generierte Angaben 2,05

18,60

25,52

12,33

51,16 25,58

43,45 19,31

40,41 36,99

2,33

8,97

8,22

Tab. 28: Ergebnisse des Manipulationscheck Tau-B = -0.0197.

Interpretation Tabelle 27 dokumentiert die Ergebnisse von drei berechneten Varianzanalysen. Das erste Modell enthält dabei nur die potenziellen Effekte der einzelnen Faktoren (Haupteffekte), während die anderen beiden Modelle die Daten auch auf gemeinsame Effekte (Interaktionseffekte) prüfen. Die Analysen zeigen bis auf einen Haupteffekt für den Angabebereich (V1)54 keinerlei signifikanten Effekte. Ein Blick auf die Ergebnisse des Manipulationschecks (vgl. Tabelle 28) zeigt, dass zwischen der Art der Variante und dem subjektiv eingeschätzten Anteil an automatisch generierten Angaben kein Zusammenhang besteht (τb = -0.02). In allen drei Varianten ergeben sich ähnliche Verteilungen. Unter anderem stufen nur 2,33 Prozent der Befragten, denen eine der beiden redaktionell erarbeiteten Varianten vorgelegt wurde, den

|| 54 So wird der Angabebereich Paradigmatik im Schnitt verlässlicher als der Bereich Grammatik bewertet (M = 5,68 [SD = 1,19] vs. M = 5,18 [SD = 1,39]).

Benutzerwünsche und -meinungen zu elexiko | 375

Anteil als „ausschließlich redaktionell“ ein. Dieser fehlende Zusammenhang erklärt die insignifikanten Ergebnisse der Varianzanalysen. Zur Beantwortung der Forschungsfragen können die Ergebnisse deshalb nicht genutzt werden. Für zukünftige empirische Projekte, die sich mit dem Umgang mit automatisch generierten Angaben auseinandersetzen, empfiehlt es sich deshalb, zunächst das hier vorgestellte und implementierte Testszenario zu verbessern.

4 Ausblick Mit den Onlinebefragungen zu elexiko wurden verschiedene Ziele verfolgt: Zunächst ging es darum, das ursprünglich zugrunde gelegte Konzept, mit einer sehr umfangreichen Mikrostruktur viele verschiedene Wörterbuchbenutzer in unterschiedlichen Nutzungssituationen erreichen zu wollen (vgl. Abschnitt 3.1), zu überprüfen. In diesem Kontext wurde konkret die Auswahl der in elexiko enthaltenen Stichwortarten überprüft (Frageblock 1), sowie die Entscheidung darüber, welche Angabebereiche überhaupt angeboten werden (Frageblock 1). Daneben wurde die Entscheidung darüber, welche lexikografischen Angaben innerhalb der verschiedenen Angabebereiche erarbeitet werden (Frageblock 2), kontrolliert. Zusätzlich wurde den Testpersonen ermöglicht, in Frageblock 2 eigene Vorschläge für lexikografische Angaben im Wörterbuch zu machen. Zwei Angaben, die für die Erarbeitung wie den Ausbau des korpusgestützten elexiko-Wörterbuchs besonders relevant sind, wurden gezielt daraufhin ausgewertet, ob die Probanden ihre Funktion (bei den Belegen in Frageblock 4) und ihre Qualität (bei den automatisch ermittelten Angaben in Frageblock 6) einschätzen können. Die Frage der Präsentation war hinsichtlich der gewählten Terminologie (Frageblock 3 zur optimalen Benennung der einzelnen Angabebereiche) und verschiedener Anordnungsmöglichkeiten bestimmter Angaben (Frageblock 5 zu unterschiedlichen Ansichten für lexikografische Angaben) ebenso Teil der Benutzungsstudien. Anhaltspunkte für die Fortentwicklung von elexiko konnten daneben aus den Ergebnissen aus den Frageblöcken zur Makro- und Mikrostruktur (Blöcke 1 und 2 mit den darin enthaltenen freien Angaben) sowie aus Frageblock 7 zum weiteren Ausbau der Suchfunktionen gewonnen werden. Durch die gewählte Methode der Onlinebefragung konnten die Probanden lediglich künstlich in die Lage versetzt werden, ein Wörterbuch zu konsultieren, was nicht immer einer vollkommen natürlichen Nachschlagehandlung entsprechen muss. Jedoch war es nur auf diese Art möglich, die große Zahl an über 1.100 Teilnehmern zu erreichen, was für die Gewinnung eines grundlegenden Bildes ausschlaggebend war. Die Benutzungsstudien zu elexiko haben zu einem überwiegenden Teil sehr klare Antworten auf die untersuchten Forschungsfragen geliefert. Es ist positiv, in den Umfrageergebnissen einerseits eine Bestätigung für das linguistisch-lexikografische

376 | Annette Klosa, Alexander Koplenig, Antje Töpel

Grundkonzept von elexiko als umfassendes, die Bedeutung und Verwendung der Stichwörter beschreibendes, korpusgestütztes Wörterbuch sehen zu können. Denn die Befragten scheinen an allen Angabebereichen interessiert zu sein. Ob sie in konkreten Benutzungssituationen mit dieser Polyfunktionalität zurechtkommen, konnte und sollte mit dem Studiendesign nicht beantwortet werden. Positiv ist andererseits, dass aufgrund der Befragungsergebnisse einige Verbesserungen an der Präsentation der Wortartikel bzw. einzelner lexikografischer Angaben vorgenommen werden konnten, die die Benutzung von elexiko erleichtern oder angenehmer machen. Für den Ausbau von elexiko als Onlinewörterbuch konnten zudem Anregungen dazu gewonnen werden, in welche Richtung dieser auch mit neuartig präsentierten Angaben (z. B. Mitspieler gruppiert um das Stichwort) gehen könnte. Mindestens ebenso wichtig ist aber auch die Erkenntnis, dass vieles, was die Testpersonen für wichtig halten oder was sie als nützlich bewerten, sehr stark in der lexikografischen Tradition des (gedruckten) Bedeutungswörterbuches steht.55 Von qualitätvollen neuartigen Angeboten (sei es inhaltlicher Art oder in der Art der Darstellung) müssen die meisten Probanden dagegen wohl noch überzeugt werden, woran verstärkt nicht nur in Bezug auf das Wörterbuch elexiko gearbeitet werden sollte. Zugleich soll die sehr gute inhaltliche, wissenschaftliche Qualität der Wörterbuchartikel in elexiko beibehalten werden, eine Straffung des Angabereichtums scheint nicht angeraten zu sein. Es sind aber auch Fragen offen geblieben. So haben die Überlegungen und Fragestellungen zum Umgang mit automatisch generierten Angaben gegenüber lexikografisch erarbeiteten Angaben zu keinem klaren Ergebnis geführt. Daneben gibt es eine lange Reihe von Fragen, die in den beschriebenen Onlinestudien entweder aus Zeitgründen oder aus Gründen des Studiendesigns gar nicht berücksichtigt werden konnten, z. B. die Frage danach, ob die in elexiko gewählte Identifizierung einzelner Lesarten mithilfe von sogenannten „Kurzetikettierungen“ (z. B. im Wortartikel Zauber die Lesartenetikettierungen ‚Magie’, ‚Faszination’ und ‚Chaos’) nachvollziehbar ist oder eine Durchnummerierung der Lesarten wie im traditionellen Wörterbuch (Zauber 1., 2., 3.) besser bewertet würde.56 Generell muss darüber nachgedacht werden, ob für die untersuchten wie weitere noch nicht näher betrachtete Fragestellungen das Mittel der Onlinebefragung immer das richtige war und welche Alternativen es dazu gäbe (z. B. bei der Frage nach dem Umgang mit automatisch generierten Angaben). Zukünftig ist deshalb zu versuchen, auch mithilfe von Laborstudien (etwa dem Eye-Tracking-Verfahren) Antworten auf z. B. die Frage zu finden, ob bei der Wörterbuchbenutzung im Angabebereich Typische Verwendungen die Gruppenüberschriften wahrgenommen und genutzt werden, um in der Gesamtmenge der angegebenen Verwendungsmuster zu

|| 55 Zu elexiko als Bedeutungswörterbuch vgl. auch Klosa (2011a). 56 Weitere (noch unbeantwortete) Forschungsfragen finden sich im Anhang.

Benutzerwünsche und -meinungen zu elexiko | 377

navigieren. Ob den vielen Hyperlinks in den elexiko-Wortartikeln, die zu anderen Wörtern im Wörterbuch oder auch aus dem Wörterbuch herausführen, tatsächlich bei der Benutzung gefolgt wird, wäre ebenfalls wünschenswert zu erfahren, es ist aber derzeit noch offen, mit welchem Untersuchungsverfahren sich dies überprüfen ließe. Besonders interessant wäre auch, einige Fragen aus den vorgestellten Studien zu wiederholen, z. B. die in den Frageblöcken 1 und 2 enthaltenen Bewertungen der Arten von Stichwörtern, den Angabebereichen und den lexikografischen Angaben. Diesmal könnte die Befragung aber gebunden an bestimmte Funktionen, die das Wörterbuch in bestimmten Benutzungssituationen übernehmen kann, erfolgen. Ein Vergleich der Ergebnisse wäre sicherlich aufschlussreich und würde ein weiteres Nachdenken über die Profilierung und Verbesserung von elexiko befördern.

Literatur Algemeen Nederlands Woordenboek – ANW. (2013). Abgerufen 11. Dezember 2013, von http://anw.inl.nl/search. Bank, C. (2010). Die Usability von Online-Wörterbüchern und elektronischen Sprachportalen. Unveröffentlichte Magisterarbeit, Universität Hildesheim. Bergenholtz, H., Nielsen, S., & Tarp, S. (Hrsg.). Lexicography at a Crossroads. Dictionaries and Encyclopedias Today, Lexicographical Tools Tomorrow. Frankfurt/M.: Peter Lang, 2009. (Linguistic Insights. Studies in Language and Communication 90). Bless, H., Fiedler, K., & Strack, F. (2004). Social Cognition: How Individuals Construct Social Reality. Philadelphia: Psychology Press. Bless, H., Wänke, M., Bohner, G., Fellhauer, R. F., & Schwarz, N. (1991). Need for Cognition: Eine Skala zur Erfassung von Engagement und Freude bei Denkaufgaben. In: Zeitschrift für Sozialpsychologie, 25 (2), S. 147–154. Cacioppo, J. T., & Petty, R. E. (1982). The Need for Cognition. In: Journal of Personality and Social Psychology, 42 (1), S. 116–131. Commerzbank. Abgerufen 11. Dezember 2013, von http://www.commerzbank.de. DeReKo – Deutsches Referenzkorpus des Instituts für Deutsche Sprache Mannheim. Abgerufen 11. Dezember 2013, von http://www.ids-mannheim.de/kl/projekte/korpora/. Diekmann, A. (2002). Empirische Sozialforschung: Grundlagen, Methoden, Anwendungen. 8. Ausgabe. Reinbek: Rowohlt Taschenbuch Verlag. Digitales Wörterbuch der deutschen Sprache – DWDS. Abgerufen 11. Dezember 2013, von http://www.dwds.de. Duden | Duden online. (2013). Abgerufen 11. Dezember 2013, von http://www.duden.de/ woerterbuch. elexiko (2003ff.). In Institut für Deutsche Sprache, Mannheim (Hrsg.), OWID – Online WortschatzInformationssystem Deutsch. Abgerufen 11. Dezember 2013, von http://www.owid.de/wb/elexiko/start.html. Engelberg, S., & Lemnitzer, L. (2009). Lexikografie und Wörterbuchbenutzung. 4., überarbeitete und erweiterte Auflage. Tübingen: Stauffenburg (= Stauffenburg Einführungen, Bd. 14).

378 | Annette Klosa, Alexander Koplenig, Antje Töpel

Feste Wortverbindungen (2007ff.). In Institut für Deutsche Sprache, Mannheim (Hrsg.), OWID – Online Wortschatz-Informationssystem Deutsch. Abgerufen 11. Dezember 2013, von http://www.owid.de/wb/elexiko/start.html. Haß, U. (2005a). Das Bedeutungsspektrum. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 163–181. Berlin/New York: de Gruyter, 2005. (Schriften des Instituts für Deutsche Sprache 12) Haß, U. (2005b). Besonderheiten des Gebrauchs. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 265– 276. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache 12) Haß, U. (2005c). Semantische Umgebung und Mitspieler. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 227–234. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache 12 Haß, U. (2005d). Nutzungsbedingungen in der Hypertextlexikografie. Über eine empirische Untersuchung. In: Steffens, D. (Hrsg.): Wortschatzeinheiten. Aspekte ihrer (Be)schreibung. Dieter Herberg zum 65. Geburtstag. S. 29–41. Mannheim: Institut für Deutsche Sprache (amades – Arbeitspapiere und Materialien zur deutschen Sprache 1/05). Haß, U. (Hrsg.) (2005). Grundfragen der elektronischen Lexikografie. elexiko – das OnlineInformationssystem zum deutschen Wortschatz. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache) Jann, B. (2002). Einführung in die Statistik. München/Wien: Oldenbourg. Klosa, A. (2005a). Belege in elexiko. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 96–104. Berlin/New York: de Gruyter, 2005. (Schriften des Instituts für Deutsche Sprache 12) Klosa, A. (2005b). Grammatik. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 277–298. Berlin/New York: de Gruyter, 2005. (Schriften des Instituts für Deutsche Sprache 12) Klosa, A. (2005c). Orthografie und morphologische Varianten. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 133–140. Berlin/New York: de Gruyter, 2005. (Schriften des Instituts für Deutsche Sprache 12) Klosa, A. (2005d). Sprachkritik und Sprachreflexion. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 299-314. Berlin/New York: de Gruyter, 2005. (Schriften des Instituts für Deutsche Sprache 12) Klosa, A. (2005e). Wortbildung. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 141–162. Berlin/New York: de Gruyter, 2005. (Schriften des Instituts für Deutsche Sprache 12) Klosa, A. (2010): On the combination of automated information and lexicografically interpreted information in two German online dictionaries. In: Granger, S. / Paquot, M. (Hrsg.): eLexicography in the 21st Century: New Challenges, New Applications. Proceedings for eLex 2009, Louvain-la-Neuve, 22–24 October 2009. S. 157–163. Louvain: UCL Presses Universitaires. Klosa, A. (2011a). elexiko – ein Bedeutungswörterbuch zwischen Tradition und Fortschritt. In: Sprachwissenschaft 36.2/3. S. 275–306. Heidelberg: Winter. (Sprachwissenschaft 36.2/3) Klosa, A. (Hrsg.) (2011b). elexiko. Erfahrungsberichte aus der lexikografischen Praxis eines Internetwörterbuchs. Tübingen: Narr. (Studien zur deutschen Sprache 55). Klosa, A. (2013). Wortbildung in elexiko: Gegenwart und Zukunft. In: Klosa, Annette (Hrsg.): Wortbildung im elektronischen Wörterbuch. S. 175–196. Tübingen: Narr.

Benutzerwünsche und -meinungen zu elexiko | 379

Klosa, A., Koplenig, A., &Töpel, A. (2011). Benutzerwünsche und Meinungen zu dem monolingualen Onlinewörterbuch elexiko. Mannheim: Institut für Deutsche Sprache. (OPAL – Online publizierte Arbeiten zur Linguistik 3). Klosa, A., Koplenig, A., & Töpel, A. (2012). Zur Funktion und Rezeption von Belegen – Ergebnisse einer Benutzungsstudie zum Onlinewörterbuch elexiko. In: Sprachwissenschaft 37.1. S. 93– 123. Heidelberg: Winter. (Sprachwissenschaft 37.1) Klosa, A., & Schoolaert, S. (2011). Die lexikografische Behandlung von Eigennamen in elexiko. In: Klosa, A. (Hrsg.): elexiko. Erfahrungsberichte aus der lexikografischen Praxis eines Internetwörterbuchs, S. 193–211. Tübingen: Narr. (Studien zur deutschen Sprache 55). Mann, M. (2010). Internet-Wörterbücher am Ende der „Nullerjahre“: Der Stand der Dinge. Eine vergleichende Untersuchung beliebter Angebote hinsichtlich formaler Kriterien unter besonderer Berücksichtigung der Fachlexikografie. In: Lexicographica. Internationales Jahrbuch für Lexikographie 26, S. 19–45. Meyer, P., & Müller-Spitzer, C. (2013). Überlegungen zur Visualisierung von Wortbildung im elektronischen Wörterbuch. In: Klosa, A. (Hrsg.): Wortbildung im elektronischen Wörterbuch, S. 255– 279. Tübingen: Narr. Morphisto. Abgerufen 11. Dezember 2013, von http://www.idsmannheim.de/lexik/home/lexikprojekte/lexiktextgrid/morphisto.html. Müller-Spitzer, C. (2005). Die Modellierung lexikografischer Daten und ihre Rolle im lexikografischen Prozess. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 20–54. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache 12) Müller-Spitzer, C. (2007). Der lexikografische Prozess. Konzeption für die Modellierung der Datenbasis. Tübingen: Narr. (Studien zur deutschen Sprache 42) Müller-Spitzer, C. (2011). Der Einsatz einer maßgeschneiderten, feingranularen XML-Modellierung im lexikografischen Prozess. In: Klosa, A. (Hrsg.): elexiko. Erfahrungsberichte aus der lexikographischen Praxis eines Internetwörterbuchs. S. 173–191. Tübingen: Narr. (Studien zur deutschen Sprache 55) Neologismenwörterbuch (2005ff.). In Institut für Deutsche Sprache, Mannheim (Hrsg.), OWID – Online Wortschatz-Informationssystem Deutsch. Abgerufen 11. Dezember 2013, von http://www.owid.de/wb/elexiko/start.html. Ordnet.dk. Dans sprog i ordbøger og korpus. Abgerufen 11. Dezember 2013, von http://ordnet.dk. OWID – Online Wortschatz-Informationssystem Deutsch, hg. v. Institut für Deutsche Sprache, Mannheim. Abgerufen 11. Dezember 2013, von http://www..owid.de. Pons.eu. Das Sprachenportal. Abgerufen 11. Dezember 2013, von http://www.pons.de. Projektteam von elexiko. Abgerufen 11. Dezember 2013, von http://www.idsmannheim.de/lexik/elexiko/projektteam/. Qualifikationsarbeiten in elexiko. Abgerufen 11. Dezember 2013, von http://www.idsmannheim.de/lexik/elexiko/qualifikation.html. Schnörch, U. (2005a). Der Autoren-Arbeitsplatz: Ein elexiko-Wortartikel entsteht. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 105–130. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache 12) Schnörch, U. (2005b). Die elexiko-Stichwortliste. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 71–90. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache 12) Schnörch, U. (2011). „Themengebundene Verwendung(en)“ als neuer Angabetyp unter der Rubrik „Besonderheiten des Gebrauchs“. In: Klosa, A. (Hrsg.): elexiko. Erfahrungsberichte aus der le-

380 | Annette Klosa, Alexander Koplenig, Antje Töpel

xikografischen Praxis eines Internetwörterbuchs. S. 131–144. Tübingen: Narr. (Studien zur deutschen Sprache 55) Sprichwörterbuch (2012ff). In Institut für Deutsche Sprache, Mannheim (Hrsg.), OWID – Online Wortschatz-Informationssystem Deutsch. Abgerufen 11. Dezember 2013, von http://www.owid.de/wb/elexiko/start.html. Storjohann, P. (2005a). Das elexiko-Korpus: Aufbau und Zusammensetzung. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 55–70. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache 12) Storjohann, P. (2005b). Diachrone Angaben. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 315–322. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache 12) Storjohann, P. (2005c). In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 249–264. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache 12) Storjohann, P. (2005d). Semantische Paraphrasen und Kurzetikettierungen. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko – das Online-Informationssystem zum deutschen Wortschatz. S. 182–203. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache 12) Storjohann, P. (2005e). Typische Verwendungen. In Haß, U. (Hrsg.): Grundfragen der elektronischen Lexikografie. elexiko - das Online-Informationssystem zum deutschen Wortschatz. S. 235–248. Berlin/New York: de Gruyter. (Schriften des Instituts für Deutsche Sprache 12) Töpel, A. (2013). Die Wortbildungsangaben im Online-Wörterbuch und wie Nutzer sie beurteilen – eine Umfrage zu elexiko. In: Klosa, A. (Hrsg.): Wortbildung im elektronischen Wörterbuch. S. 197–214. Tübingen: Narr. Vernetzungen. Abgerufen 11. Dezember 2013, von http://www.idsmannheim.de/lexik/BZVelexiko/vernetzung/. Wiegand, H. E. (1989). Die lexikografische Definition im allgemeinen einsprachigen Wörterbuch. In F. J. Hausmann, O. Reichmann, H. E. Wiegand, & L. Zgusta. Wörterbücher – Dictionaries – Dictionnaires. Ein internationales Handbuch zur Lexikografie. Erster Teilbd. Berlin, New York, S. 530–588 (= Handbücher zur Sprach- und Kommunikationswissenschaft; Bd. 5.1). Wortbildungsprodukte für elexiko. Abgerufen 11. Dezember 2013, von http://www.idsmannheim.de/lexik/BZVelexiko/wortbildungsprodukte/. Wörterbuchnetz. Abgerufen 11. Dezember 2013, von http://www.woerterbuchnetz.de.

Benutzerwünsche und -meinungen zu elexiko | 381

Anhang: Sammlung von Forschungsfragen zu elexiko Im Folgenden werden alle Fragen, die zu elexiko gesammelt wurden, nach allgemeinen Fragen oder auf einzelne Angabebereiche bezogene Fragen, aufgelistet. Die Reihenfolge der Angabebereiche orientiert sich in etwa an der Anordnung in den elexiko-Wortartikeln. Allgemeines – Wie häufig werden welche Angabebereiche nachgeschlagen? – Welche Stichwörter werden nachgeschlagen? – Wie zufrieden sind die Benutzer(innen) mit den lexikografischen Angaben? – Wie tief klicken sich Benutzer(innen) in die Wortartikel? – Wie bewerten Benutzer(innen) unterschiedliche Ansichten eines Wortartikels? – Sollten die lexikografischen Angaben in kondensierterer Form und ohne Überschriften erscheinen? – Wie kommen die Benutzer(innen) mit der Sprache der Benutzeroberfläche zurecht? – Ist die Erklärung der in den Wortartikeln verwendeten Fachtermini im Glossar ausreichend? – Kann/muss die Verbindung zwischen Wortartikeln und den Umtexten, speziell dem Glossar, verbessert werden? – Nehmen Benutzer(innen) einen Unterschied zwischen automatisch ermittelten und redaktionell erarbeiteten Angaben wahr? – Sollen alle Belege innerhalb eines Wortartikels auch als Belegblock angeboten werden? – Sind namenkundliche Informationen gewünscht? – Wie sollen Aussprachengaben realisiert werden (mit IPA-Umschrift, mit Tondateien, als Einzelwortaussprache, mit Aussprache im Kontext, standardsprachlich orientierte Aussprache oder auch regionale Varianten)? Bedeutungserläuterung und Bedeutungsspektrum – Werden die Belege zur Bedeutungserläuterung geöffnet und gelesen? – Sollten diese Belege standardmäßig geöffnet sein? Könnte auch nur der erste Beleg geöffnet erscheinen, die anderen aufklickbar? – Fällt den Benutzer(inne)n im Vergleich verschiedener Paraphrasen auf, dass diese bestimmten Formulierungsvorgaben je nach Prädikatorenklassenzugehörigkeit des Stichwortes folgen? – Wie bewerten Benutzer(innen) die Formulierung der Paraphrase in einem vollständigen Satz?

382 | Annette Klosa, Alexander Koplenig, Antje Töpel –

– – – –

– –

– – –

Ist die wechselseitige Bezugnahme zwischen der Bedeutungserläuterung und dem Angabebereich Besonderheiten des Gebrauchs für die Benutzer(innen) nachvollziehbar? Sollten diese beiden Angabebereiche nebeneinander angezeigt werden? Sollten die Angaben im Bereich Besonderheiten des Gebrauchs in den Angabebereich Bedeutungserläuterung integriert werden? Sollte zwischen Bedeutungserläuterung und dem Angabebereich Besonderheiten des Gebrauchs explizit hin und her verwiesen werden? Halten die Benutzer(innen) die Identifizierung der einzelnen Lesarten mithilfe von „Etikettierungen“ für sinnvoll, oder würden sie die Durchnummerierung von Lesarten wie in traditionellen Wörterbüchern bevorzugen? Semantische Umgebung und lexikalische Mitspieler Welche alternativen Darstellungsmöglichkeiten gibt es für diesen Angabebereich (z. B. in einem Netz, in einer Wortwolke, in horizontaler Auflistung, alle Frage- Antworten-Sets geöffnet)? In welchen Benutzungssituationen ist welche Darstellungsmöglichkeit zu bevorzugen? Sollen die einzelnen Mitspieler als Hyperlink zum entsprechenden Stichwort angelegt werden? Wie könnte eine verständlichere Überschrift für den Angabebereich lauten (z. B. Kollokationen, Zwei-Wort-Verbindungen, Mitspieler im weiteren Kontext)?

Sinnverwandte Wörter – Welche Teilbereiche der Paradigmatik sind für welchen Benutzertyp von besonderem Interesse? – Werden die Textbelege geöffnet? – Welche Benutzer(innen) öffnen die Belege? – Werden die Belege tatsächlich gelesen? – Ist die Praxis, jeden paradigmatischen Partner zu belegen, sinnvoll? – Ist die alphabetische Anordnung der Partner eines Typs (z. B. aller Synonyme) sinnvoll? – Sind die Gruppierungen, die z. B. bei den inkompatiblen Partnerwörtern vorgenommen werden, verständlich und kann ihr Sinn von Benutzer(inne)n nachvollzogen werden? – Folgen Benutzer(innen) dem kleinen Verweispfeil auf das gleiche Partnerwort in einer anderen Sinnrelation? Oder verwirrt der Pfeil eher? – Folgen Benutzer(innen) dem Hyperlink zum Wortartikel des Partnerwortes? In welcher Nutzungssituation geschieht das? Typische Verwendungen – Ist die Überschrift für den Angabebereich (vor allem auch in Abgrenzung zur semantischen Umgebung und den lexikalischen Mitspielern) verständlich?

Benutzerwünsche und -meinungen zu elexiko | 383

– –

– – – – – – – – – – – – – – –

Sind die Überschriften für die einzelnen Gruppen verständlich? Lesen Benutzer(innen) alle typischen Verwendungen zu einem Stichwort? Benutzen sie dabei die Gruppenüberschriften, um in der Gesamtliste zu navigieren? In welchen Benutzungssituationen öffnen Benutzer(innen) diesen Angabebereich? Sollten die typischen Verwendungen für bestimmte Benutzergruppen in bestimmten Nutzungssituationen um semantische Kommentare erweitert werden? Sind die in Klammer enthaltenen Kategorien wie „Person“, „Zahl“, „Prozess“ auch ohne Nennung von Beispielen verständlich? Sollen alle Gruppen sofort geöffnet, zunächst geschlossen oder zunächst nur zum Teil geöffnet erscheinen? Sollten die einzelnen Bestandteile einer typischen Verwendung als Hyperlinks zum jeweiligen Stichworteintrag realisiert werden? Besonderheiten des Gebrauchs Wie bewerten Benutzer(innen) diesen Angabebereich? Wie häufig wird der Bereich Besonderheiten des Gebrauchs geöffnet? Wann? Warum? Wer schlägt dort nach? Werden die Belege in diesem Angabebereich geöffnet und gelesen? Sollten die Belege in diesem Angabebereich standardmäßig geöffnet sein? Werden Informationen in diesem Angabebereich vermisst? Wird die gesuchte Information in diesem Angabebereich gefunden? Sind die gewählten Überschriften in diesem Angabebereich verständlich? Sollen erweiterte Suchen für diesen Angabebereich vorgesehen werden (z. B. alle Stichwörter eines Diskursfeldes)?

Grammatik – Sollen die grammatischen Angaben besser auf der Artikeleingangsseite angezeigt werden, wenn sie für alle Lesarten gleich sind, statt sie in den einzelnen Lesarten unter einer Registerkarte anzuordnen? Wie könnte dies realisiert werden? – Ist die Idee, auch regelmäßige Flexionsformen zu zeigen (z. B. regelmäßige Steigerungsformen bei den Adjektiven), sinnvoll? Wird damit nicht zu viel an Information angeboten? – Wäre es sinnvoll, generell vollständige Flexionsparadigmen anzuzeigen? Falls ja, wo könnten dieses positioniert werden? – Werden die Belege in der Grammatik gebraucht und gelesen? Sollte man generell auf Belege in der Grammatik verzichten oder alles belegen? – Wie könnten im Korpus nicht belegte Flexionsformen präsentiert werden?

384 | Annette Klosa, Alexander Koplenig, Antje Töpel –

– –

Sollten die Verwendungshäufigkeitsangaben bei schwankenden Formen (z. B. „manchmal“ – „häufig“) besser erklärt und mit absoluten Zahlenangaben untermauert werden? Sollte stärker zur zugrundeliegenden Wörterbuchgrammatik verlinkt werden? Werden weitere, komplexe Suchabfragen zur Grammatik gewünscht?

Wortbildung – Braucht man, und wenn ja, zu welchem Zweck, Wortbildungsangaben im Wörterbuch? – Welche Wortbildungsangaben soll das Wörterbuch enthalten (Wortbildungselemente als Teil der Stichwortliste, Nennung von Wortbildungsprodukten zu einem Stichwort, Analyse der gebildeten Stichwörter)? – Welche Benutzergruppen schlagen solche Informationen in welchen Benutzungssituationen tatsächlich nach? – Wie können Wortbildungsprodukte präsentiert werden (in alphabetisch oder in frequenzorientiert sortierten Listen)? – Können Benutzer(innen) erkennen, welche Wortbildungsangaben automatisch generiert wurden? Wie beurteilen sie diese?

Index (English chapters) access 127–128, 145, 163, 174, 178–179, 210–211, 213, 223, 224 accessibility 146–147, 151, 153–154, 163– 165, 168 adaptability 61, 145, 147–148, 151, 169, 170–174, 178, 180, 192, 199, 200–201, 203 audio 145, 147, 164, 169, 174, 180 big-screen device see device bilingual 19, 22–23, 26–27, 29–35, 37, 41– 43, 46, 129–130, 193 CD-ROM 14, 16, 21, 25, 28, 32, 34 channels of distribution 79, 82 clarity 147–148, 151, 153, 165–166, 168– 170, 190–191, 199 collaborative dictionaries 145, 153–154, 157, 182, 234 content analysis 69 contexts of dictionary use 16, 70, 81 corpus 144, 146–147, 150–151, 153–154, 156, 158, 168, 230, 232–233, 236, 238, 240–241, 243, 245–247 cross-reference 144, 210 cross-sectional design see design customization see adaptability customized user interface see adaptability data analysis 70 data collection methods 5, 18 data modelling 143 design – cross-sectional design 59 – experimental design 61 – ex-post-facto design 61, 63–64, 72 – panel design 59–60 – quasi-experimental design 61, 63–64 – trend design 59 device 14, 79, 81, 127–129, 131, 154–155, 163, 169, 183 – big-screen device 138, 140 – small-screen device 139, 183 dictionary portal 16, 69, 208, 210, 213, 215 dictionary typology 14–16, 128–130, 140 differentia specifica 254 digital native 140, 183 experiment 55, 146, 170–173, 180, 184, 201

experimental design see design ex-post-facto design see design eye-mind assumption 209 eye-tracking 36, 40–42, 69, 190, 207, 209– 210, 212–213, 225, 227 filter 80 frequency 230–233, 236–237, 239–240, 243, 248 function theory of lexicography 1, 17, 202 general theory of lexicography 1, 15 genus proximum 254 headword list 219, 220, 230, 246 illustration 174, 176, 181 innovation 3, 186 innovative features 3, 146, 169, 179–181, 183–184, 201 interface see screen layout interview 40, 43–44, 65–66 keyword list 211 language production 19, 34, 38, 42, 45 language reception 19, 25, 34, 36, 38, 42, 45 layout 210, 211, 220, 227 log file 23–25, 27–31, 33–34, 36, 39, 44, 46, 57, 59, 64, 68–69, 71, 160, 231, 233, 235, 237, 240–242 lookup probability 247 methods of data collection 55, 65, 208, 227 microstructure 190–191 mobile phone 135–136, 155, 163 monolingual 14, 19, 23, 29, 31–32, 34–35, 38, 41–42, 44–46, 48, 129–130, 190, 193, 201, 210, 233, 237, 282, 286, 298 multilingual 14, 19, 26, 41, 46, 178, 233 multimedia 61, 164, 169–173, 176–177, 179– 180, 201 neologism 168 notebook/netbook 135–136, 139 observational methods 68 operationalization 57–58 order effect 80 panel design see design payment models 127–128, 133–134, 140 PC 135–136, 139 PDA 135–136

386 | Index (English chapters)

PED 14–16, 21, 34, 37, 40, 43, 47, 128–129, 139, 169 portal see dictionary portal premium content 127–128, 135, 140 printed dictionary 13–14, 16, 19, 22–26, 28– 29, 34–35, 37–38, 42, 46, 81, 128–129, 131–132, 140, 143–144, 183, 185, 190, 231 quasi-experimental design see design questionnaire 21, 28, 32, 34–35, 37–38, 40, 43–46, 59, 66–67, 128, 133, 147, 149, 171, 173–176, 180, 191, 200, 207, 232 raw data 70 reliability of content 82, 146–148, 150–151, 153, 156, 162, 168 research design 55, 169 research question 56, 146, 208, 227, 231 screen layout 67, 82, 168–169, 190–192, 195, 197, 211 screen size 135 search engine 164 search function 155, 165, 168, 176, 211 sense navigation 221 small-screen device see device smartphone 128, 135–136, 139, 183 social desirability 65, 201 speed of access 147, 151, 168 survey see questionnaire tablet 128, 139 test 22–23, 26, 28–29, 34, 37–38, 42, 44– 45, 65

text production see language production text reception see language reception think-aloud 36, 43 translation 14, 19, 22, 24, 30, 34, 36, 40, 42, 131 trend design see design types of dictionaries see dictionary typology up-to-date content 147–148, 151, 153, 170 usability 144, 184, 203 usability study 38, 191 usage experience 57 user demands 79, 148, 155, 165 user group 57, 64, 83, 135, 137, 146, 151, 181, 191, 194, 233, 247 user interface see screen layout user needs 4, 16, 60, 71, 140, 180 user profile 40, 45 user skills 16, 28, 33, 43 user-adaptive customization see adaptability user-adaptive interface see adaptability user-generated content see collaborative dictionaries visual representations see screen layout vocabulary learning 19, 29, 37–38, 42, 46 vocabulary retention 23–24, 29, 36, 38, 46, 129, 181 web design 208, 210, 212, 215, 225 Wiki 145, 153, 157, 230, 233, 235, 237 Zipfian pattern 237, 239, 241

Index (German chapters) Angabe 282–285, 289 – automatisch generiert 283, 365–369, 370, 372–376, 384 – lexikografisch erarbeitet 283, 366, 373 Aussprache 292, 294, 298, 301, 311, 313– 315, 363, 381 Bedeutungserläuterung 251–252, 254, 255– 257, 259, 261–262, 265, 268–271, 273– 275, 294–295, 298, 302, 311, 314, 320– 321, 328, 333–335, 349, 350–351, 359– 361, 364, 367, 381–382 – verbale 262, 268, 273, 275 – visuelle 262, 265, 268, 275 Belege 283, 285, 289–290, 292, 294, 302– 303, 306, 310, 313, 344, 348–349, 351– 366, 370, 372, 375, 381–383 – Hörbelege 301 Benutzerfreundlichkeit 266 Benutzergruppe 257–259, 261 Benutzungsziel 253 Besonderheiten des Gebrauchs 294, 303, 311, 314, 324, 332–334, 349 Bild 252–257, 259, 262–264, 267–268, 270– 271, 273, 275–276 Bildbetrachtung 252, 254, 259–265, 275 Bildrezeption 252–253, 256, 261, 263, 268, 274 Bildwahrnehmung 254 Blickbewegungsstudie 265–267, 269–271, 273, 275 Datenerhebungsmethode 265–266, 271 Eyecatcher 273 Eyetrackingstudie siehe Blickbewegungsstudie Fragebogen 258, 263, 274 Funktionslehre 289 grafische Darstellung 309, 314–315 Grammatik 294, 299, 304, 311–312, 316, 318, 327, 333–335, 364, 369, 383–384 Illustration 251–253, 256–257, 259, 262– 263, 265, 268–271, 273–276 Korpus 282, 306, 310, 313–315, 335, 337, 349, 362, 364, 366, 375–376, 383

lexikalische Mitspieler 305, 321, 329, 335, 382 Logfile 276 Makrostruktur 289, 307 Mikrostruktur 289, 312–313, 375 Multimedia 284, 300, 310, 313 Nutzererwartung 291, 314, 333 Nutzergruppe 289, 295, 317, 383–384 Nutzerwünsche 345 Nutzungsbedürfnis 284 Nutzungssituation 283, 289, 295, 298, 302, 315, 350, 365, 375–377, 382–384 Orthografie 282–283, 292, 294, 304, 311, 335 Paraphrase siehe Bedeutungserläuterung Priming 373 Rezeptionsgewohnheiten 283 Rezeptionsverhalten 257, 261–262, 275– 276 semiotisch 253, 255 sinnverwandte Wörter 291, 294, 300, 306, 311, 314, 318–319, 323, 326–327, 331, 333–335, 351, 356, 367–368, 371, 382 Sortierung 339–341 – alphabetisch 337–339, 344 – frequenzorientiert 335, 337–339, 344 Stichwortarten 300, 302, 307–308, 375 Suchfunktion 305, 345–348, 375 Text 252, 254, 256, 259, 262–264, 271, 273– 276 Text-Bild-Kombination 252, 255–257 Textlesen 260–261, 273 Textrezeption 256, 261, 268, 364 typische Verwendungen 298, 308, 314, 334, 337, 345, 349, 383 Verlinkung 284, 299–300, 308–309, 312, 313 Wortbildung 291, 293–294, 300, 306–309, 311, 314–315, 335, 337–339, 344–347 Zeichenmodalität 252–254, 268, 271, 274– 275