Linguística de Corpus [1 ed.] 9788520416764

Citation preview

Cl Lingüística

T ONY

8ERBER

de Corpus

SARDINHA

Manole

Copyright © 2004 Editora Manole Ltda., por meio de contrato com o autor. Editoração eletr6nica: Luargraf Serviços Gráficos Ltda.-M E Projeto gráfico: Acqua Estúdio Gráfico Capa: Eduardo Bertolini

C IP-BRASil.. CATALO GAÇÃO - NA-PONTE SINDICATO NACIONAL DOS EDITORES DE LIVROS , RI

s249 L Sardinha, Tony Berber Lingüística de Co rpus Tony Berber Sardinha. - Barueri, SP: Mano le, 2004 Anexos Inclui bibliografia ISBN 85-204-1676-4 I. Lingüística - Processa mento de dados. 2. Lingüística - Metodologia. 3. Anúli se lingüística. 4. Linguagem c lín guas - Ens ino auxi li ado por co mputador. 5. Linguagem e línguas - Estudo e ensino. I. Título.

coo 4 10.285 cou

04-0626.

Todos os direitos reservados. Nenhuma parte deste livro pocler;í sn reproduz id a, por qualquer processo, sem a permissão expressa dos editores. É proibida a reprodução xerox.

I""

Direitos adquir id os pela: Editora Manole Ltda. Avenida Ceci, 672- Tamhore 06460- 120- Barueri - SP - Brasil Tel.: (0_ 11 ) 4196-6000 - fax: (O_ I I) 4 196 -fi021 www.manole.com.br [email protected] Impresso no Brasil Printcd in Brazil

Para Julia

AGRADECIMENTOS

À minha esposa, Marilisa, o maior de todos os agradecimentos.

A meus pais, Antonio e Leonor, por tudo, até hoje. A meus sogros, Jorge e Cecília, pela dedicação e pelo carinho. Agradeço a acolhida e o constante incentivo de todos os pesquisadores do projeto Direct e dos professores do LAEL, em especial Profa. Ora. Leila Barbara e Profa. Ora. Antonieta Celani. Agradeço a todos que colaboraram com o Banco de Português do projeto Direct, em especial a Folha de S. Paulo, na pessoa do Sr. Carlos Kauffmann. Agradeço o constante apoio de todos da Editora Manole e em especia l a presteza e gentileza de Oaniela. Agradeço a todos os professores, alunos e funcionários do LAEL, da rue/ SI>, a amizade e o ambiente propício ao crescimento, ao debate e à

pesqutsa. Agradeço aos detentores dos direitos autorais das versões prévias dos seguintes capítulos, a cessão do direito de uso dos trabalhos: Capítulo 1: retrospectiva "Lingüística de corpus: histórico e problemática", revista D elta, número 16, 2000, páginas 323-67. Capí-

VIII I

LINGÜ[STICA DE CORPUS

tulo 5: artigo "Compilação e anotação de um corpus de português de linguagem profissional", revista The ESPecialist, número 21, 2000, pági nas lll-47. Capítulo 8: comunicação "Os padrões de 'só': um estudo baseado em corpus", publicado nos anais do V PROPO I{ - Encontro para o Processamento Computacional da Língua Portuguesa Falada e Escri TONY

ta, Atibaia, SP, 2000, páginas 105-14. Capítulo 9: comunicação "Prosó-

BERBER

SARDINHA

dia semântica na tradução do português e inglês: um estudo baseado em corpus", publicado no mesmo volume dos anais, nas páginas 93104. Capítulo 11: retrospectiva "Análise multidim ensional ", rev ista

''

Delta, número 16, 2000, páginas 99-127.

Professor Associado do Departamento de Lingüística e do Programa de Estudos Pós-Graduados em Lingüística Aplicada e Estudos da Linguagem da Pontifícia Universidade Ca tólica de São Paulo (rucísP), bacharel e licenciado em Língua e Literatura Inglesas pela PUC/SP, mestre em Lingüística Aplicada (rue/sr), Ph.D. pelo Departamento de Inglês da Universidade de Liverpool (Inglaterra). Pesquisador do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Atua na área de Lingüística de Corpus há mais de dez anos.

Sumário

f.Jrejiício ........................... ........................ .. .......................... XV II L.

'I

Visão geral da Lingüística de Corpus ........................ 1.1. A Lingüistica de Corp us e seu histórico .. ........... 1.2. Corpora de língua inglesa .................................... l.3 . Corpora de língua portuguesa ............................ l .4. Corpora de outras línguas ................................... 1.5. Marcos da Lingüistica de Corpus ....... ................. 1.6. Definição de corpus .................. .... ........ .. ............. l. 7. Tipologia de corpus ..... ..... ...... ......... .... ........... .. .. . 1.8. Representatividade de corpus .............................. 1.9. Extensão de corpus .............................................. 1.10. Especificidade do corpus ........... ................. .. ..... l.ll . Adequação do corpus ......................................... 1.12. Teorias de linguagem e Lingüística de Corpus... 1.13. Estatuto da Lingüistica de Corpus .................... 1.14. Tipos de pesquisa privilegiados......................... 1.15. Padrões de linguagem ............. .......... ................. 1.16. Comentários finais .............................................

1 3 7 9 12 12 16 20 22

25 27 28 30 35 38 39 42

XII

I

LINGÜÍSTICA

DE

CORPUS SUMÁRIO

2. Coleta, armazenamento e pré-processamento de corpora ... . 2.1. Coleta em massa de textos na Internet ......... .. ........... ...... . . 2.2. Limpeza de textos ..... .. .... .. ...... ... ....... .... ... ... ...... ... ......... ..... . 2.2.1 . Per! .... .... ... ... .. ... ..... ....... .... ... ..... .. ..... ...... .... .. .... .... .... . 2.2.2. Cygwin ................................. .......... .. .... ... ... ... ......... .. 2.2.3. Limpeza de textos em HTML ...... ... .. . ....... .. .. . ..... .. .... . 2.2.4. Limpeza de códigos SGML ... ... ....... .... ........... ... . ...... . 2.2. 5. Expressões regulares .................. ...... .... ....... ...... ..... .. 2.2.6. Busca e substituição em massa .... ..... ... ... .... ...... ..... . 2.2.7. O WordSmith Tools Text Co nverter ............. ....... .. 2.3. Organização do co rpus ........ ............ .. .... .................. .. .. ... ... 2.4. Criação de ca beçalhos ............................ ... ..... ..... .. ....... ... ... 2.4.1. Seleção de textos a partir dos cabeçalhos ............. . 2.5. Co mentários finai s

··········································· ··················

45 45 Sl

53 54 54 60 65 68 70 72 73 79 82

4. Etiquetagem morfossintática (POS tagging) ........................... . 4. J. Programas etiquetadores .. .................................. .. .... .... .... . . 4.1.1. O etiquetador Brill para DOS ..... ... ....... . .. . . . .•.....•. . ... 4.1.2. O etiquetador Brill para Windows (WinBrill) ..... . 4.1.3. O etiquetador Tosca .. ... .. .. ..... ....... .... .......... ............ . 4.1.4. O etiquetador QTAG ... ... .. . ... ........ ... ......... .... ........... .. 4.2. ltemização ( tokenization) .................... ... .. ....... .................. . 4.2.1. O Text Co nverter do WordSmith Tools ... ..... .. .... .. . 4.2.2. ltemizador Perl ........... ......... ....... ..... .. ..................... . 4.2.3. ltemizador Java ..................................... ...... ............. 4.3. Etiquetagem por e-mail ..................................... ................ 4.4. Etiquetagem via Web ... .. ..... ......... ... ............ ... .. ................... 4.5. Comentários finais

I XIII

113 .

115 115 117

119 124 128

128 131 132 133 136

142 .

S. Exemp lo de desenho de corpus: um corpus de português 3. Listas de palavras, concordâncias, palavras-chave: o programa WordSmith Tools ... ...... ..... .. ........ ... .. .......... ... ....... . 3. 1. Introdução

83 84

3.2. Componentes .... ... .......... ... ..... ... .. ............... ..... ... ....... .. ...... .. 3.3. Princípios abstratos ............ .. ... ... .......... ...... ... ..... ... .... ....... .. 3.4. As ferramenta s

86

·········· ·· ·· ·························································· ··

3.4.1. Wordlist

90

···································································· 9 1 ·················· ················································ 91

3.4. l.l. Comandos principais .... ... ... .... ..... ...... .... ... . 92 3.4.2. KeyWords .... .................................. .. ..... ...... ......... .. .. . 96 3.4.2.1. Critérios de escol ha dos corpora ......... ..... . 98 3.4.2.2. Comandos principais ...... .......................... . l03 3.4.2.3. Lista de palavras-chave ....... ..... .... ..... ..... ... . 103 3.4.2.4. Palavras-chave-chave ........ ..... ... ..... .......... .. . 104 3.4.3. Concord

···································································

lOS

3.4.3.1. Comandos principais ............................... . . 107 3.4.3.2. Concordância ..... ...... .... .. ......... .. ... .. ... ....... .. 108 3.4.4. O que é cada instrumento ............ ... ...................... . ll o 3.5. Comentários finais ····································· ···· ··· ·· ··············· 112

especializado na linguagem profissional ..... ............. .............. . 5.1. A base do corpus: o banco de dados do projeto Direct .. . 5.2 . Anotação ................ .... .. ....... .... .. .... ... .... .. ....... ... ... .. .. ...... ..... . 5.3. C on1pilação ..... ................ ... .... .. ........................ .. ................ . 5.4. Gê neros no banco de dados do projeto Direct .... ....... .... .. 5.5 . Marcação: cabeça lhos ................. ...... .... ...... .. .. .. .. ... .. ...... .... . 5.6. Etiquetagen1 .......... ......... .... ............................ ... ........ ........ .. 5.6.1. Etiquetadores multilíngües - o exemplo do QTAG .. . 5.7. Comentários finais

6. Freqüências de palavras da língua portuguesa segundo o Banco de Português ............. ........... .......... ... .. .................. ....... .. 6.1. Introdução ...... ............ ..... ....... ..................... .... .. .............. .. . 6.2. Listas de freqüência de palavras ..... ..... ......... ...... .... ......... .. 6.3. Importância das freqüências para o estudo da linguagem ..... ..... ....... ... .......... ..................... ... ... .. ..... ..... .... . . 6.4. O Banco de Português ...... ..... ... ... ... ... ...... ........ .. .. .... .. ........ . 6.5. Freqüências do Banco de Português ..... .... ........... ......... ....

143 144 145 146 147 .

149 150 154 156

159

159 160 162

164 165

--+---X_IV_ I

SUMÁRIO

UNGÜ[STICA DE CORPUS

6.5.l. 6.5.2. 6.5.3. 6.5.4.

Palavras mais e menos freqüentes .......................... Palavras gramaticais e de conteúdo ....................... Um lema e suas formas ...................................... ..... Estrangeirismos .................................................. ..... 6.5.4.1. Palavras sem fronteiras no português brasileiro ............ ......................................... 6.5.4.2. Palavras sem visto ...................................... 6.6. Comen tários finais .............................................................

167 170 170 177

7. Análise de palavras em contexto: concordâncias .................... 7.1. Produção de concordâncias .................................. ............. 7.2. Classificação das linhas da concordância ................... ..... .. 7.3. Observação dos padrões: visualização da concordância e dos colocados . .... ..... .. .. ... .......... .... ............. .. .. .. .. .. .... .. .. .. . .. 7.4. Estatísticas de associação .............. ........ ... ..... .. ................... 7 .4. J. A razão Observado/Esperado ................................. 7.4.2. A Informação Mútua .............................................. 7.4.3. O Escore T ................................................................ 7.4.4. Resumo ... ........... .......................... ..... ... ........ ... ......... 7.4.5. Cálc ulo de estatísticas de associação em uma planilha eletrônica ................................................... 7.4.6. Cálculo de estatísticas de associação via Internet ..... 7.4.7. Cálculo automático de estatísticas de associação no WordSmith Tools .................. ............................. 7 .5. Representação de padrões .................................................. 7.6. Comentários finais ........................ .... .................................

187 189 195

8. Padronização na língua portuguesa segundo a Lingüística de Corpus: a partícula só ....... ... .... ..... .. ..... .... ....... .......... ... ..... .. . 8.1. Introdução .......................................................................... 8.2. Estudos prévios da padronização do português ............... 8.3. Corpus e instrumentos ..... ................... .... ...... ..... ............... 8.4. Padronização de só ....................................................... ......

182 184 185

196 200 20 l 203 204 205 206 209

8.5. Discussão .. ....... .......... ..... .............. ............. ... ... .. ........... ..... . 231 8.6. Co n1entários finais .. ............ ............ ... ....... ......... ...... ......... . 233 9. Lingüística de Corpus e tradução: prosódia semântica ......... 9.1. Introdução .......................................................................... 9.2. Prosódia semântica e tradução .......................................... 9.3. Estudos de prosódia semântica ......................................... 9.4. Causar/ cause e acon tecer/ happen ...................................... 9.5 . Metodologia ... .. .... ..... .... ... .... ..... .... .... ..... .... ....... ....... ... ..... .. . 9.6. Corrnnit ................................................................................ '1.7. Set in ................................................................................... 9.8. Manter um diálogo .............................................................

235 235 236 237 238 240 240 241 246 9.9. Discussão ........................................................................... . 249 9.1 O. Co mentários finais .......................................................... . 249

1

o.

Lingi.iística de Corpus e Lingüística Aplicada: o ensino de língua estrangeira ..................................... ................................ 10.1. Corpora pré-computador e ensino de línguas ............... 10.2. Corpora no ensino ........................................................... 10.3 . Marcos i1nportantes ............. ....... .................................... . 10.4. Descrição da linguagem nativa ....... ............ ........ ..... ....... . I 0.4.1. Críticas .................................................................. · 1O.S.

210 217 220

I XY

251 252 254 258 259

263 Descrição da linguagem de aprendizes: learner corpo r a · · 265

I0.6. Concordâncias no ensino ............................................... . .10. 7. Lexical Syllabus ................................................................ . 10.8. Lexical Approach .............................................................. . 10.9. Data Oriven Learning .......................................................

272 282 286

290 l 0.1 O. Comentários finais ....................................................... ·· 295

22 I 221 222 223 223

11. Estudo da variação com Lingüística de Corpus: a Análise l\1ultidimensional ................................................................... ·· 297 11. 1. Lingi.iística de Corpus nos Estados Unidos ................... . 297 l 1.2. O que é a Análise Multidimensional .. ..... .. ............. ........ . 300

XVI I

LINGÜ ÍSTICA DE CORPUS

11.3. Press upostos da Análise Multidimension al .................... 11.4. Termos e conceitos empregados na Análise Multidimensional .... .. ....... .. ....... ..... .... .... ....... ... .... .... ..... .. . 11.5. Etapas na realização de uma Análise Multidimensional .... .... ..... .. .... ..... ..... .... .... .. ..... ....... ... ....... 11.6. Descrição multidimensional da língua ingl esa ............... 11.7. Análise Multidimensional de outras línguas ...... .... ........ 11.8. Tipos de texto da língua inglesa .................................. .... 11.9. Descrição diacrónica ........................................................ 11.10. Análise da escrita de aprendizes ..................................... 11.11. Críticas à Análise Multidimensional .............................. 11.12. Comentários fin ais .... .. ..... ..... ........ ......... ......... ........ .......

300 303 305 306 3 14 3 17 320 32 1 324 329

Prefácio

Referências bibliográficas ........ .. .................... ............. .. .. .................... 33 I Está em curso uma verdadeira revolução no pensamento

Anexo 1 -As três mil palavras mais freqüentes do Banco de Portugu ês .... ............ ....................... .. ...... ................... ......... Anexo 2- Corpora na Internet............. .................................. ............ Anexo 3 - Websites mencionados .......... ...... .......... ..... ............ ......... ... Anexo 4 -Amostra de concordâncias do Banco de Português ........... Anexo 5- Dendrogramas para a análise da padronização de só ......

35 1 38 1 383 385 399

Índice remissivo .................................................................................. . 403

lingüístico, com implicações sé rias sobre como respondemos a questões fundamentais, tais como o que é língua, como ela é organizada, como deve ser estudada, como deve ser ensinada . A mola propulsora dessa revolução é a tecnologia, mais especificamente o computador. Já foi dito que o computador pessoal, com memória poderosa e capacidade de armazenamento, começa a desempenhar, nas ciências humanas, o . papel transformador que o telescópio teve na física e nas ciência s exatas. Passamos da idealização para a sistematização da observação da evidência. Para entender essa revolução, é preciso acompanhar a Lingüística de Corpus, uma área qu e trata do uso de corpora computadorizados ( coletâneas de textos, escritos ou de transcrições de fala, mantidas em arquivo de computador). Ao revelar uma quantidade surpreendente de evidências lingüísticas provindas de corpora eletrônicos, a Lingüística de Corpus questiona os paradigmas estabelecidos dos estudos lingüísticos e mostra novos caminhos para o lingüista, o pro-

na Internet; (e) a utilização do arcabouço teórico e do instrumental metodológico da Lingüística de Corpus para investigar temas correntes, como a penetração de estrangeirismos na língua portuguesa, as equivalências entre português e inglês, a observação de padrões de língua. O livro pode ser usado, na sua totalidade ou em partes, como um curso de Lingüística de Corpus, pois enfoca muitos temas e debates da área; mas também pode servir como fonte de consulta para questões específicas, e até mesmo como manual para aprender a realização de tarefas de infor mática (no tocante aos recursos pertinentes à Lingüística de Co rpus) . Traz ,c::.,- - -- ---::::J--, -

. 7E·:rs • H !JERt lAT •

M• 11'J d OC.Umi!'IIIO $

· M(u.JSf •

• V\lr JDüWS •

•

Web Addreu es: (URL)

Add UA L

_j

[

_]

f

::'8

- Temp

- -

• Fe JQflt es • Uttl$

• (••s quetede )'h ca> •

,,

·

, ·

I

'·

Entltf' e.dcht l (es) in'URL bo:."

•

•

WmHTTrack '

..

· · Brows er iD MIMEtypes Proxy Scen R.u,les L(mits

- Mirroring hilode •

tcenrnug conned

.:e Fe.I.'Q IIIQ;

Fllt>t updated.

1 (lOOY.)

ErrcMt:

'

!/ ... 1

bt

-

.estedo.pom ..m.bf/div!rta,./

raquetl

...w.• .stecto.comr.ldoretdo.com bf/

c:omed

Nt lillbdo.ccm. attadeoo-FQm br/

- ••tado .cqrn..,estedoo.çom bt/ c:onned collfled com:·''\uisO/Grqi.lr.to/ hlstoriccihm J ' Moved T emp Nt.U tGdu com., ettodeo.eom.br/

• ...J

MO\I'ed Temp Moved Temp MCJ'Ioo'ed Temp Mo.NedTemp Moved Temp

• ,_2..lTV • ;...J•:ulh.uo. . _j !1.., .. ,, • ...JIE-111p,

• _j

Unkt tconned

-\31KlB/s (7.35KiB/t)

•

· _j

• ...J

0

66.7lKJB

..

w.este.do com.. om.bf/age tlfldo/ N,etl&do com_om br/economifl/ - .estctto.c:orn...om br/lnencot/ - e lllll

< ! -- #IIII ini c i o_ tit l e --> · tille ·O Estado de S . Paulo ·. ! --

H 11 H

firo ti t 1 e

-- >

Es tadao . com.br

Copier/3 . x

52 I

LINGÜÍSTICA DE CORPUS

COLETA, ARMAZENAMENTO E PRÉ-PROCESSAMENTO DE CORPORA

'

Lot e r 1·as,

< !--

< !- -