Assessing functional adequacy across tasks: A comparison of learners’ and native speakers’ written texts

Elena Nuzzo and Giuseppe Bove

PDF

ABSTRACT

ENThis study aims to explore further the applicability of the six-point rating scale elaborated by Kuiken and Vedder (2017) to assess functional adequacy. According to the authors, functional adequacy (FA) is a multidimensional construct combining successful task completion and the effective transmission of a message from a speaker or writer to a hearer or reader. Kuiken and Vedder’s scale has been mainly applied to written L2 output in previous research, whereas in this study it is tested on both L1 and L2 written texts, elicited by means of different tasks. The texts, produced by 20 non-native and 20 native speakers of Italian, were rated by seven non-expert raters, trained to use the scale. The results showed low levels of absolute inter-rater agreement and consistency, especially for L1 texts. On the other hand, our findings are more encouraging with regard to the reliability of the scale and its applicability across tasks. The results also revealed a strong correlation between FA scores and those obtained in a C-test used as an independent measure of general L2 proficiency.  

Key words: functional adequacy, L1 Italian, L2 Italian, assessment, writing task  
ESEl presente estudio tiene como objetivo profundizar en la aplicabilidad de la escala de calificación de seis puntos elaborada por Kuiken y Vedder (2017) para evaluar la adecuación funcional. Según los autores, la adecuación funcional (AF) es un constructo multidimensional que combina la finalización satisfactoria de una tarea y la transmisión efectiva de un mensaje de un hablante o escritor a un oyente o lector. En investigaciones anteriores, la escala de Kuiken y Vedder se ha aplicado principalmente a la producción escrita de L2, mientras que en este estudio se prueba en textos escritos tanto de L1 como de L2, obtenidos mediante diferentes tareas. Los textos, producidos por 20 hablantes no nativos y 20 hablantes nativos de italiano, fueron calificados por siete evaluadores no expertos que habían sido capacitados para emplear la escala. Los resultados muestran bajos niveles de concordancia y consistencia absolutas entre los evaluadores, especialmente en los textos de L1. Por otro lado, los hallazgos son más alentadores con respecto a la fiabilidad de la escala y su aplicabilidad en las tareas. Además, los resultados revelan una fuerte correlación entre las puntuaciones de AF y las obtenidas en una prueba C utilizada como medida independiente de la competencia general de L2.  

Palabras clave: adecuación funcional, italiano L1, italiano L2, evaluación, tareas de escritura
 
ITQuesto studio ha l’obiettivo di approfondire l’applicabilità della scala di valutazione a sei punti elaborata da Kuiken e Vedder (2017) per valutare l’adeguatezza funzionale. Secondo gli autori, l’adeguatezza funzionale (FA) è un costrutto multidimensionale che combina lo svolgimento positivo del compito e la trasmissione efficace di un messaggio da un parlante o scrittore a un ascoltatore o lettore. La scala di Kuiken e Vedder, che finora era stata applicata principalmente alla produzione scritta in L2, in questo studio è stata testata su elaborati scritti sia in L1 sia in L2 ottenuti a partire da consegne diverse. I testi, prodotti da 20 parlanti non nativi e 20 madrelingua italiani, sono stati valutati da sette valutatori non esperti, addestrati all’uso della scala. I risultati mostrano bassi livelli di accordo e coerenza assoluti tra i valutatori, soprattutto per i testi in L1. I risultati sono, invece, più incoraggianti per quanto riguarda l’affidabilità della scala e la sua applicabilità a varie attività. Inoltre, i risultati rivelano una forte correlazione tra i punteggi FA e quelli ottenuti da un C-test utilizzato come misura indipendente della competenza generale in L2.  

Parole chiave: adeguatezza funzionale, italiano L1, italiano L2, valutazione, compiti di scrittura

Copyright © 2020. This work is licensed under the Creative Commons Attribution 4.0 License.


How to cite this article in APA

Nuzzo, G., & Bove, C. (2020). Assessing functional adequacy across tasks:
A comparison of learners’ and native speakers’ written texts. E-JournALL, EuroAmerican Journal of Applied Linguistics and Languages, 7(2), 9–27. http://doi.org/10.21283/2376905X.12.175

Comments are closed.

Post Navigation

 
Social media & sharing icons powered by UltimatelySocial