Application for the Automatic Pitch Detection and Correction of Detuned Singing

eng Artykuł w języku angielskim DOI: 10.14313/PAR_219/25

wyślij Małgorzata Michalska École Polytechnique Fédérale de Lausanne, Switzerland

Pobierz Artykuł

Abstract

This paper describes an application for automatic detection and correction of detuning in singing. It presents the observations that became the core of the work, application principles, limitations, perspectives and used algorithms. It explains in detail the experiments performed and the results obtained. Finally, it discusses some opportunities that have been revealed during the research and points to improvements and extensions possible in the future work.

Keywords

detuning, melody alignment, pitch correction, pitch detection, pitch shifting, singing evaluation

Aplikacja do automatycznej detekcji i korekcji fałszu w śpiewie

Streszczenie

Artykuł opisuje aplikację służącą do automatycznej detekcji i korekcji fałszu w śpiewie. W kolejnych krokach przedstawione są obserwacje stanowiące podstawę pracy, założenia, ograniczenia, perspektywy oraz wykorzystane algorytmy. Szczegółowy opis dotyczy przeprowadzonych eksperymentów i uzyskanych wyników. Ostatnia część poświęcona jest dyskusji na temat nowych możliwości odkrytych podczas badań oraz kierunków dalszych prac.

Słowa kluczowe

detekcja fałszu, dopasowanie melodii, korekcja fałszu, ocena śpiewu, rozstrojenie, transpozycja częstotliwości dźwięku

Bibliografia

  1. Antares Audio Technologies Auto-Tune – official website, http://www.antarestech.com/ (accessed 20 Oct. 12).
  2. Bellis M., Who Invented AutoTune?, http://inventors.about.com/od/astartinventions/a/Who-Invented-Auto-Tune.htm (accessed 18 Feb. 13).
  3. Boersma P., Accurate short-term analysis of the fundamental frequency and the harmonics-to-noise ratio of a sampled sound, Institute of Phonetic Sciences, University of Amsterdam, Proceedings 17, 1993, 97–110.
  4. Celemony Melodyne – official website, http://www.celemony.com (accessed 20 Oct. 12).
  5. Celemony Melodyne promoting videos, http://www.celemony.com/cms/index.php?id=videos (accessed 20 Feb. 13).
  6. Daley D., Vocal Fixes: Modern Vocal Processing in Practise, “Sound on Sound”, 2003–2010.
  7. Dziubiński M., Kostek B., Octave error immune an instantaneous pitch detection algorithm, “Journal of New Music Research”, Vol. 34, No. 3, 2005, 273-292, DOI: 10.1080/09298210500235301.
  8. Gerhard D., Pitch extraction and fundamental frequency: History and current techniques, Tech. Report, Dept. of Computer Science, Univ. of Regina, 2003.
  9. Laroche J., Dolson M., New phase-vocoder techniques for pitch-shifting, harmonizing and other exotic effects, IEEE Conf. on Applications of Sign. Proc. for Audio and Acoustics, New York, 1999, DOI: 10.1109/ASPAA.1999.810857.
  10. Lech M., Application for Automatic Detection and Correction of Detuned Singing, Master Thesis at Multimedia Department, Faculty of Electronics, Telecommunications and Informatics, Gdańsk University of Technology, 2007 (in Polish).
  11. Lerch A., An Introduction to Audio Content Analysis: Applications in Signal Processing and Music Informatics, Wiley-IEEE Press, 2012.
  12. Love R., Set Your Voice Free: How To Get The Singing Or Speaking Voice You Want, Little, Brown and Company/Hachette Book Group, New York, 1999.
  13. Meek C., Birmingham W., Johnny can’t sing: a comprehensive error model for sung music queries, Proc. of International Symposium on Music Information Retrieval, 2002, 124–132.
  14. Pardo B., Finding Structure in Audio for Music Information Retrieval, “IEEE Signal Processing Magazine”, Vol. 23, No. 3, 2006, 126–132, DOI: 10.1109/MSP.2006.1628889.
  15. Pilch M., Toporowski M., Dawne temperacje. Podstawy akustyczne i praktyczne wykorzystanie. Akademia Muzyczna im. Karola Szymanowskiego w Katowicach, Katowice, 2014 (in Polish).
  16. Pechelt L., Typke R., An interface for melody input, “ACM Transactions on Computer-Human Interaction”, Vol. 8, No. 2, 2001, 133−149, DOI: 10.1145/376929.376978.
  17. Półrolniczak E., Łazoryszczak M., Quality assessment of intonation of choir singers using F0 and trend lines for singing sequence, “Metody Informatyki Stosowanej”, PAN, Nr 4, 2011, 259–268.
  18. Ramirez J., Segura J., Benitez C., de la Torre A., Rubio A., Efficient voice activity detection algorithms using longterm speech information, Speech Communication, Vol. 42, No. 3–4, 2004, 271–287, DOI: 10.1016/j.specom.2003.10.002.
  19. Serato Pitch ’N’ Time Pro – official website, http://www.serato.com/products/pnt/ (accessed 20 Oct. 12).
  20. Stasiak B., Follow That Tune – Adaptive Approach to DTWbased Query-by-Humming System, “Archives of Acoustics”, Vol. 39, No. 4, 2014, 467–476, DOI: 10.2478/aoa-2014-0050.
  21. Wiszniewska M., Realization of a computer application automatically correcting detuned singing, Master Thesis at Multimedia Department, Faculty of Electronics, Telecommunications and Informatics, Gdańsk University of Technology, 2013.
  22. Yu H.-M., Tsai W.-H., Wang H.-M., A Query-By-Singing System for Retrieving Karaoke Music, “IEEE Transactions on Multimedia”, Vol. 10, No. 8, 2008, 1626–1637, DOI: 10.1109/TMM.2008.2007345.
  23. Zieliński T., Cyfrowe przetwarzanie sygnałów. Od teorii do zastosowań, WKiŁ, Warszawa 2009 (in Polish).
  24. Zölzer U., DAFX. Digital Audio Effects, Wiley, New York 2005.
  25. Żwan P., Automatic singing quality recognition employing artificial neural networks, “Archives of Acoustics”, Vol. 33, No. 1, 2008, 65–71.