Sound synthesis has a history dating from the turn of XIX-th and XX-th century. At present, synthesizers are commonly utilised in music, and they surpass traditional instruments in the abilities related to the control over parameters of generated sound. This quality allows to imitate and substitute existing instruments, as well as leads to artistic experiments in the area of new means of expression. At the same time, synthesis techniques remain firmly based on signal processing, and even more so on mechanics. After all, not only methods of synthetic sound generation, but also characteristics and parameters of the effect achieved, have to be considered and studied in a category of physical, mechanical phenomena.
The monograph attempts to present current state of knowledge regarding sound synthesis methods in two main areas of their musical applications: reproduction of music from a symbolic score, and live music performance. The survey of synthesis methods is based on the author’s proposal for their classification, which takes account of the fundamental nature of the sound production principle. Apart from traditional, often studied methods, the monograph presents a number of new or less known methods, hitherto rarely discussed in books, such as concatenative or neural audio synthesis. The objective of the survey was to present the subject in a manner helpful and suitable for a sound engineer that either attempts to use, or to design sound synthesizers. On the basis of this broad survey, the monograph presents two new, author’s methods of sound synthesis. The first one, phrase assembling synthesis, is an attempt aimed towards realistic reproduction of musical scores. It combines selected features of sampling and concatenative synthesis with a score interpreting sequencer supplemented with performance rules simulation algorithms. The second method is based on a certain paradox, i.e. a numerical simulation of infeasible instruments. The key idea is to design a mathematical model of a sound producing object that purposefully breaks selected rules or exceeds feasible ranges of parameters. Instruments created in this manner retain some features of real objects, which facilitates their intuitive control, while the sound they produce manifests new, often complex and interesting properties, which have been presented and analysed in the monograph.
Historia współczesnej syntezy dźwięku sięga przełomu XIX i XX wieku. W tym czasie syntezatory znalazły szerokie zastosowania w muzyce, przewyższając tradycyjne instrumenty w zakresie możliwości kontroli parametrów wytwarzanego dźwięku. Ta cecha pozwoliła im z jednej strony imitować i zastępować istniejące instrumenty, a z drugiej umożliwiła artystyczne eksperymenty w sferze poszukiwań nowych środków wyrazu. Jednocześnie same techniki syntezy pozostają bardzo silnie zakorzenione w takich dziedzinach wiedzy jak przetwarzanie sygnałów, ale przede wszystkim mechanika. To ostatecznie w kategorii fizycznego, mechanicznego zjawiska muszą być rozpatrywane zarówno same metody syntetycznego wytwarzania dźwięku, jak również cechy i parametry osiągniętego efektu.
Monografia przedstawia aktualny stan wiedzy dotyczącej metod syntezy dźwięku wykorzystywanych w dwóch głównych obszarach jej muzycznych zastosowań: do reprodukcji muzyki na podstawie zapisu symbolicznego oraz do wykonywania muzyki na żywo. Przegląd metod syntezy oparto na autorskiej propozycji ich podziału, uwzględniającej istotę zasady wykorzystanej do generowania dźwięku. Poza metodami tradycyjnymi, szeroko opisywanymi w literaturze, praca przybliża także wiele nowych lub mniej znanych metod, do tej pory rzadko omawianych w opracowaniach książkowych, takich jak synteza konkatenacyjna czy też metoda oparta na technikach głębokiego uczenia. Autor monografii skonstruował ją tak, by mogła być użyteczna dla inżynierów dźwięku niezależnie od tego, czy zajmują się jedynie wykorzystaniem czy również projektowaniem i budową syntezatorów.
Na tym szeroko zarysowanym tle zaprezentowane są dwie nowe, autorskie metody syntezy. Pierwsza z nich, metoda montażu frazy, reprezentuje grupę metod przeznaczonych przede wszystkim do realistycznej reprodukcji zapisu nutowego. Łączy ona wybrane cechy metody konkatenacyjnej i samplingowej z elementami sekwencera wspartego algorytmami symulacji technik wykonawczych i interpretacyjnych. Druga z metod opiera się na pewnym paradoksie, czyli numerycznej symulacji instrumentów nierealizowalnych. Polega ona na modelowaniu fizycznym obiektów wytwarzających dźwięk, w których celowo łamie się określone zasady bądź też przekracza możliwe do zaistnienia zakresy parametrów. Powstałe w efekcie instrumenty zachowują pewne cechy obiektów rzeczywistych, co ułatwia ich intuicyjną kontrolę. Jednocześnie jednak wytwarzany przez nie dźwięk ma nowe, często złożone i interesujące właściwości, które zostały zaprezentowane i poddane analizie.
Wydawnictwa nie prowadzą sprzedaży książek z serii "Rozprawy Monografie". Zainteresowanych prosimy o kontakt z ich autorami.
- Spis treści
-
1. Introduction 13
1.1. Definition of Sound Synthesis 13
1.2. Taxonomy of Synthesis Methods 15
1.3. The Purpose and Scope of the Monograph 18
2. Direct Methods 20
2.1. Spectral Methods 20
2.1.1. Modular View on Elements of a Synthesizer 20
2.1.1.1. Voltage Controlled Oscillator 21
2.1.1.2. Voltage Controlled Amplifier 25
2.1.1.3. Voltage Controlled Filter 25
2.1.1.4. Low Frequency Oscillator 25
2.1.1.5. Envelope Generator 26
2.1.2. Additive Synthesis 30
2.1.2.1. Evolution of Spectrum 31
2.1.2.2. Control Data 32
2.1.2.3. Resynthesis 35
2.1.2.4. Control of Pitch, Duration, and Timbre 37
2.1.2.5. Variants of Additive Synthesis 42
2.1.2.6. Implementation Remarks 43
2.1.3. Subtractive Synthesis 45
2.1.3.1. Source-Modifier Principle 46
2.1.3.2. Synthesizer Designs 49
2.1.3.3. Resynthesis 52
2.1.3.4. Control of Pitch, Duration, and Timbre 57
2.1.3.5. Descendants of Subtractive Synthesis 60
2.2. Waveform-Based Methods 61
2.2.1. Wavetable Synthesis 61
2.2.1.1. Single-Cycle and Multi-Cycle Wavetable 63
2.2.1.2. Signal Modification and Evolution 65
2.2.1.3. Resynthesis 68
2.2.1.4. Control of Pitch, Duration, and Timbre 69
2.2.1.5. Multiple Wavetable Synthesis 70
2.2.1.6. Wave Terrain Synthesis 72
2.2.1.7. Progress of Wavetable 77
2.2.2. Sampling 78
2.2.2.1. Digital Sampling Synthesis Principle 81
2.2.2.2. Control of Pitch 83
2.2.2.3. Control of Timbre 88
2.2.2.4. Control of Duration 89
2.2.2.5. Application of Envelopes and Filters 92
2.2.2.6. Sampler Features and Implementation Remarks 94
2.2.3. Granular Synthesis 97
2.2.3.1. Grains 99
2.2.3.2. Time-Frequency Plane Matrices and Screens 102
2.2.3.3. Pitch-Synchronous Granular Synthesis 103
2.2.3.4. Synchronous and Quasi-Synchronous Granular Synthesis 103
2.2.3.5. Asynchronous Granular Synthesis 105
2.2.3.6. Physical and Algorithmic Models 108
2.2.3.7. Granulation of Sampled Sounds 109
2.2.3.8. Particle Synthesis 110
2.2.4. Concatenative Synthesis 117
2.2.4.1. Segmentation 120
2.2.4.2. Analysis and Descriptors 126
2.2.4.3. Target 126
2.2.4.4. Database 127
2.2.4.5. Selection 128
2.2.4.6. Synthesis 131
2.2.4.7. High Level Instrument Synthesis 132
2.2.4.8. Real-Time Concatenative Synthesis 133
2.2.4.9. Expressive Concatenative Synthesis 135
2.2.4.10. Other Variants of Concatenative Synthesis 141
3. Indirect Methods 147
3.1. Abstract Methods 147
3.1.1. Frequency Modulation 147
3.1.1.1. Frequency and Pitch 149
3.1.1.2. Modulation Index 151
3.1.1.3. Multiple Carriers and Modulators 157
3.1.1.4. Feedback 161
3.1.1.5. Operators and Algorithms 163
3.1.1.6. Simulation of Instruments and Resynthesis 165
3.1.1.7. Variants and Derivatives of FM Synthesis 166
3.1.2. Waveshaping 172
3.1.2.1. Shaping functions 173
3.1.2.2. Amplitude Control 175
3.1.2.3. Variants of Waveshaping 176
3.1.3. Non-Standard Methods 177
3.1.3.1. Waveform Segment 177
3.1.3.2. Graphics Synthesis 178
3.1.3.3. Motion-Driven Synthesis 180
3.1.3.4. Noise Modulation 182
3.1.3.5. Stochastic Waveform Synthesis 185
3.1.3.6. Cellular Automata Synthesis 186
3.1.3.7. Waveset Distortion 192
3.1.3.8. Sequential Waveform Composition 192
3.1.3.9. Neural Audio Synthesis 194
3.2. Physical Modelling Methods 196
3.2.1. Finite Difference Approximation 198
3.2.1.1. Temporal Operators 199
3.2.1.2. Spatial Operators 200
3.2.1.3. Input and Output Operators 207
3.2.1.5. Damped Stiff String 218
3.2.1.6. String Excitation 222
3.2.1.7. String Model Refinements 226
3.2.1.8. Bar 234
3.2.1.9. Acoustic Tube 237
3.2.1.10. Reed Excitation Mechanism 239
3.2.1.11. Toneholes in Acoustic Tube 242
3.2.1.12. Other Wind Instruments 245
3.2.1.13. Membrane 245
3.2.1.14. Plate 248
3.2.2. Networks of Lumped Elements 253
3.2.2.1. Lumped Elements 253
3.2.2.2. Operation 254
3.2.3. Modal Synthesis 254
3.2.3.1. Model Data 255
3.2.3.2. Synthesis Process 255
3.2.3.3. Output 256
3.2.4. Karplus–Strong Synthesis 256
3.2.4.1. Basic Control 257
3.2.4.2. Plucked Strings and Drums 257
3.2.4.3. Decay Stretching 258
3.2.5. Waveguide Synthesis 258
3.2.5.1. Digital Waveguide 258
3.2.5.2. Dispersion, Damping, and Other Effects 260
3.2.5.3. Scattering Junction 260
3.2.5.4. Examples of Waveguide Configurations 261
3.2.5.5. Applications 263
3.2.6. Other Physical Modelling Methods 263
4. Phrase Assembling Synthesis: a New Approach to Music Reproduction 265
4.1. Sound Synthesis in Music Reproduction 265
4.1.1. Shortcomings of Sample-Based Methods 266
4.1.2. Issues of Concatenative Method 268
4.2. The Concept 271
4.2.1. Motivation 271
4.2.2. Key Ideas 272
4.2.3. Method Outline 274
4.2.4. Phrase 275
4.2.5. Signal Processing of Samples 276
4.2.6. Musical Expression 277
4.3. The Design 278
4.3.1. Input and Output 278
4.3.2. Samples and Descriptions 279
4.3.3. The Principle of Operation 281
4.4. The Corpus 283
4.4.1. Instruments 283
4.4.2. Structure 284
4.4.3. Contents 286
4.4.3.1. Units 286
4.4.3.2. Multisampling 289
4.4.4. Recordings 289
4.4.5. Analysis and Preparation of Samples 290
4.5. Applied Techniques 294
4.5.1. Musical Score Analysis 295
4.5.1.1. Score Segmentation Algorithm 295
4.5.1.2. Phrase Matching Algorithm 295
4.5.2. Sound Samples Processing 300
4.5.2.1. Concatenation 300
4.5.2.2. Control of Duration 302
4.5.2.3. Tempo and Rhythm 304
4.5.3. Performance Rules 305
4.5.4. Phrase Envelopes 308
4.5.4.1. Dynamics Envelope 308
4.5.4.2. Tempo Envelope 310
4.6. Implementation 311
4.6.1. Overall Program Design 312
4.6.2. Modules 313
4.6.2.1. Score Analysis Module 313
4.6.2.2. Figure Matching Module 314
4.6.2.3. Waveform Generator Module 315
4.6.2.4. Management Module 316