[K] MIDI Viewer i nuty z PDF

Już w poprzednim wpisie wspominałem, że wprowadziłem do MIDI Viewera moduł renderujący, który umożliwia m. in. tworzenie wideo na bazie pliku MIDI i partytury z pliku pdf. I chociaż już wówczas sporo udawało się uzyskać, to jednak moduł ten był ciągle niedoskonały.

Podstawowy problem tkwi w synchronizacji obrazu z nutami z MIDI. Żeby całość się powiodła, musi być spełnionych kilka warunków, bo MIDI Viewer ani nie potrafi renderować dźwięku, ani samodzielnie nie generuje nut. Mamy zatem z jednej strony plik MIDI, z drugiej strony zupełnie niezależny plik pdf, a w efekcie mamy dostać plik wideo zsynchronizowany z audio z pliku mp3/wav.

Aby dało się to w ogóle jakkolwiek ogarnąć, musimy mieć:

  • plik MIDI z sesji DAW, która renderowała plik audio, czyli plik MIDI musi się synchronizować z audio
  • plik pdf musi zawierać taką wersję nut, która zgadza się z plikiem MIDI, żeby można było zsynchronizować takty

To jednak nie koniec kłopotów, bo w partyturze pdf możemy natknąć się na kolejne niedogodności. Na przykład, część utworu może być zapisana skrótowo, z wykorzystaniem znaków repetycji. Może być tam też inna liczba nut niż zawiera plik MIDI - dość częsty przypadek, bo często przestają się zgadzać tryle czy tremola. Czasem też - szczególnie w nagraniach fortepianowych - wykonawca dokłada coś od siebie, dodatkowe dźwięki (celowo czy przypadkowo), co także trzeba uwzględniać.

Tak z grubsza wygląda podgląd - renderują się także fragmenty nutowe

Problemem staje się także sytuacja, gdy z większej formy nagrywam tylko część, np. środkową część symfonii czy finał kwartetu. Czasem trudno jest znaleźć partyturę tylko jednej, konkretnej części, a dotychczasowy mechanizm importu pdf zawsze robił porównanie nut od początku i stwierdzał niezgodność pdf i mid. Dorobiłem sobie zatem "wybierałkę", która pojawia się podczas wskazywania pliku pdf, aby można było precyzyjnie wskazać, o które dokładnie strony chodzi. Dopiero potem następuje próba dopasowania nut do danych MIDI.

Można zaznaczyć nie tylko zakres stron, ale też dokładne miejsce, gdzie zaczynają się właściwe nuty

Całość działa - póki co - jeszcze niedoskonale. Różnorodność utworów jest bardzo duża, więc co rusz wychodzą na jaw inne zagadnienia - czy to w nagraniu fortepianowym, orkiestrowym, organowym... Każde z nich ma swoją specyfikę i wymaga osobnego traktowania, a wiadomo, że jeśli mamy mieć rozwiązanie uniwersalne, trzeba będzie iść na kompromisy. Na razie zatem nie jestem w pełni zadowolony, ale bez tego nie byłoby rozwoju, prawda?

Komentarze