Blog

Impact of US sanctions on IT services

Using US-based IT services in a European context is often criticized. The main argument is about wiretapping and its risk on privacy. This discussion is tied up in a never ending dance of lawsuits and safe harbor privacy agreement revisions. A smaller argument is about the availability of infrastructure in case of major outages and US customers being prioritized. This is addressed by storing and processing data in Europe. Another smaller argument is the risk of IT service providers abusing their market power or customer insights to their benefit. Recently a new risk was identified: the risk of US sanctions.

In a changing international landscape and with a controversial US government, sanctions to European customers are no longer unthinkable. I wanted to better understand the risk of sanctions on IT services. In this case I mean economic sanctions. I focus in the impact on availability of IT services and not on confidentiality or integrity for which wiretapping is a greater risk.

The questions I look to address:

1. How a sanctions initiated?
2. How are sanctions enforced?
3. When do foreign organization have to abide by the sanctions?
4. How are IT services affected by sanctions?

Review of sanctions

Let's start with a review some sanctions in recent history in which IT services are involved.

I won't go into the sanctions itself, to review if they are legal, moral or fair. All sanctions do have a longer history of international conflict, which at least made the sanctions somewhat expected.

Huawei (2019)

Rooted in the US policy against China, the sanctions against Huawei are broad and affect the internal operations of Huawei, as well as the service offering to customers of Huawei.

Timeline

Sanctions on Huawei have a longer history, but in 2019 service providers to Huawei got affected.

• March 2019: Huawei filed a lawsuit about earlier sanctions. Complaints on later sanctions were added. The trial is scheduled for 2026. Reuters article and The Wall Street Journal article.
• 15 May 2019: Two policies are adopted by the Trump Administration to sanction Huawei. One is a new governmental policy to ban US companies from using telecommunications equipment or services from Huawei. This follows earlier policy to limit use of Huawei in the government. The other is placing Huawei on the 'Entity List' trade restrictions lists by the Commerce Department. This now forces Huawei to get US government approval to buy US technology. Reuters timeline and Android Central article.
• 19 May 2019: Google followed the Huawei ban by removing Huawei from their suite of digital products, disabling Google services (including Google Play App store and Google Maps) on the Android devices sold by Huawei. Huawei already had a lawsuit running on the sanctions. Other companies US-based companies quickly followed the ban, including Qualcomm, Intel, Arm and Microsoft.
• 4 June 2019: China countered by creating a 'list of unreliable entities' to warn Dell and Microsoft not to join Google in the ban towards China. Wikipedia summary and Bloomberg article.
• 15 May 2020: The Trump Administration expands the sanctions by including chips. Reuters article and BBC article.
• 17 August 2020: Bureau of Industry and Security (BIS) imposed controls over certain foreign-produced items to address the threat by Huawei. The specific wording is relevant: "... requirement on certain foreign-produced items when (1) there is knowledge that a listed Huawei entity is a party to the transaction and (2) the foreign-produced item is produced by an overseas plant or major component of a plant that is itself a direct product of U.S.-origin technology or software subject to the EAR and specified in certain Export Control Classification Numbers." BIS announcement.
• September 2020: Intel received a license to ship laptop central processors to Huawei. CGTN article.
• September 2020: Seagate ignores the sanctions and enters into a three-year strategic partnership with Huawei. BIS report after fine.
• November 2020: Qualcomm also received a license from the US government to sell older 4G chips to Huawei. Reuters article.
• September 2021: Seagate complies complies with the ban and stops providing products/chips to Huawei.
• 19 April 2023: Settlement of a penalty for Seagate of $300 million. BIS publication and Seagate publication.
• March 2024: China adopts a list of government-approved technologies, banning the use of US-made processors, Microsoft Windows and foreign database software. Article by Data Center Dynamics.
• May 2024: US government revokes licenses of Intel and Qualcomm to sell certain (older) chips to Huawei. Article by Data Center Dynamics and article by Tom's Hardware.

Impact

• Loss of access to certain software and hardware for internal use and in products. Later Intel and Qualcomm (and perhaps others) were granted a license to sell certain chips until sanctions increased.
• Reduction in customers, both businesses and consumers, losing significant market share.
• Replacement services needed to be developed to maintain the service offering to customers.
• Honor mobile phone sub brand faced the same sanctions and was eventually sold off.

Complying organizations

Mentioned by sources: Google, Qualcomm, Intel, Arm, Microsoft, Seagate (excluding September 2020 until September 2021), Toshiba, SoftBank, Broadcom, Xilinx, Western Digital, Infineon (voluntarily), and more. Wikipedia overview.

Amsterdam Trade Bank (2022)

The sanctions against Russia not only hit the financial side of the Amsterdam Trade Bank, but also its IT services.

Timeline

• 6 April 2022:
  • US Office of Foreign Assets Control (OFAC) publishes sanctions on Russian banking sector after the invasion of Ukraine. The targets include Alfa Bank and its subsidiary Amsterdam Trading Bank (ATB), registered in Amsterdam. Published sanctions.
  • US based companies implement the sanctions by blocking access, including Microsoft and Amazon Web Services. This halted the customer facing operations of the bank like the website as well as the internal services like email and document storage.
• 22 April 2022: Amsterdam Trading Bank is declared bankrupt. The persons to handle the bankruptcy (curators) are appointed to wind down operations.
• April 2022: The curators don't get the necessary access to internal documents and emails to handle the bankruptcy and sues Microsoft and AWS to gain access.
• 3 May 2022: Dutch court case about access to the internal documents and emails. Amazon Web Services lifts the ban right before the court case. The judge orders Microsoft to grant the necessary access and orders a daily fine. In the court case it is argued that Microsoft could was allowed some time to implement the actions but did so immediately. Dutch Computable article, Dutch Techzine article, Dutch ATB Wikipedia page, Court case proceedings in Dutch.
• 5 May 2022: US OFAC grants a limited license to wind down operations.
• 12 may 2022, UK grants limited license until 12 may 2030 to wind down operations. World ECR article and UK government publication.

Impact

• Loss of access to internal data like email and documents.
• Bankruptcy.
• Struggling to even handle bankruptcy.

Complying organizations

At least Microsoft and Amazon Web Services.

Organic Maps (2025)

The geolocation of a single project contributor stopped the entire open source project from operating as GitHub enforced existing US sanctions.

Timeline

• 13 March 2025: After a contributor to the open source Organic Maps project on GitHub was geolocated in a US sanctioned region, the project was sanctioned by GitHub (part of Microsoft). The project was set to read-only but remained publicly available. The Organic Maps did not get further details on the reason for the sanctions. The project contacted GitHub to complain and object to the decision, but didn't get a immediate response. Mastodon post from Organic Maps.
• 17 March 2025: In order to unblock the development, the project started to migrate to a self-hosted infrastructure for collaboration.
• Between 17 and 28 March: GitHub reviewed the complaint and unblocked the project.
• 27 March 2025: The migration to new infrastructure was complete, abandoning GitHub. Mastodon post, AlternativeTo article and Lobste.rs article.

Impact

• Complete stall of the project as the infrastructure for collaborations was unavailable.
• As the information was public, there was no significant loss of information. There were also public mirrors to other providers like SourceForge. In case of a private project the impact would have probably been more significant because of loss of access.

Complying organizations

GitHub (part of Microsoft).

International Criminal Court (2025)

Sanctions against persons at the ICC directly or indirectly involved with the arrest warrant of Netanyahu resulted in a partial blockade of IT services.

Timeline

• US already had a long history of undermining the International Criminal Court (ICC), even though it is supported by allies. Wikipedia article. Note worthy is the nicknamed 'The Hague Invasion Act' as a indication how far the US government would be willing to go.
• Past sanctions against officials at the court complicated the the travel to the US and bank transactions. Several US employees have resigned because of these sanctions. New York times article.
• 6 February 2025: Trump administration implements sanctions on the ICC after the arrest warrant on Netanyahu. The sanctions go after the persons involved in the arrest warrant and persons that assisted including by providing services.
• 'Soon after': Microsoft blocked ICC access to certain services, including the email account of ICC prosecutor Karim Khan. This is unexpected because on 30 April Microsoft announced they would fight all sanctions in court: "In the unlikely event we are ever ordered by any government anywhere in the world to suspend or cease cloud operations in Europe, we are committing that Microsoft will promptly and vigorously contest such a measure using all legal avenues available, including by pursuing litigation in court." It is unclear if there was upfront contact between Microsoft and the ICC. Journalists in contact with ICC mention that there wasn't any contact, whilst Microsoft says there was contact and that the blockage was even a voluntary decision. The prosecutor moved to using Proton Mail to continue internal communications. Dutch iBestuur article, another Dutch iBestuur article, New York Times article, Belgium Knack article, LBC article, and another Belgium Knack article.
• 20 May 2025: The case is discussed in the Dutch Parliament. (Online version via OpenTK). There are actually multiple organizations that have stopped collaboration with the ICC or are considering to. The sanctions severely impacted the operation of the ICC. The minister expresses the concern of 'overcompliance' where organizations implement more sanctions than strictly necessary. The European Commission could initiate a 'blocking statute' as a counter measure. It is uncertain if a blocking statute would be effective.

Impact

• Earlier sanctions made the work difficult for US colleagues, so they left.
• Loss of access to data and services. Having to use different service providers to continue internal communications.
• Multiple organizations stopping collaboration with ICC, or considering to.

Penalties for not complying

While the Amsterdam Trading Bank was sanctioned entirely, some European organization were sanctions for not complying with the US sanctions. Hunton article.

• Toll, a logistical company from Austria, agreed to pay a $6.1 million fine to settle nearly 3,000 separate violations of Iran, North Korea and Syria sanctions. Lloydslist article.
• Swedbank, a Swedish bank, agreed to pay a $3.4 million fine for shortcomings to prevent money laundering in the Baltic region. Wall Street Journal article.

Conclusions of sanctions

• Sanctions are used more often to support foreign policy.
• US companies have to comply to US sanctions policy. If they don't comply, they get fined. In case of Seagate the fine was more than twice the net profit of the illegal exports, making it a net negative.
• Larger companies comply quickly, even if the deadline left some more time, in the case of the Amsterdam Trading Bank.
• There is a risk of 'overcompliance' where companies apply more sanctions than strictly necessary.
• Affected organizations can go to US court, but a provisional relief of sanctions seems impossible and the court case will take time.
• Loss of access to IT services including data has an existential impact on an organization.
• A blocking statute can be initiated by the European Commission, but its effectiveness is questionable.

Trends in sanctions

• According to lawyer Sara Elizabeth Dill, specializing in sanctions compliance, the Trump administration increasingly uses sanctions and executive orders. New York Times article.
• The Center for Economic and Policy Research (CEPR) observes an increase in the number of US sanctions and questions their legality under international legislation. CEPR report.

Mitigating measures for providers

What can providers done against sanctions?

Organizational measures

Providers confronted with the sanctions have to comply or face strong penalties, making compliance the only reasonable option from a business perspective. What could providers do to avoid being affected by these sanctions?

• By not doing business in the US, the US government would not have leverage to impose sanctions or apply penalties. The US government would have to step up and apply secondary sanctions to the company that would not comply with the sanctions.
• A separate legal entity subsidiary might be a solution, as Amazon Web Services is creating for Europe. Datacenter Dynamics article. Due to the direct relationship it might not be sufficient to avoid a penalty to the holding. In the case of AWS, the European entity would offer a service using software from the parent organization, which could be subject to sanctions. This is similar to the questions raised on the sovereign clouds where Delos (by SAP) used technology from Microsoft and the cloud by Tales will use technology by Google. Bert Hubert article in Dutch. In case of sanctions the service offering could maybe be limited to just the parts that are not explicitly part of the sanctions.

Reducing susceptibility to US sanctions as a provider is difficult and not water tight.

Reduce customer impact

Another approach is to reduce the potential impact on the customer:

• If the customer has access to a backup of all information in a standard machine-readable format, it could migrate to an alternative service.
• If the provider offering is open source software, the sanctioned organization could still keep software up to date from the open source community. This removes the need to migrate to a different solution. When business can resume because sanctions are lifted or a governmental license is granted, the company could again offer the service on the open source product.

Open source

Open source projects are only partially immune to sanctions. As seen in the case of Organic Maps, the project infrastructure was blocked by sanctions. The Linux kernel project is legally registered in the US and has to comply to sanctions as well. They introduced the policy of not interacting with sanctioned persons and organizations. Sanctioned organizations are however still able to access the open source software due to the public nature. Linux Weekly News article and The Register article.

Conclusions

US sanctions in Europe used to be unthinkable. In the mean time US sanctions have been applied to organizations based in Europe. IT services became unavailable as a result. Providers get large fines for not complying with the sanctions, ensuring that sanctions come into effect.

The sanctions are effected immediately, increasing its impact. Objecting sanctions is not a short-term solution as it will result in a lengthy legal trial without provisional lifting of sanctions. The only real option left is to migrate to a different provider, if one is even available, or building an alternative in-house.

Although the likelihood of sanctions is low, it is no longer unthinkable. Given the major impact, it is important to incorporate this scenario in the IT strategy and operations.

Course of action

What can customers of US IT services do to reduce the impact of possible US sanctions? Here are some things I can think of:

• Use providers without business in the US to limit the exposure to US foreign policy.
• Backup important data under your own control in a standard format to be able to restore even if the associated software is no longer available.
• Use open source software to be able to restore a similar service.
• Use open standards for system interfaces to migrate to alternative services more easily.

Continue the discussion

Sanctions are a complicated topic and there are many aspects to the discussed cases. With this blogpost I aim to contribute to the discussion on digital sovereignty. Please contact me if you have suggestions for information I should look into, or information I should correct.

Lots of love from out of Hack42

"I Love Free Software Day" is a nice and positive campaign of FSFE to thank the people that enable Free Software on Valentines day. With many gatherings it is also a good opportunity to get together. In the Netherlands there was a workshop in The Hague and we had a meeting in Arnhem at hackerspace Hack42.

The meeting started with a tour for those that haven't visisted the hackerspace before. Especially because Hack42 only recently moved to this location. Then we could start for real. First an introduction round while enjoying slices of pizza. Everybody told about their personal experiences with Free Software and about the software and people that deserve a thank you.

Group picture of attendees (except for photographer)

In this way we learned about different software: web browsers Waterfox and Firefox, browser addon Vimium, desktop environment KDE, music program Audacity, text editor Vim (in memoriam Bram Moolenaar), photo importer Rapid Photo Downloader, smartphone operating systems CalyxOS and UBports, smartphone installer OpenAndroidInstaller, catalog software Omeka, compiler Free Pascal, personal cloud environment Nextcloud, document editor LibreOffice and home automation software Home Assistant. This was an inspiring and insightful round. Remarkable was that for almost everybody Firefox was one of the first Free Software applications.

Writing of thank you's started mostly with email and chat because most projects and developers lack a postal address. But after some research more and more handwritten I Love Free Software Day postcards ended up on the table, ready to send. It was great to see the collaboration by supporting each others cards with a signature. While were at it we also noticed some thank you's online on social media. The animated harts by Fedora really stood out.

Written I Love Free Software postcards

It was a great evening that really brought the community together. I'm proud of the enthousiasm and kind words. Hopefully the sent thank you's have a great impact.

I'm already looking forward to a love-filled meeting next year.

Veel liefde vanuit Hack42

"I Love Free Software Day" is een leuke positieve campagne van de FSFE om op valentijnsdag de mensen te bedanken die vrije software mogelijk maken. Met vele bijeenkomsten is het ook een goede gelegenheid om gezellig samen te komen. In Nederland was er een workshop in Den Haag en hadden we een bijeenkomst in Arnhem bij hackerspace Hack42.

De bijeenkomst begon met een rondleiding voor iedereen die nog niet in de hackerspace was geweest. Helemaal omdat Hack42 nog maar kort op de nieuwe locatie zit. Toen konden we echt beginnen. Eerst een voorstelronde onder het genot van stukken pizza. Iedereen vertelde over persoonlijk ervaringen met vrije software en over de software en mensen die een bedankje verdienden.

Groepsfoto van de deelnemers (zonder de fotograaf)

Op deze manier maakten we kennis met veel verschillende software: webbrowsers Waterfox en Firefox, browser extensie Vimium, desktopomgeving KDE, muziekprogramma Audacity, tekstverwerker Vim (in memoriam Bram Moolenaar), foto importsoftware Rapid Photo Downloader, smartphone besturingssystemen CalyxOS en UBports, smartphone installer OpenAndroidInstaller catalogussoftware Omeka, compiler Free Pascal, persoonlijke cloudomgeving Nextcloud, documentverwerker LibreOffice en huisautomatiseringsoftware Home Assistant. Dat was een enorm inspirerende en leerzame rondgang. Opmerkelijk was dat voor vrijwel iedereen Firefox een van de eerste vrije software applicaties was.

Het schrijven van bedankjes begon vooral met wat emails en chatberichten omdat van veel projecten en ontwikkelaars geen postadres bekend is. Maar na wat zoeken kwamen er steeds meer handgeschreven I Love Free Software Day-briefkaarten op tafel te liggen, klaar om te versturen. Het was mooi om te zien hoe de samenwerking werd gezocht door elkaars kaarten te steunen met een ondertekening. Terwijl we bezig waren zagen we online op social media ook al de nodige bedankjes. Zo viel ons oog op de geanimeerde harten door Fedora.

Geschreven I Love Free Software briefkaarten

Het was een gezellige avond die echt de community bij elkaar heeft gebracht. Trots ben ik op het enthousiasme en de lieve woorden. Hopelijk hebben de gestuurde bedankjes een grote impact.

Ik kijk nu al uit naar de liefdevolle bijeenkomst volgend jaar.

Dutch digital identity system crisis

Nederlandse versie

In the summer of 2021 I received a letter from my municipality that it was time to renew my driving license. The letter mentioned two ways of getting a renewal: either physically visit city hall or use the experimental digital process that has been around since 2018. More information on this digital process can be found on the dedicated Dutch webpage.

Driving license decision tree as shown in the letter

The first time I heard of this experiment was a couple of years ago at my local photographer, who was one of the first photographers to take part in this trial. Certified photographers act as the main point of contact in the process by ensuring a good photograph and identifying the citizen making the request. My local photographer was excited to take part in this experiment to help ease the process for customers. I too was excited because this seemed like a well thought-out process that would reduce the number of contacts and visits to get a driving license renewal.

So now, a couple of years later it was time for my renewal and it was about to experience how far our digital governmental services have come. I started the process by going to rijbewijsaanvragen.rdw.nl and I was immediately redirected to an DigiD prompt. DigiD is the login solution the Dutch government develops and uses. More information is available on Wikipedia and on the official website. Years ago DigiD was just using a username and password for verification, a single factor. Then SMS authentication was added as a possible second factor of authentication for improved security. Later a dedicated app was created for using your smarthone as a second factor, relying on the security features of the operating system. More recently the ability called check-id was added to apps read the NFC chip of identity cards and use that as the basis for authentication. More information on the identity card login method is available on the website.

When trying to start the digital request, this time the DigiD prompt didn't show the SMS authentication option I would normally use. I could choose between the DigiD app and the option to read the NFC chip from the identity card. I was was baffled and assumed I had perhaps made a mistake. Carefully tracking my steps I retried but again I was faced with the same prompt.

DigiD prompt

Doing some more research, I found out that SMS was not considered safe enough for this application, and so this project was set up to at least require an installed DigiD App as second factor, or the use of an NFC readout of your ID-card.

I actually didn't want to install the DigiD Android app, despite having a Nokia 8.1 smartphone with Google One Android on it. My previous phone was a Fairphone 2 with Fairphone Open OS, the Google-free Android version by Fairphone. Having experienced the Google-free Android, I've become aware how much apps rely on Google libraries and service to function. It had taken me quite some experimentation to move my app usage over to app that did not rely on Google Services. As I was considering another Google-free Android phone as my next phone, I didn't want to commit myself to using an app that relied on Google to function, which the DigiD App does. Also I was looking towards a Linux phone like the Pinephone with Mobian, which would move me even further away from the Android app ecosystem.

I looked on the DigiD website for suggestions for this situation. The official recommendation is to ask somebody else with the DigD app for help. I couldn't believe what I was reading. My government was now the single strongest force pulling me in the vendor-tied smartphone ecosystem I resent. I had already read about SMS planned to be phased out (Dutch article by Tweakers.net) and how the government is fuelling the Google and Apple duopoly (Dutch article, Archive.is), but being faced with it in real life made it so much more real and urgent. Already in 2018 when I was using the Fairphone, I emailed the DigiD if the if the DigiD app could be provided outside of the Google Play store, but got an answer that that was not possible.

I decided I would stand by my principle of not installing the app and try to see what I could achieve. Worst-case I had to go back to the physical process I had done the last time I got my driving license. So I reached out to the RDW team responsible for this digital process which was still called an experiment despite being a couple of years in use already. I explained my situation, mentioned that I was not willing to ask anybody for help because I didn't want to be relying on others for my digital services, and I asked about alternatives. I got a formal reply repeating what I already read online: it was not possible without the app.

In the mean time there was also a desktop application available to read out the NFC chip of an identity card. This app is only available through the Windows 10 app store. With all my computers running Debian or Ubuntu, that was no option for me. Even besides the fact that I didn't have an ID-card with a NFC-chip in it to actually identify with. So unless the government starts releasing the applications for different operating systems, I don't see this as a solution for me either.

DigiD prompt for NFC cards

Not having a solution that I could use by myself without relying on Google, I resorted to the traditional physical process. I went to my local photographer to get my picture taken, the same one that had told me about the digital process a few years earlier. He asked my if I wanted to use the digital process after I mentioned my picture was for my driving license renewal. I replied I didn't want to make use of that because I didn't want to install the app. And so I got my pictures in analog format, rather than them being sent digitally to the correct agency. Later I went to city hall to hand over my photograph and sign the papers requesting the renewal. A couple of days I went back to city hall to pick up my new driving license, and that was that.

Compared to the digital process it took me one more trip to city hall to file the request and it took some more paperwork. For a single case this wasn't so bad and it was something to overcome. But with SMS planned to be phased out in 2022 the impact would be much greater. Most online public services require a second factor of authentication now, and more and more services are becoming digital. Tax registration is one of the services that still allows authentication without a second factor of authentication, but for how long? Dealing with public services without the DigiD app will become increasingly difficult, and that is why we need a solution that meets the 'vendor-neutral' and 'open' principles that our government itself is calling for.

It worries me that our government so far seems inconsiderate for our stance. The information on the website seems to imply that if you don't have a Google Android or Apple smartphone you lack digital skills and fall into the same category as the elderly. Our community is quite the contrary. Exactly because we are so skilled and knowledgeable we avoid corporate dependence where we can. We need to make our voices heard and let the government know that we expect them to step up their game. In the last couple of years our community has shown in the Netherlands the willingness and ability to cooperate. For example by contributing to open source applications like the Covid tracing and QR-code apps and by making them available on F-Droid. So let's keep that spirit of collaboration and call out the government on the current crisis they created and demand a solution that meets our values.

Nederlandse crisis voor digitale identiteit

English version

In de zomer van 2021 ontving ik een brief van mijn gemeente dat het tijd was om mijn rijbewijs te vernieuwen. De brief beschreef twee manieren om een vernieuwing aan te vragen: ofwel fysiek het gemeentehuis bezoeken of gebruik maken van het experimentele digitale proces dat sinds 2018 bestaat. Meer informatie over dit digitale proces kan gevonden worden op de bijbehorende webpagina.

Rijbewijs beslisboom zoals weergegeven in de brief

De eerste keer dat ik hoorde van dit experiment was een paar jaar geleden bij mijn lokale fotograaf, die een van de eerste fotografen was die deelnam aan deze proef. Gecertificeerde fotografen functioneren als het voornaamste punt van contact in het proces door een goede foto te verzorgen en de aanvrager te identificeren. Mijn lokale fotograaf was enthousiast dat hij deel kon nemen in het experiment om zo het proces voor klanten makkelijker te maken. Ik was ook enthousiast omdat het leek dat dit een goed doordacht proces was dat het aantal contactmomenten en bezoekjes naar instanties zou beperken voor een rijbewijsvernieuwing.

Nu een paar jaar later, was het tijd voor mijn verlenging en stond ik op het punt te ervaren hoe ver onze digitale overheidsdiensten gekomen waren. Ik starte het proces door naar rijbewijsaanvragen.rdw.nl te gaan, en daar werd ik direct verwezen naar een DigiD inlogpagina. DigiD is de login-oplossing die de Nederlandse overheid ontwikkelt en gebruikt. Meer informatie is beschikbaar op Wikipedia en op de officiële website. Jaren geleden gebruikte DigiD slechts een gebruikersnaam en wachtwoord voor verificatie, een enkele factor. Toen werd SMS-authenticatie toegevoegd als een mogelijke tweede factor voor verbeterde veiligheid. Later werd een specifieke app ontwikkeld om je smartphone te gebruiken als een tweede factor, vertrouwend op veiligheidsmogelijkheden van het besturingssysteem. Meer recent is de mogelijkheid voor de zogenaamde check-id toegevoegd voor apps om de NFC-chip van identiteitskaarten uit te lezen als de basis van authenticatie. Meer informatie over de identiteitskaart-loginmethode is beschikbaar op de website.

Bij het starten van het digitale verzoek toonde het DigiD scherm dit keer niet de optie voor SMS-authenticatie die ik normaal gebruik. Ik kon kiezen tussen de DigiD app en de optie om de NFC-chip van de identiteitskaart te lezen. Ik was met stomheid geslagen en nam aan dat ik misschien een fout had gemaakt. Zorgvuldig mijn stappen nalopend probeerde ik het opnieuw maar kreeg ik wederom hetzelfde scherm.

DigiD scherm

Na wat onderzoek werd mij duidelijk dat SMS niet veilig genoeg werd geacht voor deze toepassing, en dus was dit project opgezet om tenminste een geinstalleerde DigiD app als tweede factor te eisen, of het uitlezen van de NFC-chip van je identiteitskaart.

Ik wilde eigenlijk niet de DigiD Android app installeren, ondanks dat ik een Nokia 8.1 smartphone heb met Google One Android erop. Mijn vorige telefoon was een Fairphone 2 met Fairphone Open OS, de Google-vrije Android versie van Fairphone. Door de Google-vrije Android ervaring ben ik bewust geworden hoeveel apps afhankelijk zijn van Google bibliotheken en diensten om te functioneren. Het had me best wat experimenteertijd gekost om mijn appgebruik te verplaatsen naar apps die niet van Google diensten afhankelijk waren. Omdat ik een andere Google-vrije Android telefoon overwoog als mijn volgende telefoon, wilde ik mij niet committeren aan een app die Google nodig had om te kunnen functioneren, wat de DigiD app wel doet. Ook keek ik uit naar een Linux telefoon zoals de Pinephone met Mobian, die me zelfs verder weg van het Android app ecosysteem zou bewegen.

Ik keek op de DigiD website voor suggesties voor deze situaties. De officiële aanbeveling is om iemand anders met den DigiD app te vragen voor hulp. Ik kon niet geloven wat ik las. Mijn overheid was nu de sterkste kracht die me naar het leveranciers-specifieke smartphone ecosysteem trok waar ik mij aan stoorde. Ik had al gelezen dat SMS uitgefaseerd zou gaan worden (Artikel van Tweakers.net) en over hoe de overheid de Google en Apple duopoly stimuleert (Artikel, Archive.is), maar ermee te worden geconfronteerd in het echt maakt het zoveel meer werkelijk en urgent. Al in 2018 toen ik een Fairphone gebruikte heb ik DigiD gemaild of de Digid app ook buiten de Google Play store verstrekt kon worden, maar daarop kreeg ik het antwoord dat dat niet mogelijk was.

Ik besloot dat ik bij mijn principe zou blijven om de app niet te installeren en dat ik zou zien hoe ver ik zou kunnen komen. In het slechtste geval zou ik terug moeten vallen op het fysieke proces dat ik de laatste keer had gebruikt om mijn rijbewijs aan te vragen. Dus nam ik contact op met het RDW-team dat verantwoordelijk is voor het digitale proces dat nogsteeds een experiment werd genoemd, ondanks dat het al een paar jaar in gebruik was. Ik legde mijn situatie uit en vermelde dat ik niemand om hulp wilde vragen omdat ik niet afhankelijk wilde zijn van anderen voor het gebruik van digitale diensten, en ik vroeg om alternatieven. Ik kreeg een formeel antwoord dat herhaalde wat ik online al had gelezen: het was niet mogelijk zonder de app.

Ondertussen was er ook een desktopapplicatie beschikbaar om de NFC-chip van een identiteitskaart uit te lezen. Deze is alleen beschikbaar via de Windows 10 app store. Omdat al mijn computer Debian of Ubuntu draaien was dat voor mij geen optie. Nog los van het feit dat ik geen identiteitskaart had met een NFC-chip erin om daadwerkelijk mee te identificeren. Dus tenzij de overheid besluit de applicatie uit te brengen voor andere besturingssystemen zie ik dit ook niet als een optie voor mij.

DigiD scherm voor NFC-kaarten

Bij gebrek aan een oplossing die ik zelfstandig kan gebruiken zonder te vertrouwen op Google-diensten, viel ik terug op het traditionele fysieke proces. Ik ging naar mijn lokale fotograaf om mijn foto te laten nemen, dezelfde die mij een paar jaar eerder vertelde over het digitale proces. Hij vroeg mij of ik gebruik wilde maken van het digitale proces nadat ik vermelde dat de foto bedoeld was voor het vernieuwen van mijn rijbewijs. Ik antwoordde dat ik daar geen gebruik van wilde maken omdat ik de app niet wilde installeren. En dus kreeg ik mijn foto's in analoog formaat, anders dan dat ze digitaal naar de juiste instantie verzonden zouden worden. Later ging ik naar het stadhuis om mijn pasfoto te overhandigen en de papieren te ondertekenen voor de aanvraag. Een paar dagen later ging ik terug naar het stadhuis om mijn nieuwe rijbewijs op te halen, en dat was dat.

In vergelijking met het digitale proces kostte het me slechts één extra gang naar het stadhuis en wat meer papierwerk. Voor een enkel geval was het niet zo slecht en acceptabel. Maar met de aangekondigde uitfasering van SMS in 2022 wordt de impact veel groter. De meeste online publieke diensten vereisen op dit moment een tweede factor voor authenticatie, en meer en meer diensten worden digitaal. Belastingopgave is een van de diensten die die nog steeds authenticatie zonder een tweede factor toestaat, maar voor hoe lang? Gebruik maken van publieke diensten zonder de DigiD app wordt aanzienlijk moeilijker, en dat is waarom we een oplossing nodig hebben die 'leveranciersonafhankelijk' en 'open' principes waar de overheid zelf voor pleit.

Het baart me zorgen dat onze overheid tot dusver geen begrip lijkt te tonen voor onze positie. De informatie op de website lijkt te impliceren dat als je geen Google Android of Apple smartphone hebt, je een gebrek aan digitale vaardigheden hebt en behoort tot dezelfde categorie als de ouderen. Onze gemeenschap is meestal het tegenovergestelde. Juist omdat we zo vaardig en bewust zijn vermijden we commerciële afhankelijkheid waar we kunnen. We moeten ons laten horen en de overheid laten weten dat we beter verwachten van onze overheid. In de laatste jaren heeft onze gemeenschap de wil laten zien om samen te werken. Bijvoorbeeld door bij te dragen aan open source applicaties zoals de Covid tracing en QR-code apps en door ze beschikbaar te maken op F-Droid. Dus laten we die insteek van samenwerking vasthouden en de overheid aanspreken op de crisis die ze heeft gecreëerd en laten we een oplossing eisen die tegemoet komt aan onze waarden.

How the Netherlands group grew in Covid times

Before André and I became coordinators for the Netherlands, we used to have yearly community meetings at both the Dutch T-DOSE and the Belgian FOSDEM conferences. In order to build the FSFE NL community, as new coordinators we started having a regular booth at the national Linux user group (NLLGG) that met bi-monthly in Utrecht, which is quite central in the Netherlands. The NLLGG has a large space for booths, so we could do our outreach alongside the various sessions and other booths that were going on. Via that regular booth, we had more frequent interactions with like-minded people, including the friends we had made over the years. Of course there were still people that were interested to stay in touch with the FSFE, but didn't want to travel half the country. At least we had email and chat as an option for those more distant relationships.

FSFE stand at NLLGG booth in Utrecht (NL) on 16th November 2019

And than Covid came to the Netherlands, and we were forced to change our ways. We could no longer meet at the physical NLLGG location. There was an online NLLGG session we joined, but as expected the main focus was on the Linux users there and not on our overlapping FSFE group. Eventually in the autumn we just tried our luck with an online session of our own. Luckily the FSFE had just launched their conference server based on BigBlueButton, so the required freedom-respecting infrastructure was already in place. We held our first meeting on the 28th of October 2020, which we announced on the FSFE website, on our XMPP group and on the Netherlands mailinglist (contact details on our BNL wiki page).

The first meeting was a bit rough. As can be expected with the hotchpotch of computer setups, there were various issues with audio and webcams. Still we had a nice meeting of about 1,5 hours to discuss various topics that were keeping our minds occupied. With everybody locked up at home, it was a welcome change to chat to the people with similar interest you would normally only meet by going to a conference or other community event. The format of the meeting was very much the same as at the booth, just to have a relaxed group conversation on free software related issues.

We kept on doing the online meetings by just scheduling another one at the end of the meeting. We recently had our 9th online get-together already. The attendance varies somewhere between the 5 and 9 persons. In the mean time we have settled on the 3rd Wednesday of the month, so it has be come a regular thing with a regular attendance. Every meeting is somewhat of a surprise, because you just don't know exactly what it will bring. Some new people might join, there might be some new and interesting subjects being tabled, and there could be a strong collaboration on an opportunity. The last meeting we started compiling a list of topics beforehand on an etherpad, so we can make an explicit decision which topics to spend time discussing.

We had one special occasion on the 25 of November 2020 when we had a sneak preview of the Dutch audio translation of the PMPC video. There was a larger attendance than usual, and Matthias was kind enough to join and speak some kind words about our local efforts.

In our meetings there is a lively discussion on current free software related topics, which helps to form opinions and perhaps even a plan of action. I like it when these discussions result in an idea of an action we could take from the FSFE perspective like reaching out to politicians or governmental organizations. The Dutch supporters have quite a bit of activism experience among them. Besides the general discussion plenty of day-to-day advice is shared how to maintain or increase your practical freedom.

The meetings are open to a wider audience, so if you are interested in attending, just sign up by emailing me and I'll send the meeting room details. The meetings are announced on the FSFE events page. We have successfully switched to English in multiple occasions to be inclusive to other nationalities, so language shouldn't be a problem. So maybe I'll see you there?

Dutch Public Money? Public Code! video released!

In my last blogpost I wrote about how we created a Dutch video translation of the Public Money? Public Code! campaign video. Well, you can now watch it yourself, as it has been released! On the 25th of November we held our Netherlands online get-together in which we showed it as a sneak preview, before release. At this meeting Matthias also joined to congratulate us with the result and to thank us for our efforts. This was a welcome surprise. Our next online get-together will be held on the 23rd of December, feel free to join and have a chat.

Nederlandse Public Money? Public Code! video uitgebracht!

In mijn vorige blogpost schreef ik over hoe we een Nederlandse videovertaling van de Public Money? Public Code! campagnevideo maakten. Nu kan je deze zelf bekijken, want de video is gepubliceerd! Op 25 november hielden we onze Nederlandse online get-together waar we een voorvertoning hebben gehouden. Bij deze bijeenkomst haakte Matthias ook aan om ons te feliciteren met het resultaat en ons te bedanken voor onze inzet. Dit was een welkome verassing. Onze volgende online get-together wordt gehouden op 23 December, voel je vrij om deel te nemen om bij te praten.

Recording a Public Money! Public Code? video translation

A Dutch translation of the Public Money? Public Code! campaign video is in the works and close to being released. The video was initially released in English and has been translated in many languages already: German, French, Italian, Polish and Russian. And there is an even greater number of subtitles available. Getting a voice-over translation for the video was one of this year’s goals for the Netherlands local group, to help us advocate for this cause. Getting a voice-over translation can be much more involving than a textual translation, so that why I want to explain how we did it. And by showing others the way, hopefully there will be more audio translations in the future.

Getting quality

What makes a good voice over translation? It should be clearly spoken, be comfortable to listen too, be a correct translation, have a timing that matches the sound effects and visuals, has a varying tone that matches the message, and keep a rhythm to it to keep the attention. As you can tell, there are many factors that have to be balanced, requiring an iterative process. A good translation has to be adjusted if it doesn't work for the required timing, and the best way to check the timing is by rendering the complete video with sounds effects. And so one has to be able to adjust parameters on the fly. Especially because arranging a voice actor and recording setup can be difficult and costly. You should be able to record it in about 5 to 10 takes. So you need a good preparation and the flexibility to make adjustments.

Process overview

Let me sum up the approach we took in the Netherlands:

1. Subtitle translation: Translating the English subtitles into Dutch. Working with these .srt subtitle files has the benefit of having a timing attached to them. You'll see the benefit of that in a minute.
2. Adjusting translations for a voice-over: Speaking the translated subtitles to the video to get a feel for the timing. Focusing on long sentences especially. The ones where you need to speed up. Those should be shortened to enable silences and a slower pace for clear pronunciation.
3. Record a demo to validate: Just like a singer, we recorded a 'demo'. We put the modified subtitle translation file in a subtitle editor to have a consistent timing (more on that later) and recorded a voice track. No fancy equipment, just a phone headset microphone and Audacity recording software There were still some miss-spoken words and false timings in it, but it was good enough. This demo allowed us to validate the translation in the team, to be certain we were ready for a recording. We also used it to show the voice actor what to expect.
4. Arranging the recording: We contacted a befriended couple for the recording. She has a quality voice, he has the technical knowledge and equipment for the recording. We had backup plans like renting equipment, reaching out to a local broadcasting station, or getting a professional to do it for us.
5. The recording: This was the most critical, but also the most fun part of the process. Seeing the preparation pay off and getting a quality recording. More about the technical side of the recording further down in this article.
6. Mixing: As we used two types of microphones for a stereo effect, they had to be balanced and mixed to get a nice sound. This was mostly done during the process of the recording. Also a gate and compressor were applied to reduce the noise during silences but keep a constant volume.
7. Editing: Despite having a practical auto-cue from the subtitles file, it took a couple of hours of editing to get the timing right. I used the English recording, the sound effects track, and the video to check the timing. Mostly I just had to just move sentences one or two seconds in the timing. But some parts required breaking down sentences to leave more space between words, to reduce the pace of the rhythm. Although the largest part of the recording was from the last take, some parts had to be 'repaired' with pieces of earlier takes.
8. Mastering: The PMPC video has a strong sound effects track. This does require the voice to cut through that for the audience to hear it. I had to apply more compression on the voice to further increase the volume, and had to EQ the female voice with a recommended boost at 400Hz and 4kHz to make it stand out more. Now both tracks could be combined into a single one to be added to the video.
9. Release: Adding the audio to the video to actually publish it.

In this case I was involved in the recording, mixing, editing and mastering. A professional would probably do the mixing besides the recording, but I'm not sure about the editing and mastering. Please look into this when you want to do it.

Autocue

Early on I realized that reading translations from a paper wouldn't cut it. Timing has to be correct, even though you can make corrections in the editing process. Having a timed text will help you keep the correct pace and eases the editing process.

First I tried reading from subtitles. Although that contains the timing, each time the subtitles pop up, you are surprised by the content and have to build a sentence. There is no way to view the next line of the translations, so you have to stop and pause until the next line shows up. This leads to a stop-and-go recording with bad rhythm.

Als an alternative I looked into autocue software and apps, but couldn't find any that fit my need. Most were made for speeches, where there was no requirement on timing, it would just do a certain words per minute. But this use-case required exact timing.

Then I found subtitle editors. Most have a preview where you can see overview of lines besides the video. That worked quite well. The best one I found was Subtitle Composer from the KDE suite of applications. Subtitle Composer has one major feature for this use-case: an auto-scrolling waveform.

Subtitle Compositor overview

You load Subtitle Composer with the translation and the PMPC video file and can just press play. The subtitles will appear on the video but also on the side at the scrolling waveform. The scrolling waveform has the benefit of showing a bar indicating the current time, passing through boxed-off subtitles. This helps to give you a feel for if you are leading or lagging, and how much time is reserved for a sentence. It works similar to the interface of games like Dance Dance Revolution or Guitar Hero, which also solve the issue of timing in this way.

Thinking about it now, I could also have looked into karaoke solutions, because there also timing is critical. I'm not sure if that provides a similar option to look ahead to upcoming lines of text.

I made two adjustments to the settings of Subtitle Composer to enhance the experience of the auto-scrolling waveform:

Subtitle Composer waveform settings

• Auto Scroll Padding: set to the maximum to prevent the waveform from jumping per page, causing the voice actor to lose its place. With the maximum padding it scrolls continuously.
• Subtitle text font size: The normal font size is quite small. I increased it to improve readability. The waveform changes its appearance to a horizontal waveform when the pane is stretched to more than about half the window size. In this horizontal form it becomes unusable for this purpose, so the waveform size is limited to about half the screen size. I found a size of 14pt was the largest I could go before words would end up besides the waveform screen.

Subtitle Composer is designed to make changes to the subtitles. Use that feature if you find that the current translation isn't working in practice. For the Dutch translations we still had a typo in the translation, had some comma's that were confusing the voice actress and she preferred to change the order of a sentences. We immediately changed these bits when we found them, so they went well in the next take. This allowed us to iterate quickly. Because of these modifications the last recording was used as the base, as it has the final version of the text.

Recording

Sound proofing

As any engineer will tell you: garbage in, garbage out. If you start with low quality, don't expect it to end up much better at the end. Let's start with acoustics. We recorded it in the study at my friends' place. The room is box-shaped filled with two desks and a few closets. It has laminate flooring and a huge window pane off to the side. So plenty of surfaces to reflect sound and little to disperse or dampen it. We did some sound-proofing:

• Hung a blanket at the wall behind the voice actress
• Closed the curtains before the window pane
• Used sheets of sound dampening foam to build a box around the microphone with an opening to the voice actress

We did this with stuff that was already available in the house and it made a huge difference for the audio quality. It reduced the echo in the room and blocked out noise from us moving on our chairs and spanning computer fans.

Microphones

Perhaps we over-engineerd this part a bit. We used a Sure SM58 as the main voice microphone, combined with a matched pair of RØDE M5 microphones to pick up on the stereo effect of certain vowels. This all went into an M-Audio interface connected to the recording computer. We used the non-free Reaper software on Windows as my friend was used to it and had everything configured and ready to go. I guess we could as well have used Ardour, which I used for the editing and mastering. Perhaps something for a future recording. (I ended up with the WAV files of the recordings and the mixed recordings, so I could always recreate it if I needed to).

Sound proofed setup with microphone and autocue screen

The Sure SM58 has a built-in pop-filter, to reduce the amount of air blowing into the microphone when vowels like P, B, S, T and F are spoken. This blowing of air creates a high-volume rumbling which is hard to remove in post-processing. The word 'PoPriaTary SoFTware' is really in need of a pop-filter. In hindsight it would have been better if we used an additional pop-filter to mount to the microphone, to further reduce the pops. I still consider the end-result perfectly usable, but would encourage you to take care of this if you arrange the equipment yourself.

We recorded in 48.000 Hz like the audio in the video and recorded in 24bits to keep plenty of detail.

Keeping notes

Another tip is to keep notes during the process. Do you notice a word being mispronounced, did you hear an unintended noise, or do you notice some wrong intonation, just write it down. I printed the text before the recording and kept it at hand during the process of recording, editing and mastering. As you can see I used it quite a bit.

Notes taken during the recording and editing process

Reviewing

During the recording, we had the video and sound effect track ready to go, to verify the timing. Granted, a lot could be done afterwards 'in post', but it is nice to be sure you have everything you need before breaking up the studio. Perhaps there was the option to synchronize a video with playing the software, but we just clicked the play-buttons of audio and video at the same time. I'd like to think the intermediary review helped the voice actress to better understand the meaning and timing of the words, leading to a better result.

Editing and mastering

I used to use Audacity for editing recordings. But in this case I had to work with multiple tracks and add some effects. I prefer to do so in a non-destructive way so I have more flexibility when editing. As far as I know Audacity cannot do so, so this was a nice opportunity for me to get familiar with Ardour. I had some initial problems running Ardour, because it didn't have the permissions to set realtime priorities for JACK. On Debian these permissions can be granted during installations or afterwards, as is described in the Debian JACK documentation. I was surprised that it was actually more performant than Audacity on my computer whilst packing more features.

Ardour overview

I used four tracks for editing the recording:

1. The final recording, used as the base of the sound track
2. A track containing parts of other recordings to 'repair' certain parts
3. The English audio track from the video, including sound effects, to compare timing of text
4. The sound effects track to check timing and for mastering into a single file

The wave-form of the English track helped me to pinpoint where certain parts of audio had to start.

Detail of the added spaces in the voice track

As you can see, some sentences were really cut into pieces to increase the duration of silences between words. These are the small details that make it a more pleasant listen.

Besides fixing timing and repairing text, I also cut out some noised like deep inhaling or scraping a throat in between sentences.

Pay attention to the end marker in Ardour, as that will determine the length of the exported audio. I set that to the length of the sound effects track.

Four tracks with effects on the two voice tracks

For mastering I added an equalizer to boost the 400Hz and 4kHz and used the VocalLeveller mode of the compressor to boost the volume. The sound effects track was mastered to zero dB sound pressure, hitting that level with the typing sound at the end of the video. The English voice also seemed to be mastered up to zero dB, so I did the same.

Ardour compressor settings

Equalizer settings

Release

The mastering resulted in a single .wav file to be added in the video. It already had the right length, as the end marker was set to the length of the sound effects track.

I initially added the sound to the video using OpenShot. Although that worked, it resulted in a stuttering video that wasn't pleasing to watch. Perhaps it had something to do with my process or setup. Anyhow, I ended up choosing a different solution: using the power of ffmpeg to replace the audio but keep the video as is. This was also a lot quicker. I used the instructions from this helpful blogpost. This resulted in the following command taking in 'pmpc_desktop.mp4' for video, 'pmpc-nl-mastered.wav' for audio, resulting in 'pmpc_desktop_nl.mp4':

1

ffmpeg -i pmpc_desktop.mp4 -i pmpc-nl-mastered.wav -map 0:0 -map 1:0 -shortest -c:v copy -c:a aac -b:a 256k pmpc_desktop_nl.mp4

Considering that all mastered tracks of the video are kept stored at the FSFE, the core team probably also has a method to add the audio.

Final words

I would like to thank my friends for their help. The video is close to being released. Just a few checks and we should be able to publish it.

I enjoyed the process of making the video and the final result. It took more time than I originally anticipated, mostly because I had to work out how to do it. That why I wrote this blogpost, to encourage you to do it too and save you time by suggesting a methodology. In the process I learned some new skills and got to use some free software that was new to me.

We will continue the Public Money? Public Code! campaign in the Netherlands and the video will help us. And as a reminder, if you haven't already, please sign the open letter if you agree with its content.

Opnemen van een Public Money? Public Code! videovertaling

Een Nederlandse vertaling van de Public Money? Public Code! campagnevideo is in de maak en wordt bijna uitgebracht. De video is initieel uitgebracht in het Engels en is al naar vele talen vertaald: Duits, Frans, Italiaans, Pools en Russisch. En er is nog een groter aantal ondertitels beschikbaar. Het krijgen van een voice-over-vertaling voor deze video was een van de jaarlijkse doelen voor de Nederlands local group, om ons te helpen bij belangenbehartiging. De productie van een voice-over-vertaling kan meer moeite kosten dan een tekstuele vertaling en daarom wil ik graag delen hoe we dit hebben gedaan. En door dit te tonen aan anderen komen er hopelijk meer audiovertalingen in de toekomst.

Kwaliteit krijgen

Wat maakt een goede voice-over-vertaling? Het zou duidelijk gesproken moeten zijn, comfortabel moeten zijn om naar te luisteren, een correcte vertaling zijn, een timing hebben die aansluit bij de geluidseffecten en het beeldmateriaal, heeft een variërende toon die past bij het bericht, en een ritme hanteren om de aandacht vast te houden. Zoals je kan zien zijn er verschillende factoren die gebalanceerd moeten worden, wat een iteratief proces vereist. Een goede vertaling moet worden aangepast als het niet werkt voor de vereiste timing, en de beste manier om de timing te controleren is door een complete video met geluidseffecten te renderren. En daarom moet men in staat zijn om in het moment aanpassingen te maken. In het bijzonder omdat het organiseren van een stemacteur en een opnameopzet moelijk en duur kan zijn. Je moet in staat zijn het in ongeveer 5 tot 10 takes op te nemen. Dus je hebt behoefte aan een goede voorbereiding en de flexibiliteit om aanpassingen te maken.

Procesoverzicht

Laat me de aanpak opsommen die we in Nederland hebben toegepast:

1. Vertaling ondertitels: Vertalen van de Engelse ondertitels naar het Nederlands. Werken met deze .srt ondertitelbestanden heeft het voordeel dat het de timing bevat. Dit voordeel zal straks aan bod komen.
2. Aanpassen van de vertalingen voor een voice-over: Uitspreken van de vertaalde ondertitels op de video om gevoel te krijgen voor de vertaling. Hierbij in het bijzonder letten op de lange zinnen. De zinnen waar je moet versnellen. Die zouden moeten worden ingekort om stiltes en een langzamer tempo mogelijk te maken, voor een duidelijke articulatie.
3. Opnemen van een demo ter validatie: Net als een zanger hebben we een 'demo' opgenomen. We hebben de aangepaste vertaling van het ondertitelbestand in een ondertitelbewerker geladen om een consistente timing te hebben (hierover later meer) en hebben een stemopname gemaakt. Geen bijzondere apparatuur, gewoon de microfoon van een headset en Audacity opnamesoftware. Er waren nog steeds enkele versprekingen en verkeerde timing, maar dit was goed genoeg. De demo stelde ons in staat om de vertaling te valideren in het team, om er zeker van te zijn dat we klaar waren voor de opname. We hebben deze ook laten zien aan de stemacteur zodat die wist wat te verwachten.
4. Organiseren van de opname: We hebben een bevriend stel benaderd voor de opname. Zij heeft een goede stem, hij heeft de technische kennis en apparatuur voor een opname. We hadden een backup-plan zoals het huren van apparatuur, benaderen van een lokaal radiostation of door een professional het voor ons te laten doen.
5. De opname: Dit was het meest kritieke, maar ook meest leuke deel van het proces. Zien dat de voorbereiding zich terugbetaalt en het krijgen van een kwalitatieve opname. Meer over de technische kant van de opname verderop in dit artikel.
6. Mixen: Omdat de twee typen microfoons gebruikten voor een stereo-effect moesten deze worden gebalanceerd en gemixt om een goed geluid te krijgen. Dit was voornamelijk gedaan gedurende de opname. Ook zijn een gate en compressor toegepast om de ruis gedurende stiltes te reduceren en een constant volume te houden.
7. Bewerken: Ondanks het praktisch hebben van een auto-cue van de ondertiteling duurde het nog een paar uur nabewerking om de timing goed te krijgen. Ik gebruikte de Engelse opname, het geluidseffecten-spoor en de de video om de timing te controleren. Voornamelijk moesten zinnen een of twee seconden worden verplaatst in hun timing. Maar sommige delen vereisten het opbreken van zinnen om meer ruimte te laten tussen woorden om de snelheid van het ritme te reduceren. Hoewel het grootste deel van de opname voortkwam uit de laatste take, zijn sommige delen 'gerepareerd' met delen van eedere takes.
8. Mastering: De PMPC video heeft een sterk spoor met geluidseffecten. Dit vereist dat de stem daar doorheen weet te breken zodat het publiek het goed kan horen. Ik moest meer compressie op de stem toepassen om het volume te vergroten, en had EQ nodig om de vrouwelijke stem te versterken op de aanbevelen punten van 400Hz en 4kHz. Nu kunnen beide sporen worden gecombineerd in een enkele om toe te voegen aan de video.
9. Uitbrengen: Toevoegen van de audio aan de video om het daadwerkelijk te kunnen publiceren.

In dit geval was ik betrokken bij het opnemen, mixen, bewreken en masteren. Een professional zou waarschijnlijk ook het mixen doen naast de opname, maar dat weet ik niet voor het bewerken en masteren. Kijk daar alstublieft naar als je dit wilt doen.

Autocue

Al vroeg realiseerde ik me dat het lezen van vertalingen van papier niet goed werkte. De timing moet goed zijn, ondanks dat er nog aanpassingen gedaan kunnen worden bij de nabewerking. Een getimede tekst helpt je om het juiste tempo aan te houden en vergemakkelijkt de nabewerking.

Eerst probeerde ik te lezen van de ondertitels. Hoewel dit de timing wordt je elke keer verrast door de inhoud die op het scherm verschijnt waarmee de zin moet opbouwen. Er is geen manier om de volgende regel van de vertalingen te zien, dus je moet pauzeren tot de volgende regel verschijnt. Dit resulteert in een stop-and-go opname met een slecht ritme.

Als een alternatief heb ik gekeken naar autocue software en apps, maar kon niets vinden dat aansloot bij mijn behoefte. De meeste waren gemaakt voor voordrachten waar er geen eis is voor de timing. Het doet dan een vast aantal woorden per minuut. Maar deze use-case vereist een exacte timing.

Toen vond ik ondertitelbewerkers. De meesten hebben een voorbeeld waar je een overzicht van de tekst kan zien naast de video. Dit werkt behoorlijk goed. De beste die ik vond is Subtitle Composer van de KDE verzameling van applicaties. Subtitle Composer heeft één voorname mogelijkheid voor deze toepassing: een automatisch scrollende golfvorm.

Subtitle Compositor overzicht

Je laadt de de Subtitle Composer met de vertaling en het PMPC videobestand en drukt simpelweg op de afspeelknop. De ondertitels zullen verschijnen op de video maar ook aan de zijkant bij de scrollende golfvorm. De scrollende golfvorm heeft het voordeel dat het een lijn toont die de huidige tijd aangeeft, die zich voortbeweegt door de afgekaderde ondertitels. Dit helpt om je een gevoel te geven of je voor- of juist achterloopt, en hoeveel tijd er is gereserveerd voor een zin. Het werkt vergelijkbaar met de gebruikersinterface van spelen zoals Dance Dance Revolution of Guitar Hero, die ook het probleem van timing op deze manier oplossen.

Nu ik erover nadenken had ik ook naar karaoke software kunnen kijken omdat ook daar de timing cruciaal is. Ik ben er niet zeker van of dat een vergelijkbare optie biedt om vooruit te kunnen kijken naar aanstaande regels van tekst

Ik heb twee aanpassingen gemaakt aan de instellingen van Subtitle Composer om de gebruikservaring van de automatisch scrollende golfvorm te maken:

Subtitle Composer waveform instellingen

• Auto Scroll Padding: ingesteld op het maximum om te voorkomen dat de golfvorm per pagina verspringt, waardoor de stemacrtice haar positie verlies. Met de maximale afstand scrollt het continu.
• Subtitle text font size: De normale tekstgrootte van het lettertype is behoorlijk klein. Ik heb het vergroot om de leesbaarheid te vergroten. De golfvorm veranderd van gedaante naar een horizontale golfvorm als het paneel verder wordt uitgerekt dan ongeveer de helft van de schermgrootte. In deze horizontale vorm wordt het onbruikbaar voor dit doel, dus de golvormgrootte is beperkt tot ongeveer de helft van het scherm. Ik vond dat een grootte van 14pt het grootst was dat ik kon gaan voordat woorden naast het golfvormscherm belandden.

Subtitle Composer is ontworpen om ondertitels te bewerken. Gebruik deze mogelijkheid als je vindt dat de huidige vertaling niet werkt ovor je doel. Voor de Nederlandse vertaling hadden we nog een spelfout in de de vertaling, hadden we enkele komma's die verwarrend waren voor de stemactrice en ze gaf had de voorkom om de volgorde van enkele zinnen te veranderen. We hebben deze punten direct aangepast zodra we ze vonden, zodat dit goed ging in de volgende take. Dit maakte het mogelijk om snel te itereren. Vanwege deze aanpassingen is de laatste opname als basis gebruikt, omdat het de laatste versie van de tekst had.

Opname

Geluidsisolatie

Zoals een ingenieur je zal vertellen: troep in, troep uit. Als je begint met lage kwaliteit, verwacht dan niet om te eindigen met iets veel beters. Laten we beginnen met acoustiek. We hebben het opgenomen in de studeerkamer van mijn vrienden. De ruimte is doosvormig met twee bureaus en een paar kasten. Het heeft een laminaten vloer en een groot raam aan de zijkant. Dus behoorlijk wat oppervlakken om geluid te reflecteren en weinig om het te verspreiden of te dempen. We hebben wat geluidsisolatie toegepast:

• Een deken gehangen op de muur achter de stemactrice
• Gordijnen gesloten voor het raam
• Panelen van geluiddempend schuim gebruikt om een doos te bouwen om de microfoon met een opening naar de stemactrice

We hebben dit gedaan met spullen die al ter beschikking waren in het huis en dit maakte een enorm verschil voor de geluidskwaliteit. Het reduceerde de echo in de kamer en blokkeerde de ruis van ons bewegend op de stoelen en de draaiende computerventilatoren.

Microfonen

Misschien hebben we dit deel iets over-engineered. We hebben een Sure SM58 als de voornaamste stemmicrofoon gebruikt, gecombineerd met een gepaarde set  RØDE M5 microfoons om het stereo-effect van bepaalde klanken op te pakken. Dit ging allemaal in een M-Audio interface verbonden met de opnamecomputer. We gebruiken de niet-vrije Reaper software op Windows, omdat mijn vriend al gewend was dit te gebruiken en alles al had ingesteld, klaar om te gebruiken. Ik denk dat we net zo goed Ardour hadden kunnen gebruiken, dat ik ook heb gebruikt voor het nabewerken en masteren. Misschien iets voor een toekomstige opname. (Ik ontving de WAV bestanden van de opnames en de afgemixte opnames, dus ik kan het altijd opnieuw creëren als ik zou moeten).

Geluidsgeïsoleerde opstelling met een microfoon en autocuescherm

De Sure SM58 heeft een ingebouwd pop-filter om de hoeveelheid lucht te beperken dat over de microfoon wordt geblazen bij klanken als P, B, S, T en F worden gesproken. Deze geblazen lucht resulteert een hard gerommel dat moeilijk te verwijderen is in de nabewerking. Het woord 'PoPriëTaire SoFTware' vraagt echt om een pop-filter. Achteraf gezien hadden we beter een extra pop-filter kunnen gebruiken om op de microfoon te monteren, om de pops nog verder te reduceren. Toch vind ik het eindresultaat prima bruikbaar, maar ik zou je aanbevelen om hiervoor te zorgen als je zelf je apparatuur regelt.

We hebben opgenomen in 48.000 Hz net als de audio in de video en in 24bit om voldoende detail te behouden.

Notities bijhouden

Een andere tip is om notities bij te houden gedurende het proces. Als je hoort dat een woord verkeerd wordt uitgesproken, dat er een onbedoeld geluid te horen is, of als er iets mis is met de intonatie, schrijf het op. Ik heb de tekst uitgeprint voor de opname en heb het bij de hand gehouden tijdens de opname, nabewerking en mastering. Zoals je kunt zien heb ik er behoorlijk gebruik van gemaakt.

Notities maakt gedurende de opname, nabewerking en mastering

Terugluisteren

Gedurende de opname hadden we de video en het geluidseffectenspoor klaar om af te spelen, om de timing te controleren. Toegegeven, veel kan worden gedaan 'in post', maar het is prettig om er zeker van te zijn dat je alles hebt wat je nodig hebt, voordat je de studio opbreekt. Misschien was er de mogelijkheid om een video te synchroniseren met met het afspelen van de opname, maar we hebben gewoonweg de afspeelknoppen van de audio en video tegelijkertijd ingedrukt. Ik houd me vast aan de gedachte dat het tussentijds terugluisteren de stamactrice heeft geholpen om de betekening en de timing van de woorden beter te begrijpen, wat leidde tot een beter resultaat.

Nabewerken en mastering

Ik gebruikte Audacity voor het nabewerken van opnames. maar in dit geval moest ik werken met meerdere sporen en moest ik wat effecten toepassen. Ik doe dit bij voorkeur in een non-destructieve manier zodat ik meer flexibiliteit heb bij het bewerken. Zover ik weet kan Audacity dit niet doen, dus dat was een mooie kans voor mij om bekend te raken met Ardour. Ik had enkele problemen in het begin om Ardour uit te voeren, omdat ik het niet de juiste rechten had om realtime prioriteiten voor JACK in te stellen. Op Debian kunnen deze rechten worden gegeven tijdens installatie of achteraf, zoals beschreven in de Debian JACK documentation. Ik was verrast dat het beter presteerde dan Audacity op mijn computer hoewel het meer mogelijkheden had.

Ardour overzicht

Ik heb vier sporen gebruikt voor het nabewerken van de opname:

1. De laatste take, gebruikt als de basis
2. Een spoor met delen van andere takes om bepaalde delen te 'repareren'
3. Het Engelse audiospoor van de video, inclusief geluidseffecten, om de timing van de tekst te vergelijken
4. De geluidseffecten om de timing te controleren en om tot een enkel bestand te kunnen masteren

De golfvorm van het Engelse spoor hielp me te bepalen waar bepaalde delen van de audio moesten beginnen.

Detail van de toegevoegde ruimte in het stemspoor

Zoals je kunt zien zijn sommige zinnen echt in delen geknipt om de duur van de stiltes te vergroten. Dit zijn de kleine details die het prettiger maken om naar te luisteren.

Naast het corrigeren van de timing en het repareren van de tekst, heb ik ook wat ruis verwijderd zoals diep inademen op het schrapen van de keel tussen zinnen.

Let op de eindmarkering in Ardour, omdat dit de lengte van de geëxporteerde audio zal bepalen. Ik heb dit gezet op de lengte van het geluidseffectenspoor.

Vier sporen met effecten op de twee stemsporen

Voor de mastering heb ik een equalizer toegevoegd om de 400Hz en 4kHz te versterken en de VocalLeveller modus van de compressor om het volume te vergroten. het geluidseffectenspoor is gemastered op nul dB geluidsdruk, dat wordt bereikt bij het typegeluid aan het einde van de video. De Engelse stem lijkt ook gemastered op nul dB, dus dat heb ik ook gedaan.

Ardour compressor instelling

Equalizer instellingen

Uitbrengen

Het masteren resulteerde in een enkel .wav bestand dat aan de video moet worden toegevoegd. Het had al de juiste lengte omdat de eindmarkering op de lengte van het geluidseffectenspoor gezet was.

Ik heb initieel het geluid aan de video toegevoegd met OpenShot. Hoewel dit werkte, resulteerde het in een stotterende video die niet prettig was om te bekijken. Misschien had dit iets te doen met mijn proces of setup. Hoe dan ook, ik heb uiteindelijk een andere oplossing gekozen: gebruik makend van de kracht van ffmpeg om de audio te vervangen maar de video te behouden. Dit was ook een stuk sneller. Ik heb de instructies gebruikt van deze behulpzame blogpost. Dit resulteerde in de volgende opdracht die gebruik maakt van 'pmpc_desktop.mp4' voor video 'pmpc-nl-mastered.wav' voor audio, en resulteert in 'pmpc_desktop_nl.mp4':

1

ffmpeg -i pmpc_desktop.mp4 -i pmpc-nl-mastered.wav -map 0:0 -map 1:0 -shortest -c:v copy -c:a aac -b:a 256k pmpc_desktop_nl.mp4

Wetende dat alle gemasterde sporen van de video worden bewaard bij de FSFE, heeft het core team waarschijnlijk ook een methode om de audio toe te voegen.

Laatste woorden

Ik wil mijn vrienden bedanken voor hun hulp. De video staat op het punt om uitgebracht te worden. Nog een paar controles en dan zouden we het moeten kunnen publiceren.

Ik heb genoten van het maken van de video en van het eindresultaat. Het kostte meer tijd dan ik oospronkelijk had gedacht, voornamelijk omdat ik ook moest bedenken hoe ik dit aan moet pakken. Dat is waarom ik deze blogpost heb geschreven, om je aan te moedigen het ook te doen en je tijd te besparen door een methodiek voor te stellen. In het proces heb ik wat nieuwe vaardigheden geleerd en heb ik wat vrije software gebruikt die nieuw voor me was.

We zullen doorgaan met de Public Money? Public Code! campagne in Nederland en de video zal ons helpen. En als een herinnering, als je dat nog niet hebt gedaan, taken alstublieft de open brief als je het eens bent met de inhoud.