The in(put)s and out(put)s of generative AI
Hear from prominent industry experts on the state of play and what’s next for the sector in our feature Q&As from Shawn Malhotra of Thomson Reuters and Jordan Jacobs of Radical Ventures.
For technology lawyers, virtually every conversation with a client regarding the use of new technology eventually turns to the use of generative AI. With the explosion of ChatGPT and all the media attention surrounding the power of generative AI, AI has evolved from a “niche” product that techies talk about to something that is now debated broadly by society in general. While people may not understand how it works, they believe it has the ability to revolutionize the way people work. Businesses want to harness its power while being responsible with its use and, in particular, understand what goes into and comes out of the “black box” of generative AI. As lawyers, we work with clients to address their concerns regarding how AI consumes sensitive data and what rights the client has over the inputs to, and outputs from, an AI model.
Generative AI concerns from the legal perspective
When we deal with consumers of generative AI products and services, our clients’ starting position often centers on questions of intellectual property (IP), privacy and security. They typically want to ensure that 1) they have sole discretion over the data they provide to the AI system, 2) their data can only be used by the system to provide services to them (not third parties), and 3) any output of the system that was created for them is owned by them. We understand where these positions come from and want to share some perspectives on whether they fit within the context of generative AI.
Handling client data within an AI model
An initial concern that often arises is that the client’s data will be “in” the model, implying that when you feed information into the model, it keeps a record of all the information that it has been fed. The concern is that the model acts like a library, which can use the data that it has been fed in the future and, therefore, is subject to security risks.
However, we have found that generally this isn’t the case when speaking to AI providers. If the model is being trained with the client’s data, what is happening at a basic level is that the model looks at the new data (be it a document or photo, etc.), updates all of the relevant model’s data records (which could be as simple as a spreadsheet) with the additional information and then discards the original document or photo. You can think of it as numerous spreadsheets of data containing relationships between words or pieces of information, which are, in turn, able to be updated.
The numbers of these “spreadsheets”, which are referred to as parameters or vectors, are huge. For example, in 2023, it was understood that ChatGPT-4 had more than 1.75 trillion parameters1. Given that the original document (or the client’s data) is discarded after entering the parameters, generally the generative AI model cannot retrieve the original document; however, with the right inputs or queries, it may be able to reproduce the information or produce something similar to it, including, concerningly, some of the sensitive data contained in it. Thus, when considering the protections needed in an agreement with a generative AI provider, we have found that a more helpful way to discuss the issues between the parties is to frame the issues around the use of the client’s data, and not necessarily as a question of copyright (such as whether there was fair use or fair dealing in the training or if the output of the tool is a “copy” of inputted data).
Finding common ground for clients and vendors
We are finding that, at this early stage, clients who are consumers of generative AI products and services still prefer that their data is not used to train an AI model at all; however, it is often worthwhile to explore this position further. More nuanced discussions regarding what data is being provided and whether certain data (e.g., not business confidential or personal information) would be appropriate to allow the vendor to use to train the model may lead to common ground that is beneficial to both the AI provider and the client of such products and services.
To address common business concerns regarding the use of these models, a number of providers of generative AI are now offering models that do not “learn” from the inputs that are provided in the live version. After the model is first trained with other data, the live model is static, meaning that it discards the input and outputs once the query is complete, and is then only improved by further training done on the model outside of the live version. As an aside, the use of a live model that evolves with user inputs (in particular, where the model is being used by people other than the client) creates other risks, which need to be considered but are beyond the scope of this article.
The remaining question(s) of copyright
The outputs of generative AI can lead to additional concerns since there is no current consensus on the parameters that would create copyrightable generative AI outputs. Further, the question remains as to whether there can be copyright afforded to the output of generative AI at all.
The questions of who owns AI output (is it the user of the AI, the provider of the AI, or the AI?), or if there is anything to own at all, are currently subject to various litigation and government consultations. In the here and now, if the question of who owns the output of generative AI cannot be effectively answered, or answered with a sufficiently high degree of predictability, there is an additional suite of questions for clients and providers to consider:
- How do clients and providers of generative AI contract for the provision of products and services?
- Can a provider of the generative AI agree that a client will “own” the output or assign the copyright of the output to the client?
- If it is possible for the provider to assign the copyright of the output to a first client, will the provider then be able to assign the output to a second client, who caused the generation of a similar output by using similar input queries?
These questions are leading to a potential trend where a provider will not agree to assign the copyright, or warrant that a client will own the copyright, to the output of generative AI. It is unclear if this is a sustainable business model that would be acceptable to clients in time.
Le mois dernier, le Canada a publié sa première Stratégie industrielle de défense (la Stratégie), qui souligne l’engagement du Canada à développer une base industrielle de défense solide et à stimuler la croissance économique. Ces efforts pourraient aussi comprendre le renforcement de l’état de préparation à la biodéfense et aux contre-mesures médicales, ce qui pourrait constituer des débouchés pour le secteur canadien des sciences de la vie en raison de l’importance accordée aux capacités nationales en ce sens et de la nécessité d’atténuer les risques d’urgences sanitaires.
Développement de contre-mesures médicales au Canada
Comme indiqué dans les bulletins précédents, le quatrième pilier de la Stratégie est axé sur la « sécurisation des chaînes d’approvisionnement pour les intrants et les biens clés » par le renforcement de la production nationale et le stockage de ressources. L’accent est mis tout particulièrement sur les contre-mesures médicales, en précisant que nos « alliés ont établi un lien explicite entre l’état de préparation à la biodéfense et aux contre-mesures médicales et leur sécurité économique et nationale, en élaborant de nouvelles stratégies et de nouveaux mécanismes pour faire progresser ces travaux ». Les contre-mesures médicales désignent divers produits réglementés pouvant être utilisés pour protéger la population lors d’une situation d’urgence de grande ampleur, comme l’éclosion d’une maladie ou une attaque impliquant des armes chimiques, biologiques ou nucléaires. Il peut s’agir de vaccins, de médicaments thérapeutiques et produits biologiques, de dispositifs de tests diagnostiques, des équipements de protection individuelle ou industrielle, et d’autres dispositifs médicaux. Les contre-mesures médicales sont essentielles à la réduction et à l’atténuation des dommages lors d’une urgence de santé publique.
Exploiter les voies réglementaires mises en place lors de la pandémie de COVID-19
Pendant et après la pandémie de COVID-19, le Canada a mis en place plusieurs nouvelles voies réglementaires comme mécanismes d’accélération des approbations de produits médicaux, ce qui pourrait offrir au gouvernement des options pour déployer des contre-mesures médicales afin de faire face aux risques pour la santé publique. Au début de la pandémie, Santé Canada a émis diverses ordonnances provisoires pour permettre l’importation et la vente de médicaments et de dispositifs médicaux qui n’avaient pas eu l’approbation des voies réglementaires traditionnelles. Or, Santé Canada a plutôt fait confiance aux voies d’approbation réglementaire et de l’exemption de certaines exigences en homologation de produits des pays impliqués dans la transaction. Beaucoup de ces règles provisoires ont depuis été officiellement intégrées à la réglementation en vertu de la Loi sur les aliments et drogues et ont été appliquées bien après la COVID-19. Conformément au Règlement sur les aliments et drogues, Santé Canada tient à jour la Liste des maladies qui menacent la santé publique et utilisera une procédure d’autorisation modifiée pour les médicaments d’urgence de santé publique pouvant traiter les affections figurant sur la liste. De même, le Règlement sur les instruments médicaux a établi une liste d’instruments médicaux répondant à un besoin urgent de santé publique, ce qui permet à Santé Canada d’autoriser la commercialisation de ces instruments de manière accélérée. Ces outils réglementaires sont utilisés automatiquement quand une situation médicale présente un grand risque pour la santé publique au Canada et nécessite une action immédiate pour contrer ce risque.
Le rôle de la Stratégie dans le renforcement du régime réglementaire de la santé au Canada
La stratégie prévoit que le Canada adoptera une approche proactive en matière de planification en amont des crises sanitaires. Le gouvernement entend s’assurer que les produits médicaux sont déjà disponibles au Canada afin qu’ils puissent être distribués rapidement en cas d’urgence. D’autres modifications récentes au Règlement sur les aliments et drogues permettent de prépositionner au Canada tous les médicaments d’urgence en santé publique, ce qui signifie qu’ils peuvent être importés dans des installations d’entreposage canadiennes avant que leur mise sur le marché n’ait été autorisée. La Stratégie s’appuie sur ces fondements, en faisant référence à l’organisme existant Préparation aux crises sanitaires Canada (PCSC), un organisme opérationnel spécial au sein d’Innovation, Sciences et Développement économique Canada (ISDE), et à un nouveau Fonds des sciences de la vie, lesquels « collaborent avec des partenaires internationaux et de soutenir l’élaboration et la production de contre-mesures médicales ». PCSC supervise la Stratégie en matière de biofabrication et de sciences de la vie du Canada, qui vise à développer un secteur national des sciences de la vie fort et compétitif doté de capacités de biofabrication de pointe, en mettant l’accent sur la capacité à se préparer et à faire face aux futures priorités et crises sanitaires. Dans cette optique, il y aura des occasions pour les fabricants de nouer des collaborations de recherche et des accords commerciaux ou d’approvisionnement liés aux contre-mesures médicales financées par des programmes fédéraux.
Étroitement lié aux capacités nationales, le pilier III de la stratégie implique « Investissement ciblé pour renforcer un secteur canadien de la défense novateur », avec la promesse que le gouvernement fédéral « soutiendr[a] la recherche et le développement, protéger[a] la propriété intellectuelle, soutiendr[a] les petites et moyennes entreprises, investir[a] dans les compétences et la formation, et encourager[a] les exportations afin de créer un secteur de la défense agile et concurrentiel à l’échelle mondiale ». La nécessité de favoriser le développement de la propriété intellectuelle (PI) et la conservation des droits du Canada est mentionnée à plusieurs reprises dans la Stratégie. Par exemple, la Stratégie prévoit l’établissement de partenariats officiels avec l’industrie canadienne qui « [assureront] la propriété et le contrôle nationaux de la propriété intellectuelle (PI) et des capacités essentielles. » La Stratégie reconnaît l’immense talent des établissements canadiens et la précieuse recherche qui y est menée actuellement et qui est déjà financée par des subventions de recherche d’organismes tels que le Conseil de recherches en sciences naturelles et en génie et les Instituts de recherche en santé du Canada, et fait aussi référence à l’engagement de 1,6 milliard de dollars pour de nouveaux fonds de recherche dans le budget de 2025. Cette prise de conscience de la nécessité de promouvoir et de soutenir l’innovation au Canada laisse présager des possibilités de financement, notamment dans les domaines où le Canada accuse un retard en matière de production nationale et où des engagements d’investissement et de fabrication au Canada peuvent être pris.
Prochaines étapes
Dans les prochains mois, nous prévoyons que le gouvernement du Canada publiera d’autres directives et des mesures de suivi. L’équipe de défense des conservateurs poursuivra sa couverture de perspectives sur la défense au Canada en publiant une analyse supplémentaire pour donner des précisions sur l’incidence de la Stratégie sur de multiples secteurs.