A sword and a shield: AI’s dual-natured role in cybersecurity
Authors
Nic Wall
Rachael Gregoris
Artificial intelligence (AI) is an increasingly powerful force in the cybersecurity space. Unfortunately, it is available to both good and bad actors. Hackers use AI tools as weapons to carry out sophisticated cyberattacks, while organizations develop defensive mechanisms to identify and eliminate threats.
With a projected global market value exceeding US$130 billion by 2030, the AI cybersecurity market is one of the fastest growing spaces in the technology sector1. This massive growth is believed to be driven by both the rapid development of AI capabilities and the necessity of implementing AI-driven cybersecurity tools.
This article examines the impacts of advancements in AI technologies on both sides of cybercrime and offers guidance to organizations looking to bolster their cybersecurity programs.
How are threat actors using AI?
AI is used to scale up cyberattacks
While AI tools are highly valued for their ability to process enormous quantities of data, hackers can leverage their processing power to increase the frequency, sophistication and calibre of cyberattacks. Since 2021, cybercrime incidents have surged worldwide, with data breaches increasing by 72% between 2021 and 20232. Automated tools used in attacks and extortion, such as chatbots, can rely on AI to become more sophisticated and believable. AI can increase the scale of some types of cyberattacks, like distributed denial of service (DDoS) attacks, where massive amounts of web traffic are used to overwhelm the target’s servers. AI’s application can also extend beyond the initial cyberattack itself. When criminals succeed in a data breach, they can use AI tools to comb through terabytes of data and identify the most sensitive information, like personal information, trade secrets and financial data.
Generative AI’s new role in social engineering
Generative AI models are used to produce high-quality text, images, audio and video. These outputs, also known as deepfakes, are increasingly responsible for high-profile cyberattacks due to their believability.
In January, hackers targeted an employee of a British engineering firm. Impersonating the firm’s CFO, the hackers told the employee to transfer funds to the hackers’ bank account. When the employee sought to confirm the instructions via video chat, the hackers impersonated the CFO using deepfake video capabilities and convinced the employee to transfer the funds. Ultimately, the hackers stole US$25 million from the firm before the transactions were discovered to be fraudulent3. For more on AI consumer risks, read “AI in financial services: are consumers better protected, or more at risk?”
The traditional telltale signs of phishing are also becoming increasingly obsolete as generative AI becomes more convincing at impersonating colleagues, friends and family members. Educating employees on hackers’ new abilities and implementing authentication procedures will be essential to avoiding impersonation-based cyberattacks. For more on human resources, read “Can HR use AI to recruit, manage and evaluate employees?”
How can organizations use AI to protect themselves?
AI automates cybersecurity practices
On the other side of the coin, AI-driven cybersecurity tools can provide a formidable barrier against cyberattacks.
Another major benefit of using AI is the ability to automate routine security practices such as threat monitoring. Indeed, many endpoint detection and response tools (tools used to detect malicious software) have leveraged AI for some time to help determine how the tools identify and respond to suspected threats. The comprehensive monitoring employed by these and similar security tools far surpasses human capabilities while using fewer resources. These tools not only alleviate some of the workload for cybersecurity teams but can also reduce human error, which is widely attributed as the leading cause of system breaches4.
Further, AI-based tools can identify, test and patch system vulnerabilities before they are exploited by hackers. A proactive approach to cybersecurity is critical, as bad actors use their own AI tools to locate these vulnerabilities more quickly than ever before.
Increased adaptability through machine learning
Many AI-based cybersecurity tools use some form of machine learning; a process where a program draws conclusions by detecting patterns in large sets of data. Machine learning systems can continuously alter their actions based on new and changing data without any human intervention. This quality makes them indispensable to organizations looking to adapt their cybersecurity response to evolving threats.
Legal considerations for organizations
Most sophisticated organizations are aware of the range of legal, operational and related risks that successful cyberattacks pose. Understanding how the underlying technological threats are changing is essential to maintaining a clear view of these risks. Organizations should therefore ensure personnel are monitoring advancements in cybersecurity threats and solutions.
Organizations should also consider incorporating AI tools into their cybersecurity arsenals to address the increased monitoring and deployment required to address AI-driven attacks. However, organizations should keep in mind that the use of the term “AI” in describing a product does not automatically mean the product is good or effective. Indeed, AI can also be entirely unnecessary for certain functions. Organizations should do their due diligence, and ensure they review product descriptions, documentation and contractual terms.
In addition, businesses should consider deeper and more frequent training of personnel and other (sometimes low-tech) solutions to counter increasingly sophisticated social engineering attacks.
Finally, organizations should monitor the regulatory landscape as Canada and other countries and regulators continue to respond to both cyberattacks and advances in AI (for more on AI regulations, read “What’s new with artificial intelligence regulation in Canada and abroad?”). Indeed, Bills C-26 and C-27, both currently advancing through Parliament, respectively contain new proposed requirements for cybersecurity and AI.
- See “Value of the artificial intelligence (AI) cybersecurity market worldwide from 2023 to 2030”, Statista. February 16, 2024. https://www.statista.com/statistics/1450963/global-ai-cybersecurity-market-size/
- See “Cybersecurity stats: Facts and figures you should know”, Forbes. February 28, 2024. https://www.forbes.com/advisor/education/it-and-tech/cybersecurity-statistics/
- See “A deepfake ‘CFO’ tricked the British design firm behind the Sydney Opera House in $25 million scam.” Fortune. May 17, 2024. https://fortune.com/europe/2024/05/17/arup-deepfake-fraud-scam-victim-hong-kong-25-million-cfo/
- See “Human error drives most cyber incidents. Could AI help?” Harvard Business Review. May 3, 2024. https://hbr.org/2023/05/human-error-drives-most-cyber-incidents-could-ai-help
This article was published as part of the Q4 2024 Torys Quarterly, “Machine capital: mapping AI risk”.
Le mois dernier, le Canada a publié sa première Stratégie industrielle de défense (la Stratégie), qui souligne l’engagement du Canada à développer une base industrielle de défense solide et à stimuler la croissance économique. Ces efforts pourraient aussi comprendre le renforcement de l’état de préparation à la biodéfense et aux contre-mesures médicales, ce qui pourrait constituer des débouchés pour le secteur canadien des sciences de la vie en raison de l’importance accordée aux capacités nationales en ce sens et de la nécessité d’atténuer les risques d’urgences sanitaires.
Développement de contre-mesures médicales au Canada
Comme indiqué dans les bulletins précédents, le quatrième pilier de la Stratégie est axé sur la « sécurisation des chaînes d’approvisionnement pour les intrants et les biens clés » par le renforcement de la production nationale et le stockage de ressources. L’accent est mis tout particulièrement sur les contre-mesures médicales, en précisant que nos « alliés ont établi un lien explicite entre l’état de préparation à la biodéfense et aux contre-mesures médicales et leur sécurité économique et nationale, en élaborant de nouvelles stratégies et de nouveaux mécanismes pour faire progresser ces travaux ». Les contre-mesures médicales désignent divers produits réglementés pouvant être utilisés pour protéger la population lors d’une situation d’urgence de grande ampleur, comme l’éclosion d’une maladie ou une attaque impliquant des armes chimiques, biologiques ou nucléaires. Il peut s’agir de vaccins, de médicaments thérapeutiques et produits biologiques, de dispositifs de tests diagnostiques, des équipements de protection individuelle ou industrielle, et d’autres dispositifs médicaux. Les contre-mesures médicales sont essentielles à la réduction et à l’atténuation des dommages lors d’une urgence de santé publique.
Exploiter les voies réglementaires mises en place lors de la pandémie de COVID-19
Pendant et après la pandémie de COVID-19, le Canada a mis en place plusieurs nouvelles voies réglementaires comme mécanismes d’accélération des approbations de produits médicaux, ce qui pourrait offrir au gouvernement des options pour déployer des contre-mesures médicales afin de faire face aux risques pour la santé publique. Au début de la pandémie, Santé Canada a émis diverses ordonnances provisoires pour permettre l’importation et la vente de médicaments et de dispositifs médicaux qui n’avaient pas eu l’approbation des voies réglementaires traditionnelles. Or, Santé Canada a plutôt fait confiance aux voies d’approbation réglementaire et de l’exemption de certaines exigences en homologation de produits des pays impliqués dans la transaction. Beaucoup de ces règles provisoires ont depuis été officiellement intégrées à la réglementation en vertu de la Loi sur les aliments et drogues et ont été appliquées bien après la COVID-19. Conformément au Règlement sur les aliments et drogues, Santé Canada tient à jour la Liste des maladies qui menacent la santé publique et utilisera une procédure d’autorisation modifiée pour les médicaments d’urgence de santé publique pouvant traiter les affections figurant sur la liste. De même, le Règlement sur les instruments médicaux a établi une liste d’instruments médicaux répondant à un besoin urgent de santé publique, ce qui permet à Santé Canada d’autoriser la commercialisation de ces instruments de manière accélérée. Ces outils réglementaires sont utilisés automatiquement quand une situation médicale présente un grand risque pour la santé publique au Canada et nécessite une action immédiate pour contrer ce risque.
Le rôle de la Stratégie dans le renforcement du régime réglementaire de la santé au Canada
La stratégie prévoit que le Canada adoptera une approche proactive en matière de planification en amont des crises sanitaires. Le gouvernement entend s’assurer que les produits médicaux sont déjà disponibles au Canada afin qu’ils puissent être distribués rapidement en cas d’urgence. D’autres modifications récentes au Règlement sur les aliments et drogues permettent de prépositionner au Canada tous les médicaments d’urgence en santé publique, ce qui signifie qu’ils peuvent être importés dans des installations d’entreposage canadiennes avant que leur mise sur le marché n’ait été autorisée. La Stratégie s’appuie sur ces fondements, en faisant référence à l’organisme existant Préparation aux crises sanitaires Canada (PCSC), un organisme opérationnel spécial au sein d’Innovation, Sciences et Développement économique Canada (ISDE), et à un nouveau Fonds des sciences de la vie, lesquels « collaborent avec des partenaires internationaux et de soutenir l’élaboration et la production de contre-mesures médicales ». PCSC supervise la Stratégie en matière de biofabrication et de sciences de la vie du Canada, qui vise à développer un secteur national des sciences de la vie fort et compétitif doté de capacités de biofabrication de pointe, en mettant l’accent sur la capacité à se préparer et à faire face aux futures priorités et crises sanitaires. Dans cette optique, il y aura des occasions pour les fabricants de nouer des collaborations de recherche et des accords commerciaux ou d’approvisionnement liés aux contre-mesures médicales financées par des programmes fédéraux.
Étroitement lié aux capacités nationales, le pilier III de la stratégie implique « Investissement ciblé pour renforcer un secteur canadien de la défense novateur », avec la promesse que le gouvernement fédéral « soutiendr[a] la recherche et le développement, protéger[a] la propriété intellectuelle, soutiendr[a] les petites et moyennes entreprises, investir[a] dans les compétences et la formation, et encourager[a] les exportations afin de créer un secteur de la défense agile et concurrentiel à l’échelle mondiale ». La nécessité de favoriser le développement de la propriété intellectuelle (PI) et la conservation des droits du Canada est mentionnée à plusieurs reprises dans la Stratégie. Par exemple, la Stratégie prévoit l’établissement de partenariats officiels avec l’industrie canadienne qui « [assureront] la propriété et le contrôle nationaux de la propriété intellectuelle (PI) et des capacités essentielles. » La Stratégie reconnaît l’immense talent des établissements canadiens et la précieuse recherche qui y est menée actuellement et qui est déjà financée par des subventions de recherche d’organismes tels que le Conseil de recherches en sciences naturelles et en génie et les Instituts de recherche en santé du Canada, et fait aussi référence à l’engagement de 1,6 milliard de dollars pour de nouveaux fonds de recherche dans le budget de 2025. Cette prise de conscience de la nécessité de promouvoir et de soutenir l’innovation au Canada laisse présager des possibilités de financement, notamment dans les domaines où le Canada accuse un retard en matière de production nationale et où des engagements d’investissement et de fabrication au Canada peuvent être pris.
Prochaines étapes
Dans les prochains mois, nous prévoyons que le gouvernement du Canada publiera d’autres directives et des mesures de suivi. L’équipe de défense des conservateurs poursuivra sa couverture de perspectives sur la défense au Canada en publiant une analyse supplémentaire pour donner des précisions sur l’incidence de la Stratégie sur de multiples secteurs.