Wikipedia volunteers spent years cataloging AI tells. Now there’s a plugin to avoid them.
The web’s best guide to spotting AI writing has become a manual for hiding it.
++
Wikipediaの「AI検出ガイド」が、逆にAIを“人間らしく見せる”ためのマニュアルになっている
Wikipedia編集者たちが、AIが書いた文章を見抜くためにまとめたガイドが、いまやAIに「人間らしい」文を書かせるための指針として転用されている。
Wikipedia volunteers spent years cataloging AI tells. Now there’s a plugin to avoid them.
The web’s best guide to spotting AI writing has become a manual for hiding it.
by Benj Edwards
https://arstechnica.com/ai/2026/01/new-ai-plugin-uses-wikipedias-ai-writing-detection-rules-to-help-it-sound-human/
On Saturday, tech entrepreneur Siqi Chen released an open source plugin for Anthropic’s Claude Code AI assistant that instructs the AI model to stop writing like an AI model. Called “Humanizer,” the simple prompt plugin feeds Claude a list of 24 language and formatting patterns that Wikipedia editors have listed as chatbot giveaways. Chen published the plugin on GitHub, where it has picked up over 1,600 stars as of Monday.
“It’s really handy that Wikipedia went and collated a detailed list of ‘signs of AI writing,’” Chen wrote on X. “So much so that you can just tell your LLM to… not do that.”
The source material is a guide from WikiProject AI Cleanup, a group of Wikipedia editors who have been hunting AI-generated articles since late 2023. French Wikipedia editor Ilyas Lebleu founded the project. The volunteers have tagged over 500 articles for review and, in August 2025, published a formal list of the patterns they kept seeing.
Chen’s tool is a “skill file” for Claude Code, Anthropic’s terminal-based coding assistant, which involves a Markdown-formatted file that adds a list of written instructions (you can see them here) appended to the prompt fed into the large language model (LLM) that powers the assistant. Unlike a normal system prompt, for example, the skill information is formatted in a standardized way that Claude models are fine-tuned to interpret with more precision than a plain system prompt. (Custom skills require a paid Claude subscription with code execution turned on.)
But as with all AI prompts, language models don’t always perfectly follow skill files, so does the Humanizer actually work? In our limited testing, Chen’s skill file made the AI agent’s output sound less precise and more casual, but it could have some drawbacks: it won’t improve factuality and might harm coding ability.
In particular, some of Humanizer’s instructions might lead you astray, depending on the task. For example, the Humanizer skill includes the line: “Have opinions. Don’t just report facts – react to them. ‘I genuinely don’t know how to feel about this’ is more human than neutrally listing pros and cons.” While being imperfect seems human, this kind of advice would probably not do you any favors if you were using Claude to write technical documentation.
Even with its drawbacks, it’s ironic that one of the web’s most referenced rule sets for detecting AI-assisted writing may help some people subvert it.
Spotting the patterns
So what does AI writing look like? The Wikipedia guide is specific with many examples, but we’ll give you just one here for brevity’s sake.
Some chatbots love to pump up their subjects with phrases like “marking a pivotal moment” or “stands as a testament to,” according to the guide. They write like tourism brochures, calling views “breathtaking” and describing towns as “nestled within” scenic regions. They tack “-ing” phrases onto the end of sentences to sound analytical: “symbolizing the region’s commitment to innovation.”
To work around those rules, the Humanizer skill tells Claude to replace inflated language with plain facts and offers this example transformation:
Before: “The Statistical Institute of Catalonia was officially established in 1989, marking a pivotal moment in the evolution of regional statistics in Spain.”
After: “The Statistical Institute of Catalonia was established in 1989 to collect and publish regional statistics.”
Claude will read that and do its best as a pattern-matching machine to create an output that matches the context of the conversation or task at hand.
An example of why AI writing detection fails
Even with such a confident set of rules crafted by Wikipedia editors, we’ve previously written about why AI writing detectors don’t work reliably: There is nothing inherently unique about human writing that reliably differentiates it from LLM writing.
One reason is that even though most AI language models tend toward certain types of language, they can also be prompted to avoid them, as with the Humanizer skill. (Although sometimes it’s very difficult, as OpenAI found in its yearslong struggle against the em dash.)
Also, humans can write in chatbot-like ways. For example, this article likely contains some “AI-written traits” that trigger AI detectors even though it was written by a professional writer—especially if we use even a single em dash—because most LLMs picked up writing techniques from examples of professional writing scraped from the web.
Along those lines, the Wikipedia guide has a caveat worth noting: While the list points out some obvious tells of, say, unaltered ChatGPT usage, it’s still composed of observations, not ironclad rules. A 2025 preprint cited on the page found that heavy users of large language models correctly spot AI-generated articles about 90 percent of the time. That sounds great until you realize that 10 percent are false positives, which is enough to potentially throw out some quality writing in pursuit of detecting AI slop.
Taking a step back, that probably means AI detection work might need to go deeper than flagging particular phrasing and delve (see what I did there?) more into the substantive factual content of the work itself.
Wikipediaの「AI検出ガイド」が、逆にAIを“人間らしく見せる”ためのマニュアルになっている
Wikipedia編集者たちが、AIが書いた文章を見抜くためにまとめたガイドが、いまやAIに「人間らしい」文を書かせるための指針として転用されている。
WIRED
https://wired.jp/article/wikipedia-group-made-guide-to-detect-ai-writing-now-a-plug-in-uses-it-to-humanize-chatbots/
1月下旬、テック起業家のシーチー・チェンは、人工知能（AI）特有の書き方を抑えるためのオープンソース・プラグインを、AnthropicのAIアシスタント「Claude Code」向けに公開した。
「Humanizer」と名付けられたこのシンプルなプロンプト型プラグインは、あるWikipediaページに編集者たちが「チャットボットだとわかる特徴」として挙げた24の言語・書式パターンを集めたものだ。これらをClaudeに与えることで、返答がより人間らしくなるよう設計されている。チェンはこのプラグインをGitHubで公開しており、1月19日の時点で1,600以上のユーザーから支持を示すスターが付けられている。
「Wikipediaが『AI文章の兆候』を詳細にまとめてくれたのは本当に役に立ちます」と、チェンはXに書いた。「便利すぎて、LLMに『それをやるな』と伝えるだけで済むほどです」
Humanizerの元になっているのは、2023年後半からAI生成記事を追跡してきたWikipedia編集者グループ「WikiProject AI Cleanup」によるガイドだ。フランス語版Wikipediaの編集者、イリヤス・ルブルーによって設立された、AI生成記事の整理・検証を目的とする有志プロジェクトである。ボランティアたちは500以上の記事にレビュー用のタグを付け、その後2025年8月、頻繁に見られた特徴やパターンをまとめた正式な一覧を公開した。
「スキルファイル」とは
チェンのツールは、Anthropicのターミナルベースのコーディングアシスタント「Claude Code」向けのスキルファイルだ。これはMarkdown形式のファイルで、アシスタントを動かす大規模言語モデル（LLM）に渡されるプロンプトの末尾に、追加の指示を組み込む仕組みになっている（ここで確認できる）。通常のシステムプロンプトとは異なり、スキルファイルの情報は標準化された形式で記述されている。そのためClaudeのモデルは、これを通常のプロンプトよりも高い精度で解釈できるよう微調整されている（カスタムスキルを使用するには、コード実行を有効にした有料のClaudeサブスクリプションが必要だ）。
しかし、ほかのあらゆるAIプロンプトと同様に、言語モデルがスキルファイルの指示を常に完璧に守れるわけではない。では、Humanizerは実際どの程度正確に機能するのだろうか。実際に行なったテストでは、チェンのスキルファイルを使うことで、AIエージェントの出力は厳密さがやや減り、よりカジュアルで人間的な語り口になる傾向が見られた。一方で、欠点も明らかになった。事実性が向上するわけではなく、場合によってはコーディング能力を損なう可能性もある。
タスクによっては、誤った方向へ導きかねない指示も含まれている。例えばHumanizerのなかには、次のような一文がある。「意見をもて。事実を報告するだけでなく、それに反応せよ。『正直どう感じればいいのか分からない』と言うほうが、長所と短所を中立的に列挙するより人間らしい「不完全さ」こそが人間らしさの一部だとしても、この種の助言は、例えばClaudeを使って技術文書を正確に書く必要がある場合には、ほとんど役に立たないだろう。
それでもなお、AI文章を検出するために最も参照されてきたルールセットのひとつが、今度は「ばれないようにAIを使う」ための助けになっているかもしれない。その皮肉さは否定できないことだ。
パターンを見抜くには
では、AIが書いた文章とはどのようなものなのだろうか。Wikipediaのガイドには数多くの具体例が挙げられているが、ここでは簡潔さのために一例だけ紹介しよう。
ガイドによると、一部のチャットボットは英語の場合、例えば「marking a pivotal moment（～の画期的な瞬間を示す）」や「stands as a testament to（～の証として立っている）」といった表現を使い、対象を過剰にもち上げる傾向がある。文体は、しばしば観光パンフレットを思わせる。景色を「breathtaking（息をのむほど美しい）」と表現し、町を「nestled within scenic regions（風光明媚な地域に抱かれるように位置する）」と描写する、といった具合だ。また、文章を分析的に見せようとして、文末に「～ing」句を付け足すケースもある。例えば、「symbolizing the region’s commitment to innovation（地域の革新への取り組みを象徴している）」といった表現である。
こうしたパターンを避けるため、HumanizerスキルはClaudeに対し、誇張された表現を平易な事実へ置き換えるよう指示している。ガイドでは、次のような変換例が示されている。
変更前： “The Statistical Institute of Catalonia was officially established in 1989, marking a pivotal moment in the evolution of regional statistics in Spain.”（カタルーニャ統計研究所は1989年に正式に設立され、スペインにおける地域統計の発展において画期的な瞬間を示した）
変更後： “The Statistical Institute of Catalonia was established in 1989 to collect and publish regional statistics.”（カタルーニャ統計研究所は、地域統計を収集・公表するために1989年に設立された）
Claudeはこれらの指示を読みとり、一種のパターンマッチング機械として、会話やタスクの文脈に合った出力を生成しようとする。
AI文章検出が失敗する理由
しかし、Wikipedia編集者がつくったルールが存在しても、AI文章検出ツールが常に正確に機能するわけではない。『WIRED』はこれまでも、AI文章検出器が信頼性高く動作しない理由について繰り返し報じてきた。人間の文章には、LLMの文章と確実に区別できる固有の特徴が存在しないからだ。理由のひとつは、多くのAI言語モデルが特定の言語傾向をもっていたとしても、Humanizerが示すように、それを避けるよう促すことが可能である点にある（もっとも、OpenAIが長年エムダッシュ（—）の使用を抑えようとしてきたことからもわかるように、これは非常に難しい課題だ）。
さらに言えば、人間自身が、実際にチャットボットのような書き方をすることもある。例えばこの記事そのものにも、プロのライターが書いたにもかかわらず、AI検出器を反応させかねない「AI的特徴」が含まれている可能性は高い。特に、エムダッシュをひとつでも使えばなおさらだ。多くのLLMは、ウェブ上にあるプロの文章を学習データとしてとり込み、その文体を模倣しているからである。
こうした点を踏まえ、Wikipediaのガイドには次のような注意書きが添えられている。ガイドに記載された指示は、未加工のChatGPT使用に見られるような明白な兆候を指摘するものではあるが、あくまで観察結果の集積であり、絶対的なルールではない。同ページで引用されている2025年のプレプリントによると、LLMを頻繁に使う人は、約90％の確率でAI生成記事を正しく見抜けるという。一見すると高い数字に思えるが、裏を返せば10％は誤検出である。AIの粗雑な文章を排除しようとする過程で、質の高い文章まで切り捨ててしまう可能性があると考えると、話は変わってくる。
一歩引いて考えれば、AI検出の取り組みは、特定の言い回しを指摘することにとどまらず、文章そのものが提示している事実や内容の妥当性に、より深く踏み込む必要があるのだろう。
Wikipedia:Signs of AI writing
Wikipedia
https://en.wikipedia.org/wiki/Wikipedia:Signs_of_AI_writing
This is a list of writing and formatting conventions typical of AI chatbots such as ChatGPT, with real examples taken from Wikipedia articles and drafts. It is a field guide to help detect undisclosed AI-generated content on Wikipedia: while some of the signs may be broadly applicable, some may not apply in a non-Wikipedia context.[a] Not all text featuring these indicators is AI-generated, as the large language models that power AI chatbots are trained on human writing, including Wikipedia.
Moreover, this list is descriptive, not prescriptive; it consists of observations, not rules. Advice about formatting or language to avoid can be found in the policies and guidelines and the Manual of Style, but does not belong on this page.
The patterns here are also only potential signs of a problem, not the problem itself. While many of these issues are immediately obvious and easy to fix—e.g., excessive boldface, broken markup, citation style quirks—they can point to less outwardly visible problems that carry much more serious policy risks. Please do not merely treat these signs as the problems to be fixed; that could just make detection harder. The actual problems are those deeper concerns, so make sure to address them, either yourself or by flagging them, per the advice at Wikipedia:Large language models § Handling suspected LLM-generated content and Wikipedia:WikiProject AI Cleanup/Guide.
The speedy deletion policy criterion G15 (LLM-generated pages without human review) lists some signs of AI writing, but is limited to the most objective ones. The remaining signs covered here are not sufficient on their own for speedy deletion.
Caveats
AI detection tools
Do not solely rely on artificial intelligence content detection tools (such as GPTZero). While they perform better than random chance, these tools have non-trivial error rates.[1] Detectors can be susceptible to factors such as text modifications (e.g. paraphrasing and spacing changes) and the use of models not seen during detector training.
Your detection ability
Do not rely too much on your own judgment. While research on humans’ abilities to detect AI-generated text is limited, a 2025 preprint shows that heavy users of LLMs can correctly determine whether an article was generated by AI about 90% of the time, which means that if you are an expert user of LLMs and you tag 10 pages as being AI-generated, you’ve probably falsely accused one editor. People who don’t use LLMs much do only slightly better than random chance (in both directions).