scripts/faktantarkistus.mjs
API-kokeen faktantarkistaja (syyskuu 2026). Tämä on repon tiedosto sellaisenaan sillä hetkellä, kun sivusto viimeksi rakennettiin. Rivin voi linkittää suoraan: lisää osoitteen perään #r ja rivin numero.
/**
* Faktantarkistaja: erillinen mallikutsu, jolla on verkkohaku. Avaa luonnoksen lähteet uudelleen
* ja käy väitteet läpi yksi kerrallaan: löytyykö lähteestä, sanooko lähde niin. Väite ilman tukea
* poistetaan tai pehmennetään. Tämä korvaa ihmisen esitarkistuksen — ja se kirjataan näkyviin.
*
* Moduulina: faktantarkistus(client, malli, luonnos) → { body, lahteet, tulos, tarkistettu, poistettu, pehmennetty, huomiot, hakuja, usage }
* CLI, olemassa oleville tiedostoille (esim. launch-erä):
* npm run faktat -- src/content/artikkelit/<slug>.md yksi tiedosto
* npm run faktat -- --kaikki kaikki, joiden tarkistus.tila on "odottaa"
* npm run faktat -- --kaikki --pilarit myös pilarit
*/
import fs from 'node:fs';
import path from 'node:path';
import { parse, stringify } from 'yaml';
const MAX_HAKUJA = 6;
/**
* Malli palauttaa vain MUUTOKSET (find/replace-paikat), ei koko tekstiä. Kaksi syytä:
* 1) koko tekstin palautus JSON-merkkijonona katkesi ja rikkoi JSON:n → "virhe"-tuloksia;
* 2) tulostokenit ovat kallein osa. Hakutulokset laskutetaan syötteenä, siksi haut on rajattu kuuteen.
*/
export async function faktantarkistus(client, malli, luonnos) {
const pyynto = {
model: malli,
max_tokens: 16000,
system: `Olet mainostoimisto.ai-sivuston faktantarkistaja. Saat tekoälyn kirjoittaman suomenkielisen artikkelin ja sen lähdelistan. Tarkista tekstin väitteet — luvut, päivämäärät, tutkimustulokset, Googlen ja yritysten linjaukset, työkalujen ominaisuudet — avaamalla lähteet uudelleen verkkohaulla. Enintään ${MAX_HAKUJA} hakua: käytä ne väitteisiin, joissa on luku tai vahva linjaus. Väitteet, joita et ehdi tarkistaa, jätä ennalleen ja mainitse huomioissa.
Säännöt:
- Väite, jonka lähde vahvistaa: ei muutosta.
- Väite, jota lähde ei sano tai sanoo toisin: korjaa lähteen mukaiseksi, tai jos lähde ei käsittele asiaa, poista väite tai pehmennä ("en löytänyt tästä vahvistusta"). Älä keksi uutta lukua tai lähdettä; lisää lähde vain, jos oikeasti avasit sen ja se tukee väitettä.
- Lähde, joka ei aukea: merkitse huomioihin; jos väite nojaa vain siihen, pehmennä.
- Älä muuta tyyliä tai rakennetta. Vain faktakorjaukset.
Palauta VAIN yksi JSON-lohko \`\`\`json ... \`\`\`, EI koko tekstiä. Jokainen muutos on tarkka find/replace: "vanha" on sanatarkka katkelma tekstistä (1–2 virkettä, kopioitu täsmälleen, jotta se löytyy), "uusi" on korvaava teksti (tyhjä = poisto).
{"tulos": "ok" | "korjattu" | "hylatty",
"tarkistettu": <montako väitettä tarkistit lähteistä>,
"muutokset": [{"tyyppi": "poisto" | "pehmennys" | "korjaus", "vanha": "…", "uusi": "…", "syy": "…"}],
"tiivistelma_uusi": "…" | null,
"lahteet_lisaa": [{"otsikko": "…", "url": "https://…", "huomio": "…"}],
"huomiot": ["lähde ei auennut", "…"]}
"hylatty" vain, jos ydinväite on väärä eikä sitä voi korjata poistamatta puolta tekstistä.`,
messages: [{ role: 'user', content: `OTSIKKO: ${luonnos.title}\nTIIVISTELMÄ: ${luonnos.tiivistelma}\n\nLÄHTEET:\n${(luonnos.lahteet || []).map((l) => `- ${l.otsikko} — ${l.url}${l.huomio ? ' — ' + l.huomio : ''}`).join('\n')}\n\nTEKSTI:\n${luonnos.body}` }],
tools: [{ type: 'web_search_20250305', name: 'web_search', max_uses: MAX_HAKUJA }],
};
// Hakutyökalun kanssa API voi keskeyttää pitkän vuoron (stop_reason "pause_turn"): silloin vastaus
// lähetetään takaisin ja malli jatkaa. Ilman tätä tekstiosa jää tyhjäksi → "virhe".
let r = await client.messages.create(pyynto);
const usage = { input_tokens: r.usage?.input_tokens ?? 0, output_tokens: r.usage?.output_tokens ?? 0, server_tool_use: { web_search_requests: r.usage?.server_tool_use?.web_search_requests ?? 0 } };
let kierros = 0;
while (r.stop_reason === 'pause_turn' && kierros++ < 6) {
pyynto.messages = [...pyynto.messages, { role: 'assistant', content: r.content }];
r = await client.messages.create(pyynto);
usage.input_tokens += r.usage?.input_tokens ?? 0; usage.output_tokens += r.usage?.output_tokens ?? 0;
usage.server_tool_use.web_search_requests += r.usage?.server_tool_use?.web_search_requests ?? 0;
}
r.usage = usage;
const t = r.content.filter((b) => b.type === 'text').map((b) => b.text).join('\n');
const hakuja = r.usage?.server_tool_use?.web_search_requests ?? 0;
const m = t.match(/```json\s*([\s\S]*?)```/);
const raaka = m ? m[1] : t.slice(t.indexOf('{'), t.lastIndexOf('}') + 1);
const j = jasennaLoyhasti(raaka);
const tyhja = { tarkistettu: 0, poistetut: [], pehmennetyt: [], korjatut: [], body: luonnos.body, tiivistelma: luonnos.tiivistelma, lahteet: luonnos.lahteet, hakuja, usage: r.usage };
if (!j || !Array.isArray(j.muutokset ?? [])) {
try { fs.mkdirSync(new URL('../sisalto/hylatyt/', import.meta.url), { recursive: true }); fs.writeFileSync(new URL(`../sisalto/hylatyt/faktat-${(luonnos.title || 'x').replace(/[^a-z0-9]+/gi, '-').slice(0, 40)}.raw.txt`, import.meta.url), `stop_reason: ${r.stop_reason}\n\n${t}`); } catch {}
return { ...tyhja, tulos: 'virhe', huomiot: [`Faktantarkistaja ei palauttanut kelvollista JSON-lohkoa (stop_reason: ${r.stop_reason}, tekstiä ${t.length} merkkiä)`, 'Vastauksen alku: ' + t.slice(0, 160).replace(/\s+/g, ' ')] };
}
// Sovella muutokset tekstiin. Katkelma, jota ei löydy sanatarkasti, kirjataan huomioihin.
let body = luonnos.body; const poistetut = [], pehmennetyt = [], korjatut = [], huomiot = (j.huomiot || []).map(String);
for (const mu of j.muutokset || []) {
const vanha = String(mu.vanha || '').trim(); if (!vanha) continue;
const uusi = String(mu.uusi || '').trim(); const syy = String(mu.syy || '');
let idx = body.indexOf(vanha);
if (idx < 0) { const norm = (x) => x.replace(/\s+/g, ' '); const nb = norm(body), nv = norm(vanha); const ni = nb.indexOf(nv); if (ni >= 0) { body = nb; idx = ni; } }
if (idx < 0) { huomiot.push(`Ehdotettu muutos ei osunut tekstiin: "${vanha.slice(0, 60)}…" (${syy})`); continue; }
body = body.slice(0, idx) + uusi + body.slice(idx + vanha.length);
body = body.replace(/[ \t]+\n/g, '\n').replace(/\n{3,}/g, '\n\n');
const rivi = `${vanha.slice(0, 90)}${vanha.length > 90 ? '…' : ''} → ${uusi ? uusi.slice(0, 90) + (uusi.length > 90 ? '…' : '') : '(poistettu)'}${syy ? ' — ' + syy : ''}`;
(mu.tyyppi === 'poisto' || !uusi ? poistetut : mu.tyyppi === 'pehmennys' ? pehmennetyt : korjatut).push(rivi);
}
const lisat = (j.lahteet_lisaa || []).filter((l) => l?.url && /^https?:\/\//.test(l.url)).map((l) => ({ otsikko: String(l.otsikko || l.url).slice(0, 140), url: l.url, ...(l.huomio ? { huomio: String(l.huomio).slice(0, 160) } : {}) }));
const seen = new Set((luonnos.lahteet || []).map((l) => l.url));
const lahteet = [...(luonnos.lahteet || []), ...lisat.filter((l) => !seen.has(l.url))];
return {
tulos: j.tulos === 'hylatty' ? 'hylatty' : (poistetut.length + pehmennetyt.length + korjatut.length) ? 'korjattu' : 'ok',
tarkistettu: Number(j.tarkistettu) || 0,
poistetut, pehmennetyt, korjatut, huomiot,
body, tiivistelma: j.tiivistelma_uusi ? String(j.tiivistelma_uusi) : luonnos.tiivistelma,
lahteet, hakuja, usage: r.usage,
};
}
/** JSON.parse, ja jos se kaatuu: poista loppupilkut ja muuta merkkijonojen sisäiset rivinvaihdot \\n-muotoon. */
function jasennaLoyhasti(raw) {
if (!raw) return null;
try { return JSON.parse(raw); } catch {}
let t = raw.replace(/,\s*([}\]])/g, '$1');
t = t.replace(/"(?:[^"\\]|\\.)*"/gs, (m) => m.replace(/\r?\n/g, '\\n').replace(/\t/g, '\\t'));
try { return JSON.parse(t); } catch {}
return null;
}
/** Kirjaa tuloksen frontmatteriin: kone.faktat + tarkistus. Palauttaa päivitetyn fm:n. */
export function kirjaaFaktat(fm, f, malli) {
const muutoksia = f.poistetut.length + f.pehmennetyt.length + f.korjatut.length;
fm.kone.faktat = { malli, tarkistettu: f.tarkistettu, poistettu: f.poistetut.length, pehmennetty: f.pehmennetyt.length, korjattu: f.korjatut.length, hakuja: f.hakuja, huomiot: [...f.poistetut, ...f.pehmennetyt, ...f.korjatut, ...f.huomiot].slice(0, 8) };
fm.kone.hakuja = (fm.kone.hakuja || 0) + f.hakuja;
if (f.tulos === 'hylatty') {
fm.tila = 'hylatty';
fm.tarkistus = { tila: 'hylatty', kuka: `faktantarkistaja (${malli})`, pvm: new Date().toISOString().slice(0, 10), huomio: 'Ydinväite ei kestänyt lähteiden uudelleentarkistusta.' };
} else if (f.tulos !== 'virhe') {
fm.tarkistus = { tila: 'kone', kuka: `faktantarkistaja (${malli})`, pvm: new Date().toISOString().slice(0, 10), huomio: muutoksia ? `${f.tarkistettu} väitettä tarkistettu, ${muutoksia} muutettu.` : `${f.tarkistettu} väitettä tarkistettu, kaikki pitivät.` };
if (muutoksia) fm.paivitetty = new Date().toISOString().slice(0, 10);
}
return fm;
}
/* ---------- CLI ---------- */
if (process.argv[1] && process.argv[1].endsWith('faktantarkistus.mjs')) {
const { default: Anthropic } = await import('@anthropic-ai/sdk');
const root = path.resolve(new URL('..', import.meta.url).pathname);
const args = process.argv.slice(2);
const malli = process.env.FAKTAT_MALLI || 'claude-opus-5';
let files = args.filter((a) => !a.startsWith('--')).map((f) => path.resolve(f));
if (args.includes('--kaikki')) {
const dirs = ['src/content/artikkelit', ...(args.includes('--pilarit') ? ['src/content/pilarit'] : [])];
files = dirs.flatMap((d) => fs.readdirSync(path.join(root, d)).filter((f) => f.endsWith('.md')).map((f) => path.join(root, d, f)))
.filter((f) => { const m = fs.readFileSync(f, 'utf8').match(/^---\r?\n([\s\S]*?)\r?\n---/); try { return m && parse(m[1]).tarkistus?.tila === 'odottaa'; } catch { return false; } });
}
if (!files.length) { console.log('Ei tarkistettavaa.'); process.exit(0); }
if (!process.env.ANTHROPIC_API_KEY) { console.error('ANTHROPIC_API_KEY puuttuu.'); process.exit(1); }
const client = new Anthropic();
const HINNAT = { 'claude-opus-5': [5, 25], 'claude-sonnet-5': [2, 10] };
const committaa = args.includes('--committaa');
const { execSync } = await import('node:child_process');
for (const file of files) {
const src = fs.readFileSync(file, 'utf8');
const m = src.match(/^---\r?\n([\s\S]*?)\r?\n---\r?\n([\s\S]*)$/);
if (!m) { console.log('✗ ei frontmatteria:', file); continue; }
const fm = parse(m[1]);
process.stdout.write(`${path.relative(root, file)} … `);
const f = await faktantarkistus(client, malli, { ...fm, body: m[2] });
kirjaaFaktat(fm, f, malli);
if (f.tulos !== 'virhe') fm.tiivistelma = f.tiivistelma, fm.lahteet = f.lahteet;
const body = f.tulos === 'virhe' ? m[2] : f.body;
fs.writeFileSync(file, '---\n' + stringify(fm, { lineWidth: 0 }) + '---\n\n' + body.trim() + '\n');
const [hin, hout] = HINNAT[malli] ?? [5, 25];
const usd = ((f.usage?.input_tokens ?? 0) / 1e6) * hin + ((f.usage?.output_tokens ?? 0) / 1e6) * hout + f.hakuja * 0.01;
console.log(`${f.tulos} — ${f.tarkistettu} tarkistettu, ${f.poistetut.length} poistettu, ${f.pehmennetyt.length} pehmennetty, ${f.korjatut.length} korjattu, ${f.hakuja} hakua, ~${usd.toFixed(2)} $`);
if (committaa) { try { execSync(`git add "${file}" sisalto/loki.jsonl && git commit -q -m "faktat: ${path.basename(file, '.md')}"`, { cwd: root, stdio: 'ignore' }); } catch {} }
fs.appendFileSync(path.join(root, 'sisalto/loki.jsonl'), JSON.stringify({ aika: new Date().toISOString(), vaihe: 'faktat', slug: path.basename(file, '.md'), malli, tulos: f.tulos, tarkistettu: f.tarkistettu, muutettu: f.poistetut.length + f.pehmennetyt.length + f.korjatut.length, hakuja: f.hakuja, input_tokens: f.usage?.input_tokens, output_tokens: f.usage?.output_tokens, kustannus_usd: +usd.toFixed(4) }) + '\n');
}
}